Agent 到底是什么
AI Agent 不是“会聊天的模型”,而是一个围绕目标运行的闭环:理解任务、规划步骤、调用工具、观察结果,再根据结果决定下一步。大模型负责语言和推理,应用负责状态、权限、工具契约与最终验收。
一个可审计的最小闭环可以写成:
用户目标 -> 任务分解 -> 工具调用 -> 工具结果 -> 校验/重试 -> 可交付结果
^ |
+------ 状态 --------+
从单轮调用开始
先把模型当作一个纯函数,输入是结构化上下文,输出是结构化动作。不要一开始就允许模型执行任意代码。工具应当有清晰的 JSON Schema、超时、幂等键和最小权限。
type ToolCall = { name: "search" | "create_ticket"; args: Record<string, unknown>; idempotencyKey: string };
const decision = await model.generate({
system: "只选择已登记的工具,并返回 JSON。",
input: taskContext,
tools: registeredTools,
responseFormat: "json",
});
服务端仍要验证工具名、参数、用户权限和资源范围。模型输出永远是“不可信输入”,不能因为它看起来合理就跳过校验。
记忆、状态与人工介入
短期上下文适合放当前任务和最近工具结果;长期记忆应当是经过筛选的事实,而不是完整聊天记录。生产系统至少要保存任务 ID、步骤、输入摘要、工具版本、结果摘要和失败原因,便于重放与审计。
当金额、权限、外发消息或数据删除等高风险动作出现时,加入人工确认节点。Agent 的可靠性来自边界清楚,而不是来自更长的提示词。
一个可落地的检查表
- 工具白名单、参数校验、超时和重试策略是否独立于模型?
- 每个副作用是否有幂等键,重复执行是否安全?
- 是否能在不泄露敏感数据的情况下重放一次任务?
- 失败时是否返回可解释状态,而不是无限循环?
- 指标是否区分模型错误、工具错误和业务规则拒绝?
进一步阅读
可参考 OpenAI Agents 指南、Anthropic 工具使用文档 和 OWASP LLM 应用安全风险。这些资料适合用来校对工具调用、权限和提示注入防护的基本边界。
