AI Agent

AI Agent:從基礎概念到實際應用

OPNFTR 原創內容,圍繞 AI、技術與實踐展開。

OPNFTR 原創內容
Agent工具呼叫工作流程安全

Agent 到底是什麼

AI Agent 不只是「會聊天的模型」,而是一個圍繞目標執行的閉環:理解任務、規劃步驟、呼叫工具、觀察結果,再依結果決定下一步。大模型負責語言與推理,應用程式負責狀態、權限、工具契約和最終驗收。

一個可稽核的最小閉環可以表示為:

使用者目標 -> 任務拆解 -> 工具呼叫 -> 工具結果 -> 驗證/重試 -> 可交付結果
                           ^                    |
                           +------ 狀態 --------+

從單輪呼叫開始

先把模型當成純函式,輸入是結構化上下文,輸出是結構化動作。不要一開始就允許模型執行任意程式碼。工具應有清晰的 JSON Schema、逾時、冪等鍵和最小權限。

type ToolCall = { name: "search" | "create_ticket"; args: Record<string, unknown>; idempotencyKey: string };

const decision = await model.generate({
  system: "只選擇已登記工具,並回傳 JSON。",
  input: taskContext,
  tools: registeredTools,
  responseFormat: "json",
});

伺服器仍要驗證工具名稱、參數、使用者權限和資源範圍。模型輸出永遠是不可信輸入,不能因為看起來合理就略過驗證。

記憶、狀態與人工介入

短期上下文適合保存目前任務和最近工具結果;長期記憶應是篩選後的事實,而不是完整聊天記錄。生產系統至少應保存任務 ID、步驟、輸入摘要、工具版本、結果摘要和失敗原因,以便重播和稽核。

當涉及金額、權限、外發訊息或資料刪除等高風險動作時,加入人工確認節點。Agent 的可靠性來自清楚的邊界,而不是更長的提示詞。

落地檢查表

  • 工具白名單、參數驗證、逾時和重試是否獨立於模型?
  • 每個副作用是否有冪等鍵,重複執行是否安全?
  • 能否在不洩漏敏感資料的情況下重播任務?
  • 失敗時是否回傳可解釋狀態,而不是無限迴圈?
  • 指標是否區分模型錯誤、工具錯誤和業務規則拒絕?

延伸閱讀

可參考 OpenAI Agents 指南、Anthropic 工具使用文件 和 OWASP LLM 應用安全風險。

返回知識列表
Agent 工具契約結構化輸出與工具契約:讓 Agent 動作可驗證Agent · JSON Schema · 工具呼叫AI 自動化工作流程AI 自動化工作流程設計與實踐自動化 · 工作流程 · 可觀測性LLM 應用程式安全LLM 應用程式安全與隱私:從輸入邊界到資料生命週期安全 · 隱私 · 提示注入
產品中心 Demo · V0.3