模型輸出不是業務事實
把模型輸出視為不可信輸入。先用 JSON Schema 約束欄位,再由伺服器驗證列舉、範圍、資源歸屬和目前狀態。Schema 通過不代表動作合法,業務規則仍要獨立執行。
工具契約至少應包含:
名稱、版本、輸入 Schema、輸出 Schema、權限範圍、逾時、冪等鍵、錯誤類型
工具版本要和任務記錄綁定。欄位變更時保留向後相容解析器,避免舊任務重試時呼叫不相容介面。
用策略層隔離副作用
Agent 可以提出「建立退款」候選動作,但只能由策略層確認金額、訂單狀態和操作者權限。高風險動作進入人工確認佇列;拒絕原因和證據寫入稽核日誌。外部 API 逾時要回傳可重試狀態,而不是重複執行副作用。
測試正常和惡意路徑
為每個工具準備無效型別、越權資源、過期狀態、重複冪等鍵和逾時樣本。用契約測試鎖定輸入輸出,再用重播測試確認失敗後不會重複發送訊息、寫入資料庫或扣款。
資料來源
參考 OpenAI Structured Outputs、JSON Schema 和 OWASP Agentic AI 威脅。
