← 返回學習路線
章節 · 已發布

Agent 評測與回歸測試:驗證動作而不只看答案

建立任務集、工具軌跡和安全斷言,在每次變更後檢查 Agent 行為。

來源: knowledge/p24-b/collection_8023a8d754046b6c2ae7220f/tutorials/agent-evaluation-and-regression-testing.mdAI Agent 工程實踐
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

Agent 的正確性包括最終答案、工具選擇、參數、順序、停止條件與安全拒絕。只比較文字相似度,會漏掉錯誤寫入或越權呼叫。

核心概念

涵蓋正常、邊界、缺少權限、依賴逾時和提示注入案例。權限與副作用使用程式斷言,表達品質再交由模型評分。

可執行範例

def assert_trace(trace: list[dict]) -> None:
    names = [event.get('tool') for event in trace if event.get('type') == 'tool']
    assert 'delete_user' not in names
    assert names.count('lookup_ticket') <= 3
    assert trace[-1].get('type') in {'final', 'needs_human'}

assert_trace([{'type': 'tool', 'tool': 'lookup_ticket'}, {'type': 'final'}])

步驟與適用情境

  1. 建立脫敏樣本,補上攻擊與空輸入案例。
  2. 定義允許工具、參數範圍、步驟上限和需要人工審批的動作。
  3. 固定模型與工具版本執行回歸,記錄可重現失敗。
  4. 發布前比較安全斷言、任務完成率與人工轉交比例。

這套方法適合客服 Agent、程式助手與研究工作流程。請使用脫敏或合成資料,不要把生產個資放入測試集。

常見問題

模型評分不能取代權限斷言。失敗案例應加入版本化回歸集,而不是只藏在報告中。

官方參考

OpenAI Evals 與 OpenAI 安全最佳實務。

最後核對日期:2026-11-16。介面與安全邊界請以連結的官方文件為準。

相關實戰案例

知識實戰:帶人工審批的部署建議 Agent知識實戰:可稽核的工單分流 Agent知識實戰:Agent 失敗後的證據包與人工接管

延伸閱讀

知識AI Agent:從基礎概念到實際應用知識結構化輸出與工具契約:讓 Agent 動作可驗證知識AI 自動化工作流程設計與實踐
產品中心 Demo · V0.3