Agent 的正確性包括最終答案、工具選擇、參數、順序、停止條件與安全拒絕。只比較文字相似度,會漏掉錯誤寫入或越權呼叫。
核心概念
涵蓋正常、邊界、缺少權限、依賴逾時和提示注入案例。權限與副作用使用程式斷言,表達品質再交由模型評分。
可執行範例
def assert_trace(trace: list[dict]) -> None:
names = [event.get('tool') for event in trace if event.get('type') == 'tool']
assert 'delete_user' not in names
assert names.count('lookup_ticket') <= 3
assert trace[-1].get('type') in {'final', 'needs_human'}
assert_trace([{'type': 'tool', 'tool': 'lookup_ticket'}, {'type': 'final'}])
步驟與適用情境
- 建立脫敏樣本,補上攻擊與空輸入案例。
- 定義允許工具、參數範圍、步驟上限和需要人工審批的動作。
- 固定模型與工具版本執行回歸,記錄可重現失敗。
- 發布前比較安全斷言、任務完成率與人工轉交比例。
這套方法適合客服 Agent、程式助手與研究工作流程。請使用脫敏或合成資料,不要把生產個資放入測試集。
常見問題
模型評分不能取代權限斷言。失敗案例應加入版本化回歸集,而不是只藏在報告中。
官方參考
最後核對日期:2026-11-16。介面與安全邊界請以連結的官方文件為準。
