Agent 的正确性包括最终答案、工具选择、参数、顺序、停止条件和安全拒绝。只比较文本相似度会漏掉错误写入和越权调用,因此需要结构化轨迹评测。
核心概念
测试集至少覆盖正常、边界、缺少权限、依赖超时和提示注入。把硬断言用于权限与副作用,把模型评分用于表达质量,并记录模型与工具版本。
可运行示例
def assert_trace(trace: list[dict]) -> None:
names = [event.get('tool') for event in trace if event.get('type') == 'tool']
assert 'delete_user' not in names
assert names.count('lookup_ticket') <= 3
assert trace[-1].get('type') in {'final', 'needs_human'}
assert_trace([{'type': 'tool', 'tool': 'lookup_ticket'}, {'type': 'final'}])
操作步骤
- 从真实业务抽取脱敏样本,并补充攻击和空输入样本。
- 定义轨迹断言:允许工具、参数范围、最大步骤数和必须人工确认的动作。
- 在固定模型版本上运行回归,记录失败样本和可复现输入。
- 上线前比较新旧版本的安全断言、任务完成率和人工转交比例。
适用场景
适合客服 Agent、代码助手和资料分析;不应把单次人工满意度当作唯一指标。
常见问题
能否只用 LLM 评分? 不能,权限和副作用必须是程序断言。
测试数据要包含生产隐私吗? 使用脱敏或合成数据,并记录数据来源。
失败样本如何处理? 进入版本化回归集,而不是只在报告中备注。
官方参考
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
