评测分成三层
离线评测验证固定样本,在线评测观察真实分布,人工复核负责高风险和争议案例。三者不能互相替代。离线集应覆盖常见任务、边界输入、拒答和工具错误。
除了答案相似度,还要记录事实正确性、引用覆盖率、指令遵循、拒答准确率、工具成功率、首 token 延迟和成本。对于主观任务,使用明确的评分量表和双人抽样,而不是只依赖另一个模型打分。
事件要能串起来
给一次请求分配 trace ID,关联检索、模型调用、工具步骤和最终结果。日志只保留必要摘要,敏感字段做掩码。指标按模型、提示词、检索版本和语言切分,才能定位回归。
设置质量门
发布前定义最低通过率和最大延迟;线上出现连续异常时自动降级到更小模型、静态答案或人工队列。把失败样本回流到评测集,但不要未经审查直接用于训练。
