RAG 的失败可能来自没有召回答案、召回了错误版本、上下文被截断或模型没有遵守引用格式。把检索和生成拆开评测,才能定位修复点。
核心概念
建立带期望来源的问答集,分别记录召回命中、引用覆盖、答案是否忠实和拒答是否合理。对无法由资料回答的问题,正确结果是说明证据不足。
可运行示例
def citation_coverage(answer: str, expected_sources: set[str]) -> float:
cited = {token.strip('[]()') for token in answer.split() if token.startswith('[') and token.endswith(']')}
return len(cited & expected_sources) / len(expected_sources) if expected_sources else 1.0
assert citation_coverage('见 [doc-1]', {'doc-1'}) == 1.0
操作步骤
- 为每个问题准备期望文档 id 和不可接受的回答范围。
- 先单独运行召回并记录 top-k,再运行生成和引用解析。
- 把无命中、错版本、无引用和越权候选分别统计。
- 将失败样本加入下一轮回归集,避免只调整提示词掩盖检索缺陷。
适用场景
适合合规问答、内部手册和需要引用证据的研究助手。
常见问题
可以用答案相似度做全部评测吗? 不够,必须检查来源和忠实性。
引用格式必须统一吗? 至少要能稳定映射到文档 id 和位置。
资料没有答案时怎么办? 返回无依据提示,并允许用户改写问题。
官方参考
OpenAI Evals;OpenAI Retrieval。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
