← 返回學習路線
章節 · 已發布

RAG 評測與引用:區分召回問題和生成問題

用可追溯問題集檢查召回覆蓋、引用準確、答案忠實度與合理拒答。

來源: knowledge/p24-b/collection_6e8fbe1e8b1ea569a539e8a5/tutorials/rag-evaluation-and-citations.mdRAG 知識庫工程
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

RAG 失敗可能來自沒有召回、召回錯誤版本、上下文被截斷,或模型沒有遵守引用格式。分開評測檢索與生成,才能修復正確層次。

核心概念

建立帶有預期文件 ID 的問題集,分別記錄召回命中、引用覆蓋、答案忠實度與拒答是否合理。資料沒有證據時,明確回傳缺少依據才是正確結果。

可執行範例

def citation_coverage(answer: str, expected_sources: set[str]) -> float:
    cited = {token.strip('[]()') for token in answer.split() if token.startswith('[') and token.endswith(']')}
    return len(cited & expected_sources) / len(expected_sources) if expected_sources else 1.0

assert citation_coverage('see [doc-1]', {'doc-1'}) == 1.0

步驟與適用情境

  1. 為每個問題定義預期文件 ID 與不可接受的答案範圍。
  2. 先單獨執行召回,記錄 top-k,再執行生成。
  3. 分類無命中、錯版本、缺少引用和未授權候選的失敗。
  4. 把失敗樣本加入下一輪回歸集,不要只靠改提示詞掩蓋檢索缺陷。

適合合規問答、內部手冊與需要證據的研究工具。

官方參考

OpenAI Evals 與 OpenAI Retrieval。

最後核對日期:2026-11-16。引用行為與檢索 API 可能變更,請以連結文件為準。

程式碼範例

def citation_coverage(answer: str, expected_sources: set[str]) -> float:
    cited = {token.strip('[]()') for token in answer.split() if token.startswith('[') and token.endswith(']')}
    return len(cited & expected_sources) / len(expected_sources) if expected_sources else 1.0

assert citation_coverage('见 [doc-1]', {'doc-1'}) == 1.0

相關實戰案例

知識實戰:用固定問題集回放 RAG 檢索回歸知識實戰:RAG 索引藍綠切換與回滾

延伸閱讀

知識RAG 企業知識庫:架構與落地實踐知識AI 自動化工作流程設計與實踐知識生產級提示工程:從指令到可量測契約
產品中心 Demo · V0.3