← 返回學習路線
案例 · 已發布

實戰:用固定問題集回放 RAG 檢索回歸

用來源 id、權限標籤和期望證據回放檢索變化,區分召回退化與生成問題。

來源: knowledge/p27/rag-engineering/cases/rag-regression-replay.mdRAG 知識庫工程
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

問題與邊界

知識庫更新後,回答品質下降但原因不明。本案例使用固定文件和問題集,單獨比較已授權的召回結果,不連接向量服務或外部模型。

方案

每個問題包含 tenant、允許角色和期望文件 id。回放先執行權限過濾,再比較召回集合;生成層只接收通過斷言的證據。

最小實作

fixtures = [
    {'query': '退款', 'role': 'support', 'expected': {'refund-1'}},
    {'query': '工資單', 'role': 'support', 'expected': set()},
]
docs = {'refund-1': ('support', '退款需要訂單號'), 'payroll-1': ('finance', '工資單僅限財務查看')}
for item in fixtures:
    found = {doc_id for doc_id, (role, body) in docs.items() if item['query'] in body and role == item['role']}
    assert found == item['expected']

重現步驟

  1. 建立脫敏問題集和期望來源 id,記錄資料版本。
  2. 在新舊索引上分別執行權限過濾和召回,保存集合差異。
  3. 將少召回、錯版本和越權候選分類,不用答案文字掩蓋檢索差異。
  4. 修復索引後重放同一問題集,並把失敗樣本加入版本化回歸集。

驗證清單

驗證租戶隔離、無結果、文件刪除、版本切換和來源 id 穩定。

常見問題

為什麼不用一次模型回答驗收? 文字結果無法定位是召回還是生成出了問題。

測試資料能用生產全文嗎? 應使用脫敏或合成資料,並記錄版本。

延伸閱讀

官方參考

OpenAI Retrieval;SQLite FTS5。

最後核對日期:2026-11-17。涉及介面、模型行為和價格的結論以連結中的官方資料為準;本文不把一次本機執行結果表述為通用效能結論。

延伸閱讀

知識RAG 企業知識庫:架構與落地實踐知識生產級提示工程:從指令到可量測契約知識AI Agent:從基礎概念到實際應用
產品中心 Demo · V0.3