問題與邊界
知識庫更新後,回答品質下降但原因不明。本案例使用固定文件和問題集,單獨比較已授權的召回結果,不連接向量服務或外部模型。
方案
每個問題包含 tenant、允許角色和期望文件 id。回放先執行權限過濾,再比較召回集合;生成層只接收通過斷言的證據。
最小實作
fixtures = [
{'query': '退款', 'role': 'support', 'expected': {'refund-1'}},
{'query': '工資單', 'role': 'support', 'expected': set()},
]
docs = {'refund-1': ('support', '退款需要訂單號'), 'payroll-1': ('finance', '工資單僅限財務查看')}
for item in fixtures:
found = {doc_id for doc_id, (role, body) in docs.items() if item['query'] in body and role == item['role']}
assert found == item['expected']
重現步驟
- 建立脫敏問題集和期望來源 id,記錄資料版本。
- 在新舊索引上分別執行權限過濾和召回,保存集合差異。
- 將少召回、錯版本和越權候選分類,不用答案文字掩蓋檢索差異。
- 修復索引後重放同一問題集,並把失敗樣本加入版本化回歸集。
驗證清單
驗證租戶隔離、無結果、文件刪除、版本切換和來源 id 穩定。
常見問題
為什麼不用一次模型回答驗收? 文字結果無法定位是召回還是生成出了問題。
測試資料能用生產全文嗎? 應使用脫敏或合成資料,並記錄版本。
延伸閱讀
官方參考
最後核對日期:2026-11-17。涉及介面、模型行為和價格的結論以連結中的官方資料為準;本文不把一次本機執行結果表述為通用效能結論。
