先定義檢索任務
Embedding 不是越大越好。先明確語言、文件類型、查詢長度、延遲預算和是否需要多語檢索。建立包含正例、相似干擾項和不可回答問題的評測集,再比較模型,而不是只看排行榜。
索引與分塊要一起設計
分塊應保留標題、路徑、更新時間和權限標籤。過大的區塊會稀釋命中段落,過小的區塊又會失去上下文。向量索引以外保留關鍵字檢索,使用混合召回覆蓋專有名詞、編號和短查詢。
一個簡單的評測流程:
查詢 -> 召回 top-k -> 計算 recall@k / MRR
-> 重排 -> 計算引用覆蓋率和拒答準確率
對向量做正規化時要和相似度度量保持一致。索引升級應支援雙寫或離線重建,確認新舊版本的命中率和延遲後再切換。
權限和刪除不能事後補救
在召回前按 ACL 過濾,不能先召回再讓提示詞隱藏。文件撤銷或刪除時同步移除向量和快取。保留來源網址、版本和時間戳,回答才能提供可核驗引用。
