先定义检索任务
Embedding 不是越大越好。先明确语言、文档类型、查询长度、延迟预算和是否需要多语检索。建立包含正例、相似干扰项和不可回答问题的评测集,再比较模型,而不是只看排行榜。
索引与分块要一起设计
分块应保留标题、路径、更新时间和权限标签。过大的块会稀释命中段落,过小的块又会丢失上下文。向量索引之外保留关键词检索,使用混合召回覆盖专有名词、编号和短查询。
一个简单的评测流程:
查询 -> 召回 top-k -> 计算 recall@k / MRR
-> 重排 -> 计算引用覆盖率和拒答准确率
对向量做归一化时要和相似度度量保持一致。索引升级应支持双写或离线重建,确认新旧版本的命中率和延迟后再切换。
权限和删除不可后补
在召回前按 ACL 过滤,不能先召回再让提示词隐藏。文档撤销或删除时同步移除向量和缓存。保留来源 URL、版本和时间戳,回答才能给出可核验引用。
