问题与边界
知识库更新后,回答质量下降但原因不明。案例使用固定文档和问题集,单独比较授权召回结果,不连接向量服务或外部模型。
方案
每个问题包含 tenant、允许角色和期望文档 id。回放先执行权限过滤,再比较召回集合;生成层只接收通过断言的证据。
最小实现
fixtures = [
{'query': '退款', 'role': 'support', 'expected': {'refund-1'}},
{'query': '工资单', 'role': 'support', 'expected': set()},
]
docs = {'refund-1': ('support', '退款需要订单号'), 'payroll-1': ('finance', '工资单仅限财务查看')}
for item in fixtures:
found = {doc_id for doc_id, (role, body) in docs.items() if item['query'] in body and role == item['role']}
assert found == item['expected']
复现步骤
- 建立脱敏问题集和期望来源 id,记录数据版本。
- 在新旧索引上分别执行授权过滤和召回,保存集合差异。
- 把少召回、错版本和越权候选分类,不用答案文本掩盖检索差异。
- 修复索引后重放同一问题集,并把失败样本加入版本化回归集。
验证清单
验证租户隔离、无结果、文档删除、版本切换和来源 id 稳定。
常见问题
为什么不用一次模型回答做验收? 文本结果无法定位是召回还是生成出了问题。
测试数据能用生产全文吗? 应使用脱敏或合成数据,并记录版本。
延伸阅读
官方参考
最后核对日期:2026-11-17。涉及版本、接口、模型行为和价格的结论以链接中的官方资料为准;本文不把一次本地运行结果表述为通用性能结论。
