先区分反馈类型
点赞、改写、追问、放弃和人工纠正表达的是不同信号。按任务、语言、模型版本和内容来源记录事件,不要把一次点击直接当成“回答正确”。反馈数据应与个人身份解耦,只保存改进所需的最小字段。
让反馈进入队列
把低置信度、用户纠正和高风险动作送入人工复核。复核者标注问题类型:检索缺失、事实错误、格式错误、权限错误或产品体验问题。每种标签对应不同修复路径,避免所有问题都通过改提示词解决。
建立版本对照
将反馈样本固定成回归集,比较新旧模型、检索器和提示词。发布时记录样本覆盖率和已知限制;发现质量下降可快速回滚。未经审核的用户文本不能直接公开、训练或加入推荐。
资料来源
可参考 NIST AI RMF、OpenTelemetry Logs 和 Google People + AI Guidebook。
