先區分回饋類型
按讚、改寫、追問、放棄和人工修正代表不同訊號。按任務、語言、模型版本和內容來源記錄事件,不要把一次點擊直接視為「回答正確」。回饋資料應與個人身分解耦,只保存改進所需的最小欄位。
讓回饋進入佇列
把低信心、使用者修正和高風險動作送入人工複核。複核者標註問題類型:檢索缺失、事實錯誤、格式錯誤、權限錯誤或產品體驗問題。每種標籤對應不同修復路徑,避免所有問題都靠修改提示解決。
建立版本對照
將回饋樣本固定成回歸集,比較新舊模型、檢索器和提示。發布時記錄樣本覆蓋率和已知限制;品質下降時可以快速回復。未經審查的使用者文字不能直接公開、訓練或加入推薦。
資料來源
可參考 NIST AI RMF、OpenTelemetry Logs 和 Google People + AI Guidebook。
