評測分成三層
離線評測驗證固定樣本,線上評測觀察真實分布,人工複核負責高風險和爭議案例。三者不能互相取代。離線集應涵蓋常見任務、邊界輸入、拒答和工具錯誤。
除了答案相似度,還要記錄事實正確性、引用覆蓋率、指令遵循、拒答準確率、工具成功率、首 token 延遲和成本。對主觀任務使用明確評分表和雙人抽樣,不要只依賴另一個模型評分。
事件要能串接
為一次請求分配 trace ID,關聯檢索、模型呼叫、工具步驟和最終結果。日誌只保留必要摘要,敏感欄位做遮罩。指標按模型、提示、檢索版本和語言切分,才能定位回歸。
設定品質門檻
發布前定義最低通過率和最大延遲;線上出現連續異常時自動降級到較小模型、靜態答案或人工佇列。把失敗樣本回流到評測集,但不要未經審查直接用於訓練。
