← 返回學習路線

此章節尚未完成繁體中文或英文審核,目前顯示簡體中文原文。

案例 · 已發布

实战:模型服务金丝雀与质量预算 (原文)

用固定提示集和阈值决定模型服务是否继续灰度,演练失败时回滚。

來源: knowledge/p27/model-deployment-engineering/cases/model-canary-quality-budget.md模型部署工程
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

问题与边界

新模型在测试环境吞吐更高,但可能降低结构化输出质量。案例在本地数据上比较候选与基线,验证暂停和回滚条件。

方案

发布记录保存模型标识、提示集版本、质量分数和 p95 延迟。只有全部阈值通过才允许扩大流量,任何关键指标回退都恢复旧 selector。

最小实现

baseline = {'quality': .91, 'p95_ms': 480}
candidate = {'quality': .90, 'p95_ms': 430}
checks = candidate['quality'] >= baseline['quality'] - .02 and candidate['p95_ms'] <= baseline['p95_ms']
assert checks
failed = {'quality': .84, 'p95_ms': 420}
assert not (failed['quality'] >= baseline['quality'] - .02)

复现步骤

  1. 冻结基线模型和提示集,在相同输入长度下记录结果。
  2. 用少量隔离流量运行候选,分别记录质量、p95 和错误类型。
  3. 故意降低候选质量,确认发布状态进入 paused 而不是继续扩大流量。
  4. 恢复基线 selector,保留候选工件和失败样本,避免删除排障证据。

验证清单

验证阈值边界、指标缺失、回滚后旧模型可读和发布记录完整。

常见问题

金丝雀比例应是多少? 由风险和流量决定,案例只演练显式切换边界。

回滚要删除候选吗? 不删除,保留工件和指标便于定位。

延伸阅读

官方参考

Kubernetes Deployments;Prometheus histograms。

最后核对日期:2026-11-17。涉及版本、接口、模型行为和价格的结论以链接中的官方资料为准;本文不把一次本地运行结果表述为通用性能结论。

前置知識與教學

知識模型服务观测与回滚:让故障可定位 (原文)知識模型量化与质量预算:先定义可接受损失 (原文)

延伸閱讀

知識生產級提示工程:從指令到可量測契約知識AI 產品回饋閉環:從使用者訊號到安全迭代知識AI Agent:從基礎概念到實際應用
產品中心 Demo · V0.3