← Back to learning path

This chapter has not been reviewed in English; the original Simplified Chinese is shown.

Chapter · Published

模型服务观测与回滚:让故障可定位 (original language)

记录请求级指标、模型版本和错误类别,在异常时快速切回上一版。

Source: knowledge/p24-c/collection_62e019bd665ea4bb7c5eb169/tutorials/deployment-observability-and-rollback.mdModel deployment engineering
Chapter progress 0%Learning path progress 0% · 0/10 chapters completedContinue learning path →

模型上线后的故障可能来自模型、依赖、资源或输入分布。最小可观测性要能回答请求是否到达、用了哪个版本、耗时多少以及为何失败。

核心概念

事件至少包含 request_id、model_revision、status_code、latency_ms、input_tokens、output_tokens 和 error_code;原始 prompt 默认不写入日志。回滚指针和数据库/缓存兼容性要在发布前验证。

可运行示例

import time

def observe(call, revision: str) -> dict:
    started = time.monotonic()
    try:
        result = call()
        return {'revision': revision, 'status': 'ok', 'latency_ms': round((time.monotonic() - started) * 1000), 'result': result}
    except TimeoutError:
        return {'revision': revision, 'status': 'error', 'error_code': 'UPSTREAM_TIMEOUT'}

操作步骤

  1. 定义不含敏感正文的请求日志和指标字段。
  2. 把模型 revision、服务版本和配置摘要加入每次响应的内部 trace。
  3. 设置错误率、超时、显存和队列长度告警。
  4. 用上一版本清单执行一次演练,确认回滚不删除事件或破坏兼容数据。

Use cases

适合正式生产服务、多人协作和需要审计的模型平台。

常见问题

日志保存完整 prompt 更方便吗? 可能泄露隐私,默认只保存摘要或哈希。

回滚只是切换镜像吗? 还要核对 schema、缓存键、模型配置和流量路由。

官方参考

OpenTelemetry traces;Kubernetes rollout undo。

最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。

Related practical cases

Knowledge实战:模型服务金丝雀发布与回滚 (original language)Knowledge实战:本地 vLLM 兼容接口冒烟测试 (original language)Knowledge实战:模型服务金丝雀与质量预算 (original language)
Product Hub Demo · V0.3