模型上线后的故障可能来自模型、依赖、资源或输入分布。最小可观测性要能回答请求是否到达、用了哪个版本、耗时多少以及为何失败。
核心概念
事件至少包含 request_id、model_revision、status_code、latency_ms、input_tokens、output_tokens 和 error_code;原始 prompt 默认不写入日志。回滚指针和数据库/缓存兼容性要在发布前验证。
可运行示例
import time
def observe(call, revision: str) -> dict:
started = time.monotonic()
try:
result = call()
return {'revision': revision, 'status': 'ok', 'latency_ms': round((time.monotonic() - started) * 1000), 'result': result}
except TimeoutError:
return {'revision': revision, 'status': 'error', 'error_code': 'UPSTREAM_TIMEOUT'}
操作步骤
- 定义不含敏感正文的请求日志和指标字段。
- 把模型 revision、服务版本和配置摘要加入每次响应的内部 trace。
- 设置错误率、超时、显存和队列长度告警。
- 用上一版本清单执行一次演练,确认回滚不删除事件或破坏兼容数据。
適用情境
适合正式生产服务、多人协作和需要审计的模型平台。
常见问题
日志保存完整 prompt 更方便吗? 可能泄露隐私,默认只保存摘要或哈希。
回滚只是切换镜像吗? 还要核对 schema、缓存键、模型配置和流量路由。
官方参考
OpenTelemetry traces;Kubernetes rollout undo。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
