上线后的 AI 应用要同时面对慢请求、上游错误、成本突增和资料更新。把预算、超时、重试、缓存和人工接管写进运行策略,才能稳定运营。
核心概念
每次请求记录 trace id、模型版本、检索版本、延迟、token 估算和结果类别。缓存键要包含租户、权限和知识版本;重试只针对可恢复错误,并设置上限。
可运行示例
from dataclasses import dataclass
@dataclass(frozen=True)
class Budget:
max_tokens: int
max_retries: int
timeout_seconds: float
def retryable(code: str) -> bool:
return code in {'UPSTREAM_TIMEOUT', 'RATE_LIMITED'}
budget = Budget(1600, 2, 20.0)
assert retryable('UPSTREAM_TIMEOUT') and not retryable('INVALID_REQUEST')
操作步骤
- 定义请求、检索和工具三层的超时与预算。
- 对可恢复错误使用有限重试,对业务拒绝和权限错误立即结束。
- 缓存只保存不含敏感数据的结果,键中加入权限和内容版本。
- 建立人工接管入口,演练上游不可用和新版本回滚。
适用场景
适合面向真实用户、调用量增长或需要成本控制的 AI 产品。
常见问题
缓存会不会返回旧答案? 通过内容版本和 TTL 控制,并在关键更新时主动失效。
什么时候必须转人工? 低置信度、高风险动作、连续失败或用户明确要求时。
官方参考
OpenAI Production best practices;OpenTelemetry metrics。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
