← 返回學習路線

此章節尚未完成繁體中文或英文審核,目前顯示簡體中文原文。

章節 · 已發布

生产运维:延迟、成本、缓存与人工接管 (原文)

把模型、检索和工具调用纳入可观测、可限流、可回滚的运行流程。

來源: knowledge/p24-c/collection_0587a2bfc47ea3584d1b1c59/tutorials/ai-app-production-operations.mdAI 應用開發
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

上线后的 AI 应用要同时面对慢请求、上游错误、成本突增和资料更新。把预算、超时、重试、缓存和人工接管写进运行策略,才能稳定运营。

核心概念

每次请求记录 trace id、模型版本、检索版本、延迟、token 估算和结果类别。缓存键要包含租户、权限和知识版本;重试只针对可恢复错误,并设置上限。

可运行示例

from dataclasses import dataclass

@dataclass(frozen=True)
class Budget:
    max_tokens: int
    max_retries: int
    timeout_seconds: float

def retryable(code: str) -> bool:
    return code in {'UPSTREAM_TIMEOUT', 'RATE_LIMITED'}

budget = Budget(1600, 2, 20.0)
assert retryable('UPSTREAM_TIMEOUT') and not retryable('INVALID_REQUEST')

操作步骤

  1. 定义请求、检索和工具三层的超时与预算。
  2. 对可恢复错误使用有限重试,对业务拒绝和权限错误立即结束。
  3. 缓存只保存不含敏感数据的结果,键中加入权限和内容版本。
  4. 建立人工接管入口,演练上游不可用和新版本回滚。

適用情境

适合面向真实用户、调用量增长或需要成本控制的 AI 产品。

常见问题

缓存会不会返回旧答案? 通过内容版本和 TTL 控制,并在关键更新时主动失效。

什么时候必须转人工? 低置信度、高风险动作、连续失败或用户明确要求时。

官方参考

OpenAI Production best practices;OpenTelemetry metrics。

最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。

延伸閱讀

知識AI 自動化工作流程設計與實踐知識AI Agent:從基礎概念到實際應用知識RAG 企業知識庫:架構與落地實踐
產品中心 Demo · V0.3