先把成本拆成可测量的单位
一次请求的成本通常由输入 token、输出 token、模型单价、缓存命中和重试次数共同决定。不要只看月账单;按功能、租户、模型和失败原因记录用量,才能知道哪条链路值得优化。
请求 -> 身份与额度 -> 模型路由 -> provider API -> 结构化校验 -> 记录用量
| |
+------ 超时/重试 ---------+
可靠的 API 适配层
在业务代码和供应商 SDK 之间加一层适配器,统一超时、指数退避、请求 ID、结构化输出校验和敏感字段脱敏。将 provider、model、prompt 版本和 token 使用量写入日志,但不要记录密钥或完整隐私输入。
const response = await llm.complete({
model: route.model,
input: redact(userInput),
timeoutMs: 20_000,
idempotencyKey,
});
const parsed = schema.parse(response.output);
usageLedger.record({ route: route.name, input: response.usage.inputTokens, output: response.usage.outputTokens });
四个优先级最高的优化
- 路由:简单分类、摘要和格式转换优先用小模型;复杂推理才升级。
- 上下文:检索前去重、压缩和截断,避免把历史对话无限拼接。
- 缓存:对确定性查询使用带版本键的语义缓存,资料或提示词版本变化时失效。
- 重试:只对网络超时、429 和明确的临时错误重试;结构化校验失败应修正输入或返回可解释错误。
流式输出改善体验,但不能代替最终校验。对外发消息、数据库写入等副作用,先完成结构化解析和权限检查,再执行动作。
预算与治理
为每个租户和功能设置日/月预算、并发上限和熔断阈值。成本异常时先降级到缓存或规则路径,而不是静默增加额度。供应商价格会变化,价格和模型能力应来自配置并留有审计记录。
资料来源
价格与限制应以供应商当前的 OpenAI API 定价、Anthropic 定价 和各自的速率限制文档为准;本文不假设任何固定价格或可用配额。
