一次請求可能包含多次模型與工具呼叫。保留 run_id、span_id、耗時、結果類別、估算 token 與剩餘預算;日誌應保存摘要或雜湊,不保存原始客戶內容。
核心概念
呼叫前檢查預算,完成後記錄實際用量。依租戶或任務類型設定步驟、token、時間與成本上限,並對逾時、預算用盡和重複工具呼叫告警。
可執行範例
from time import monotonic
def budgeted_call(call, budget: int):
started = monotonic()
result = call()
elapsed_ms = round((monotonic() - started) * 1000)
usage = int(result.get('usage', {}).get('total_tokens', 0))
if usage > budget:
raise RuntimeError('agent budget exceeded')
return {'elapsed_ms': elapsed_ms, 'tokens': usage, 'result': result}
步驟與適用情境
- 定義 run、model、tool 三層事件欄位與取樣策略。
- 分別設定步驟、token、時間和成本上限。
- 呼叫前檢查剩餘預算,完成後記錄結果類別。
- 檢查慢 trace 與循環,不保留不必要的個人內容。
適合多租戶 Agent、批次任務與需要稽核的內部自動化。token 是用量單位,不等於固定價格;供應商價格應獨立放在設定中。
官方參考
OpenAI 生產最佳實務 與 OpenTelemetry。
最後核對日期:2026-11-16。不要把單次本機執行描述成通用效能或成本結論。
