← 返回學習路線
章節 · 已發布

Agent 可觀測性與成本控制

使用 trace、預算與脫敏日誌定位慢請求、循環呼叫及異常模型成本。

來源: knowledge/p24-b/collection_8023a8d754046b6c2ae7220f/tutorials/agent-observability-and-cost-controls.mdAI Agent 工程實踐
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

一次請求可能包含多次模型與工具呼叫。保留 run_id、span_id、耗時、結果類別、估算 token 與剩餘預算;日誌應保存摘要或雜湊,不保存原始客戶內容。

核心概念

呼叫前檢查預算,完成後記錄實際用量。依租戶或任務類型設定步驟、token、時間與成本上限,並對逾時、預算用盡和重複工具呼叫告警。

可執行範例

from time import monotonic

def budgeted_call(call, budget: int):
    started = monotonic()
    result = call()
    elapsed_ms = round((monotonic() - started) * 1000)
    usage = int(result.get('usage', {}).get('total_tokens', 0))
    if usage > budget:
        raise RuntimeError('agent budget exceeded')
    return {'elapsed_ms': elapsed_ms, 'tokens': usage, 'result': result}

步驟與適用情境

  1. 定義 run、model、tool 三層事件欄位與取樣策略。
  2. 分別設定步驟、token、時間和成本上限。
  3. 呼叫前檢查剩餘預算,完成後記錄結果類別。
  4. 檢查慢 trace 與循環,不保留不必要的個人內容。

適合多租戶 Agent、批次任務與需要稽核的內部自動化。token 是用量單位,不等於固定價格;供應商價格應獨立放在設定中。

官方參考

OpenAI 生產最佳實務 與 OpenTelemetry。

最後核對日期:2026-11-16。不要把單次本機執行描述成通用效能或成本結論。

相關實戰案例

知識實戰:可稽核的工單分流 Agent知識實戰:帶人工審批的部署建議 Agent知識實戰:Agent 失敗後的證據包與人工接管

延伸閱讀

知識AI 自動化工作流程設計與實踐知識AI Agent:從基礎概念到實際應用知識生產級提示工程:從指令到可量測契約
產品中心 Demo · V0.3