← Back to learning path

This chapter has not been reviewed in English; the original Simplified Chinese is shown.

Chapter · Published

推理性能与容量规划:先测边界再调参数 (original language)

用可复现的输入集测量延迟、并发、上下文和显存边界。

Source: knowledge/p24-c/collection_62e019bd665ea4bb7c5eb169/tutorials/deployment-performance-and-capacity.mdModel deployment engineering
Chapter progress 0%Learning path progress 0% · 0/10 chapters completedContinue learning path →

模型服务优化应从业务目标和可复现输入开始。把首 token 延迟、完整响应延迟、错误率和资源使用分开记录,避免只看一个平均值。

核心概念

容量测试要固定模型 revision、输入长度、输出上限和并发阶梯。每次只改变一个变量;预填充和解码阶段的瓶颈可能不同,结果不能直接类推到另一种流量。

可运行示例

import statistics

latencies_ms = [180, 192, 205, 188, 201]
p50 = statistics.median(latencies_ms)
p95 = sorted(latencies_ms)[max(0, round(len(latencies_ms) * 0.95) - 1)]
print({'p50_ms': p50, 'p95_ms': p95, 'samples': len(latencies_ms)})

操作步骤

  1. 准备脱敏的固定输入集,覆盖短、长和空结果请求。
  2. 以单并发开始,逐步增加并发并记录 p50、p95、错误和资源。
  3. 确认上下文长度、批处理和输出上限对结果的影响。
  4. 把测试命令、版本和结果存档,调参前后保持可比较。

Use cases

适合决定实例规格、限流阈值和上线容量的团队。

常见问题

平均延迟够不够? 不够,尾延迟直接影响用户体验。

能拿公开 benchmark 代替自己的测试吗? 公开结果只能作参考,不能替代你的模型、硬件和输入集。

官方参考

NVIDIA Triton Model Analyzer;Prometheus histogram。

最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。

Product Hub Demo · V0.3