模型服务优化应从业务目标和可复现输入开始。把首 token 延迟、完整响应延迟、错误率和资源使用分开记录,避免只看一个平均值。
核心概念
容量测试要固定模型 revision、输入长度、输出上限和并发阶梯。每次只改变一个变量;预填充和解码阶段的瓶颈可能不同,结果不能直接类推到另一种流量。
可运行示例
import statistics
latencies_ms = [180, 192, 205, 188, 201]
p50 = statistics.median(latencies_ms)
p95 = sorted(latencies_ms)[max(0, round(len(latencies_ms) * 0.95) - 1)]
print({'p50_ms': p50, 'p95_ms': p95, 'samples': len(latencies_ms)})
操作步骤
- 准备脱敏的固定输入集,覆盖短、长和空结果请求。
- 以单并发开始,逐步增加并发并记录 p50、p95、错误和资源。
- 确认上下文长度、批处理和输出上限对结果的影响。
- 把测试命令、版本和结果存档,调参前后保持可比较。
Use cases
适合决定实例规格、限流阈值和上线容量的团队。
常见问题
平均延迟够不够? 不够,尾延迟直接影响用户体验。
能拿公开 benchmark 代替自己的测试吗? 公开结果只能作参考,不能替代你的模型、硬件和输入集。
官方参考
NVIDIA Triton Model Analyzer;Prometheus histogram。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
