量化可以降低显存和延迟,但不是无损压缩。发布前要固定问题集、模型版本和硬件,比较质量、错误类型和资源占用,再决定是否推广。
核心概念
把质量预算写成发布条件,例如事实性、结构化输出成功率和拒答准确率不能低于基线。性能测量同时记录并发、输入长度、批处理和冷启动,避免只比较单次吞吐。
可运行示例
from dataclasses import dataclass
@dataclass(frozen=True)
class Candidate:
quality: float
p95_ms: float
memory_gb: float
def acceptable(candidate: Candidate, baseline: Candidate) -> bool:
return candidate.quality >= baseline.quality - 0.02 and candidate.p95_ms <= baseline.p95_ms and candidate.memory_gb < baseline.memory_gb
assert acceptable(Candidate(.89, 420, 12), Candidate(.90, 450, 16))
操作步骤
- 冻结模型、量化配置、硬件和固定提示集,保存基线输出。
- 在冷启动、短输入、长输入和目标并发下测量 p95 延迟及显存。
- 对事实性、结构化输出和安全拒答分别评分,记录失败样本而非只保存均值。
- 只有质量和资源门槛都通过才进入灰度,保留上一模型和回滚指针。
适用场景
适合自托管推理和成本敏感的批处理;高风险任务应优先保留质量预算和人工复核。
常见问题
量化位数越低越好吗? 不一定,必须由固定评测集和硬件结果决定。
只测平均延迟可以吗? 不够,长尾和冷启动会影响实际体验。
如何处理质量回退? 停止推广并恢复上一版本,保留候选工件用于分析。
延伸阅读
官方参考
Hugging Face Transformers quantization;vLLM OpenAI-compatible server。
最后核对日期:2026-11-17。涉及版本、接口、模型行为和价格的结论以链接中的官方资料为准;本文不把一次本地运行结果表述为通用性能结论。
