← Back to learning path

This chapter has not been reviewed in English; the original Simplified Chinese is shown.

Chapter · Published

模型量化与质量预算:先定义可接受损失 (original language)

在推理成本、延迟和回答质量之间建立可测量的量化发布门槛。

Source: knowledge/p27/model-deployment-engineering/tutorials/deployment-quantization-and-quality-budget.mdModel deployment engineering
Chapter progress 0%Learning path progress 0% · 0/10 chapters completedContinue learning path →

量化可以降低显存和延迟,但不是无损压缩。发布前要固定问题集、模型版本和硬件,比较质量、错误类型和资源占用,再决定是否推广。

核心概念

把质量预算写成发布条件,例如事实性、结构化输出成功率和拒答准确率不能低于基线。性能测量同时记录并发、输入长度、批处理和冷启动,避免只比较单次吞吐。

可运行示例

from dataclasses import dataclass

@dataclass(frozen=True)
class Candidate:
    quality: float
    p95_ms: float
    memory_gb: float

def acceptable(candidate: Candidate, baseline: Candidate) -> bool:
    return candidate.quality >= baseline.quality - 0.02 and candidate.p95_ms <= baseline.p95_ms and candidate.memory_gb < baseline.memory_gb

assert acceptable(Candidate(.89, 420, 12), Candidate(.90, 450, 16))

操作步骤

  1. 冻结模型、量化配置、硬件和固定提示集,保存基线输出。
  2. 在冷启动、短输入、长输入和目标并发下测量 p95 延迟及显存。
  3. 对事实性、结构化输出和安全拒答分别评分,记录失败样本而非只保存均值。
  4. 只有质量和资源门槛都通过才进入灰度,保留上一模型和回滚指针。

Use cases

适合自托管推理和成本敏感的批处理;高风险任务应优先保留质量预算和人工复核。

常见问题

量化位数越低越好吗? 不一定,必须由固定评测集和硬件结果决定。

只测平均延迟可以吗? 不够,长尾和冷启动会影响实际体验。

如何处理质量回退? 停止推广并恢复上一版本,保留候选工件用于分析。

延伸阅读

官方参考

Hugging Face Transformers quantization;vLLM OpenAI-compatible server。

最后核对日期:2026-11-17。涉及版本、接口、模型行为和价格的结论以链接中的官方资料为准;本文不把一次本地运行结果表述为通用性能结论。

Related practical cases

Knowledge实战:模型服务金丝雀与质量预算 (original language)Knowledge实战:模型服务金丝雀发布与回滚 (original language)

Related source resources

SourceHugging Face TransformersSourcevLLM
Product Hub Demo · V0.3