部署问题通常不是模型代码本身,而是权重、Tokenizer、依赖和启动参数在环境之间漂移。先定义模型工件和校验清单,再选择推理服务器。
核心概念
一个可复现工件应记录模型来源、提交或版本、许可证、Tokenizer、精度、依赖锁文件和健康检查。权重文件用哈希校验,运行时配置与密钥分离。
可运行示例
from dataclasses import dataclass
from hashlib import sha256
from pathlib import Path
@dataclass(frozen=True)
class ModelArtifact:
model_id: str
revision: str
tokenizer_id: str
dtype: str
def file_sha256(path: Path) -> str:
digest = sha256()
with path.open('rb') as stream:
for block in iter(lambda: stream.read(1024 * 1024), b''):
digest.update(block)
return digest.hexdigest()
操作步骤
- 锁定模型仓库、revision、Tokenizer 和 Python 依赖版本。
- 生成 manifest.json,记录许可证、精度、文件哈希和启动命令。
- 在无网络的隔离环境执行一次加载和健康检查。
- 把 manifest 与构建日志一起归档,部署时拒绝哈希不一致的文件。
適用情境
适合需要审计、回滚或跨开发和生产环境交付的模型服务。
常见问题
能只记录 latest 吗? 不建议,latest 会随上游变化,应固定 revision。
权重放进镜像吗? 依据镜像大小和合规要求决定;无论如何都要记录来源和哈希。
官方参考
Hugging Face Transformers 模型教程;SLSA provenance。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
