← 返回學習路線

此章節尚未完成繁體中文或英文審核,目前顯示簡體中文原文。

章節 · 已發布

模型部署基础:可重复的模型打包 (原文)

固定模型、Tokenizer、依赖和配置,生成可审计的部署工件。

來源: knowledge/p24-c/collection_62e019bd665ea4bb7c5eb169/tutorials/deployment-model-packaging.md模型部署工程
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

部署问题通常不是模型代码本身,而是权重、Tokenizer、依赖和启动参数在环境之间漂移。先定义模型工件和校验清单,再选择推理服务器。

核心概念

一个可复现工件应记录模型来源、提交或版本、许可证、Tokenizer、精度、依赖锁文件和健康检查。权重文件用哈希校验,运行时配置与密钥分离。

可运行示例

from dataclasses import dataclass
from hashlib import sha256
from pathlib import Path

@dataclass(frozen=True)
class ModelArtifact:
    model_id: str
    revision: str
    tokenizer_id: str
    dtype: str

def file_sha256(path: Path) -> str:
    digest = sha256()
    with path.open('rb') as stream:
        for block in iter(lambda: stream.read(1024 * 1024), b''):
            digest.update(block)
    return digest.hexdigest()

操作步骤

  1. 锁定模型仓库、revision、Tokenizer 和 Python 依赖版本。
  2. 生成 manifest.json,记录许可证、精度、文件哈希和启动命令。
  3. 在无网络的隔离环境执行一次加载和健康检查。
  4. 把 manifest 与构建日志一起归档,部署时拒绝哈希不一致的文件。

適用情境

适合需要审计、回滚或跨开发和生产环境交付的模型服务。

常见问题

能只记录 latest 吗? 不建议,latest 会随上游变化,应固定 revision。

权重放进镜像吗? 依据镜像大小和合规要求决定;无论如何都要记录来源和哈希。

官方参考

Hugging Face Transformers 模型教程;SLSA provenance。

最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。

相關實戰案例

知識实战:本地 vLLM 兼容接口冒烟测试 (原文)知識实战:模型服务金丝雀与质量预算 (原文)

相關原始碼資源

原始碼Hugging Face Transformers

延伸閱讀

知識AI Agent:從基礎概念到實際應用知識參數高效微調:LoRA 選擇、評測與上線邊界
產品中心 Demo · V0.3