學習路線

模型部署工程

從模型打包、推理服務到灰度、觀測與回滾,建立可重現的模型上線路線。

← 返回知識中心
閱讀進度0%0/10 已完成
繼續閱讀 →
01

模型部署工程

從模型打包、推理服務到灰度、觀測與回滾,建立可重現的模型上線路線。

開啟專題
TUTORIAL_CHAPTER模型部署基础:可重复的模型打包 (原文)

固定模型、Tokenizer、依赖和配置,生成可审计的部署工件。

開啟專題 →
TUTORIAL_CHAPTER推理服务接口:健康检查与兼容 API (原文)

用稳定的 HTTP 契约隔离模型运行时,明确超时、错误和请求上限。

開啟專題 →
TUTORIAL_CHAPTERvLLM 服务化:从本地兼容接口开始 (原文)

使用官方 OpenAI 兼容接口启动本地模型,并验证鉴权和请求边界。

開啟專題 →
TUTORIAL_CHAPTER推理性能与容量规划:先测边界再调参数 (原文)

用可复现的输入集测量延迟、并发、上下文和显存边界。

開啟專題 →
TUTORIAL_CHAPTERKubernetes 发布:探针、资源与滚动更新 (原文)

为模型服务配置资源边界、探针和可回滚的 Deployment。

開啟專題 →
TUTORIAL_CHAPTER模型服务观测与回滚:让故障可定位 (原文)

记录请求级指标、模型版本和错误类别,在异常时快速切回上一版。

開啟專題 →
案例实战:本地 vLLM 兼容接口冒烟测试 (原文)

用固定模型接口和 Python 客户端验证服务启动、鉴权、超时与错误边界。

開啟專題 →
案例实战:模型服务金丝雀发布与回滚 (原文)

在隔离 Kubernetes namespace 中演练探针、滚动更新和回滚指针。

開啟專題 →
案例实战:模型服务金丝雀与质量预算 (原文)

用固定提示集和阈值决定模型服务是否继续灰度,演练失败时回滚。

開啟專題 →
TUTORIAL_CHAPTER模型量化与质量预算:先定义可接受损失 (原文)

在推理成本、延迟和回答质量之间建立可测量的量化发布门槛。

開啟專題 →
7 章節3 案例
產品中心 Demo · V0.3