从模型打包、推理服务到灰度、观测和回滚,建立可复现的模型上线路线。
模型部署工程
从模型打包、推理服务到灰度、观测和回滚,建立可复现的模型上线路线。
7 章节3 案例已发布
LEARNING PATH
教程章节
按学习顺序组织的可操作教程。
章节 · 已发布模型部署基础:可重复的模型打包
固定模型、Tokenizer、依赖和配置,生成可审计的部署工件。
阅读章节 章节 · 已发布推理服务接口:健康检查与兼容 API用稳定的 HTTP 契约隔离模型运行时,明确超时、错误和请求上限。
阅读章节 章节 · 已发布vLLM 服务化:从本地兼容接口开始使用官方 OpenAI 兼容接口启动本地模型,并验证鉴权和请求边界。
阅读章节 章节 · 已发布推理性能与容量规划:先测边界再调参数用可复现的输入集测量延迟、并发、上下文和显存边界。
阅读章节 章节 · 已发布Kubernetes 发布:探针、资源与滚动更新为模型服务配置资源边界、探针和可回滚的 Deployment。
阅读章节 章节 · 已发布模型服务观测与回滚:让故障可定位记录请求级指标、模型版本和错误类别,在异常时快速切回上一版。
阅读章节 章节 · 已发布模型量化与质量预算:先定义可接受损失在推理成本、延迟和回答质量之间建立可测量的量化发布门槛。
阅读章节PRACTICE
实践案例
围绕工具、工作流和真实任务整理的实践记录。
