← Back to learning path

This chapter has not been reviewed in English; the original Simplified Chinese is shown.

Chapter · Published

Kubernetes 发布:探针、资源与滚动更新 (original language)

为模型服务配置资源边界、探针和可回滚的 Deployment。

Source: knowledge/p24-c/collection_62e019bd665ea4bb7c5eb169/tutorials/deployment-kubernetes-rollout.mdModel deployment engineering
Chapter progress 0%Learning path progress 0% · 0/10 chapters completedContinue learning path →

模型服务启动慢、显存占用高,默认容器配置很容易导致错误重启或滚动发布卡住。Kubernetes 清单应先表达资源和健康状态,再表达发布策略。

核心概念

startupProbe 负责长启动期,readinessProbe 控制是否接收流量,livenessProbe 只处理进程失活。Deployment 的 maxUnavailable 和 maxSurge 要结合模型启动成本与容量设置。

可运行示例

import yaml

manifest = {
    'apiVersion': 'apps/v1',
    'kind': 'Deployment',
    'metadata': {'name': 'model-api'},
    'spec': {'replicas': 2, 'strategy': {'type': 'RollingUpdate', 'rollingUpdate': {'maxUnavailable': 0, 'maxSurge': 1}}},
}
print(yaml.safe_dump(manifest, sort_keys=False))

操作步骤

  1. 为镜像、模型 revision 和服务端口建立 Deployment 清单。
  2. 设置 startup/readiness/liveness 探针和 CPU、内存、GPU 资源边界。
  3. 先在隔离 namespace 执行 rollout status,再检查日志和请求。
  4. 保留上一版本 ReplicaSet,验证 rollout undo 可以恢复服务。

Use cases

适合需要多副本、滚动发布和标准化运维的模型团队。

常见问题

readiness 失败会重启容器吗? 不会,它只会把 Pod 从流量中移除。

模型启动太慢怎么办? 使用 startupProbe,并给出合理的 failureThreshold。

官方参考

Kubernetes Deployments;Kubernetes rollout。

最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。

Related practical cases

Knowledge实战:模型服务金丝雀发布与回滚 (original language)Knowledge实战:本地 vLLM 兼容接口冒烟测试 (original language)Knowledge实战:模型服务金丝雀与质量预算 (original language)
Product Hub Demo · V0.3