模型服务启动慢、显存占用高,默认容器配置很容易导致错误重启或滚动发布卡住。Kubernetes 清单应先表达资源和健康状态,再表达发布策略。
核心概念
startupProbe 负责长启动期,readinessProbe 控制是否接收流量,livenessProbe 只处理进程失活。Deployment 的 maxUnavailable 和 maxSurge 要结合模型启动成本与容量设置。
可运行示例
import yaml
manifest = {
'apiVersion': 'apps/v1',
'kind': 'Deployment',
'metadata': {'name': 'model-api'},
'spec': {'replicas': 2, 'strategy': {'type': 'RollingUpdate', 'rollingUpdate': {'maxUnavailable': 0, 'maxSurge': 1}}},
}
print(yaml.safe_dump(manifest, sort_keys=False))
操作步骤
- 为镜像、模型 revision 和服务端口建立 Deployment 清单。
- 设置 startup/readiness/liveness 探针和 CPU、内存、GPU 资源边界。
- 先在隔离 namespace 执行 rollout status,再检查日志和请求。
- 保留上一版本 ReplicaSet,验证 rollout undo 可以恢复服务。
适用场景
适合需要多副本、滚动发布和标准化运维的模型团队。
常见问题
readiness 失败会重启容器吗? 不会,它只会把 Pod 从流量中移除。
模型启动太慢怎么办? 使用 startupProbe,并给出合理的 failureThreshold。
官方参考
Kubernetes Deployments;Kubernetes rollout。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
