← 返回學習路線

此章節尚未完成繁體中文或英文審核,目前顯示簡體中文原文。

章節 · 已發布

推理服务接口:健康检查与兼容 API (原文)

用稳定的 HTTP 契约隔离模型运行时,明确超时、错误和请求上限。

來源: knowledge/p24-c/collection_62e019bd665ea4bb7c5eb169/tutorials/deployment-inference-api.md模型部署工程
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

推理服务的客户端不应依赖模型进程内部细节。把请求 schema、超时、最大输入、健康检查和错误码定义成接口契约,替换运行时也不会影响调用方。

核心概念

区分 liveness、readiness 和业务推理接口。readiness 应在模型加载、Tokenizer 和依赖检查完成后才返回成功;请求要有 request_id 和输入长度上限。

可运行示例

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel, Field

app = FastAPI()
class GenerateRequest(BaseModel):
    prompt: str = Field(min_length=1, max_length=8000)
    max_tokens: int = Field(default=128, ge=1, le=2048)

@app.get('/ready')
def ready() -> dict:
    return {'status': 'ready'}

@app.post('/generate')
def generate(request: GenerateRequest) -> dict:
    if request.prompt.strip() == '':
        raise HTTPException(status_code=422, detail='empty prompt')
    return {'text': request.prompt[:32], 'request_id': 'local-example'}

操作步骤

  1. 先写 OpenAPI schema 和错误码,再绑定具体模型。
  2. 实现 /live、/ready 和推理接口,并为每个请求生成关联 id。
  3. 设置请求体、并发数、超时和输出长度上限。
  4. 使用固定输入验证成功、超时、过长输入和模型未就绪。

適用情境

适合内部服务、边缘部署和需要替换 vLLM、TGI 或自研运行时的团队。

常见问题

/live 可以加载模型吗? 不应,liveness 只说明进程还活着。

客户端超时后能无限重试吗? 不能,应限制重试并使用幂等请求 id。

官方参考

FastAPI 官方文档;Kubernetes probes。

最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。

相關實戰案例

知識实战:本地 vLLM 兼容接口冒烟测试 (原文)知識实战:模型服务金丝雀发布与回滚 (原文)知識实战:模型服务金丝雀与质量预算 (原文)

相關原始碼資源

原始碼vLLM

延伸閱讀

知識AI 自動化工作流程設計與實踐知識AI Agent:從基礎概念到實際應用知識大型語言模型 API 串接與成本最佳化
產品中心 Demo · V0.3