← Back to learning path

This chapter has not been reviewed in English; the original Simplified Chinese is shown.

Case · Published

实战:本地 vLLM 兼容接口冒烟测试 (original language)

用固定模型接口和 Python 客户端验证服务启动、鉴权、超时与错误边界。

Source: knowledge/p24-c/collection_62e019bd665ea4bb7c5eb169/cases/local-vllm-smoke-test.mdModel deployment engineering
Chapter progress 0%Learning path progress 0% · 0/10 chapters completedContinue learning path →

问题与边界

团队需要在不接入生产流量的情况下验证模型服务协议。目标是得到可重复的 /v1/models、生成请求和错误检查结果,不比较性能。

方案

使用 vLLM 官方 OpenAI 兼容 server,API key 只通过环境变量传入。客户端先检查模型列表,再发送短请求,并把版本和状态写入本地报告。

最小实现

import os
import requests

base = os.getenv('VLLM_BASE_URL', 'http://127.0.0.1:8000/v1')
key = os.getenv('VLLM_API_KEY', 'local-only')
headers = {'Authorization': f'Bearer {key}'}
models = requests.get(base + '/models', headers=headers, timeout=10)
models.raise_for_status()
model = models.json()['data'][0]['id']
body = {'model': model, 'messages': [{'role': 'user', 'content': 'Reply with READY'}], 'max_tokens': 8}
reply = requests.post(base + '/chat/completions', json=body, headers=headers, timeout=20)
reply.raise_for_status()
assert reply.json()['choices'][0]['message']['content']

复现步骤

  1. 按 vLLM 官方文档准备有许可的模型和 Python requests。
  2. 在隔离端口启动兼容服务,并设置 VLLM_API_KEY。
  3. 执行上面的脚本,保存模型 id、HTTP 状态和响应结构。
  4. 停止服务后确认客户端能区分连接失败和模型错误。

验证清单

验证错误 key 返回 401、空模型列表被拒绝、请求超时结束、脚本不输出密钥。

常见问题

能把这个报告当成吞吐 benchmark 吗? 不能,它只验证接口冒烟。

如何换模型? 只替换固定 revision 和 manifest,不改客户端契约。

官方参考

vLLM OpenAI-compatible server;vLLM GitHub。

最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。

Prerequisite tutorials

KnowledgeKubernetes 发布:探针、资源与滚动更新 (original language)Knowledge模型服务观测与回滚:让故障可定位 (original language)

Related source resources

SourcevLLM
Product Hub Demo · V0.3