问题与边界
团队需要在不接入生产流量的情况下验证模型服务协议。目标是得到可重复的 /v1/models、生成请求和错误检查结果,不比较性能。
方案
使用 vLLM 官方 OpenAI 兼容 server,API key 只通过环境变量传入。客户端先检查模型列表,再发送短请求,并把版本和状态写入本地报告。
最小实现
import os
import requests
base = os.getenv('VLLM_BASE_URL', 'http://127.0.0.1:8000/v1')
key = os.getenv('VLLM_API_KEY', 'local-only')
headers = {'Authorization': f'Bearer {key}'}
models = requests.get(base + '/models', headers=headers, timeout=10)
models.raise_for_status()
model = models.json()['data'][0]['id']
body = {'model': model, 'messages': [{'role': 'user', 'content': 'Reply with READY'}], 'max_tokens': 8}
reply = requests.post(base + '/chat/completions', json=body, headers=headers, timeout=20)
reply.raise_for_status()
assert reply.json()['choices'][0]['message']['content']
复现步骤
- 按 vLLM 官方文档准备有许可的模型和 Python requests。
- 在隔离端口启动兼容服务,并设置 VLLM_API_KEY。
- 执行上面的脚本,保存模型 id、HTTP 状态和响应结构。
- 停止服务后确认客户端能区分连接失败和模型错误。
验证清单
验证错误 key 返回 401、空模型列表被拒绝、请求超时结束、脚本不输出密钥。
常见问题
能把这个报告当成吞吐 benchmark 吗? 不能,它只验证接口冒烟。
如何换模型? 只替换固定 revision 和 manifest,不改客户端契约。
官方参考
vLLM OpenAI-compatible server;vLLM GitHub。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
