正在加载项目详情…
源码详情
面向高吞吐量 LLM 推理与服务的开源引擎,提供 OpenAI 兼容服务接口和连续批处理等能力。适合具备 GPU 运维能力的团队部署多模型或高并发推理服务。
上游未提供可在此嵌入的产品界面截图。该项目主要通过 API、命令行或 SDK 使用,请查看官方仓库与文档中的示例。