原始碼詳情

vLLM

面向高吞吐量 LLM 推理與服務的開源引擎,提供 OpenAI 相容服務介面與連續批次處理等能力。適合具備 GPU 維運能力的團隊部署多模型或高並發推理服務。

目前可用AILLM推理服務GPU

原始碼介紹

面向高吞吐量 LLM 推理與服務的開源引擎,提供 OpenAI 相容服務介面與連續批次處理等能力。適合具備 GPU 維運能力的團隊部署多模型或高並發推理服務。

上游未提供可在此嵌入的產品介面截圖。該專案主要透過 API、命令列或 SDK 使用,請查看官方儲存庫與文件中的範例。

瀏覽公開內容
產品中心 Demo · V0.3