原始碼詳情
面向高吞吐量 LLM 推理與服務的開源引擎,提供 OpenAI 相容服務介面與連續批次處理等能力。適合具備 GPU 維運能力的團隊部署多模型或高並發推理服務。
上游未提供可在此嵌入的產品介面截圖。該專案主要透過 API、命令列或 SDK 使用,請查看官方儲存庫與文件中的範例。