先量測服務目標
把延遲拆成排隊、前處理、模型執行和後處理。分別記錄首 token 延遲、每 token 延遲、吞吐量、並行數和顯存使用量。沒有這些指標,盲目更換 GPU 或量化很難得到穩定收益。
連續批次可以提高吞吐量,但會增加等待時間。為互動請求和批次任務設定不同佇列和預算,使用最大等待時間保護尾延遲。串流回應也要設定首 token 逾時和整體截止時間。
鎖定版本和硬體
記錄模型權重、Tokenizer、CUDA、驅動程式、推理引擎和量化方式。建置映像時產生軟體清單,部署前用固定提示做正確性回歸。「能啟動」不等於相容性已證明。
故障與彈性伸縮
健康檢查應區分程序存活、模型就緒和實際推理。顯存不足、模型載入失敗和上游逾時要有清楚狀態;擴容前先限制佇列和請求大小。重要模型保留最近可用版本,切換時支援快速回復。
資料來源
可參考 vLLM 文件、NVIDIA Triton 文件 和 KServe 文件。
