先統一輸入規範
為影像、音訊和文字定義 MIME 白名單、大小上限、編碼轉換和中繼資料欄位。不要讓模型直接接收來自公網的任意檔案。解析階段保存來源、時間和校驗雜湊,方便稽核和去重。
一個可維護的管線可以分成:
上傳 -> 安全掃描 -> 前處理 -> 模態編碼 -> 融合/檢索 -> 生成 -> 品質檢查
每種模態使用專門的前處理器:影像做尺寸和方向正規化,音訊記錄取樣率並區分說話者,PDF 保留頁碼和版面座標。跨模態引用必須帶回原始片段,不能只回傳模型改寫的文字。
控制成本和延遲
先做輕量分類,再為難例呼叫較大的模型。快取不可變的轉碼和 embedding;長影片或音訊使用分段和非同步任務。介面顯示處理中、部分完成和失敗重試,不要把長任務偽裝成同步請求。
品質與隱私
為 OCR、轉錄、影像描述分別維護抽樣評測。人臉、聲音和文件中的個人資料按業務需要脫敏或限制存取。刪除原始檔時同步清理縮圖、轉錄和向量。
