先畫出資料流
列出使用者輸入、檢索文件、模型請求、工具參數、日誌和快取的流向。每個節點標示資料等級、保留期限和可見角色。沒有資料流圖,就很難判斷哪些內容會被送到外部 Provider。
常見風險包括提示注入、越權檢索、敏感資訊回顯、工具參數污染和日誌外洩。防護要放在程式碼邊界:檢索前做 ACL 過濾,工具呼叫前做參數和權限驗證,輸出前做敏感資訊檢查。
不要把秘密交給提示
API 金鑰、工作階段權杖和內部設定不能靠系統提示「提醒模型保密」。秘密應只存在伺服器受限設定,日誌使用遮罩和雜湊。對模型供應商只記錄必要欄位,並確認資料保留與訓練政策。
把紅隊樣本納入回歸
準備越權提問、間接提示注入、惡意連結、長文字淹沒和資料外帶樣本。每次模型或檢索器升級都執行一次,記錄攔截率、誤報率和人工複核結果。安全事件應能定位到請求、工具和策略版本。
