LLM 應用程式安全

LLM 應用程式安全與隱私:從輸入邊界到資料生命週期

OPNFTR 原創內容,圍繞 AI、技術與實踐展開。

OPNFTR 原創內容
安全隱私提示注入資料治理

先畫出資料流

列出使用者輸入、檢索文件、模型請求、工具參數、日誌和快取的流向。每個節點標示資料等級、保留期限和可見角色。沒有資料流圖,就很難判斷哪些內容會被送到外部 Provider。

常見風險包括提示注入、越權檢索、敏感資訊回顯、工具參數污染和日誌外洩。防護要放在程式碼邊界:檢索前做 ACL 過濾,工具呼叫前做參數和權限驗證,輸出前做敏感資訊檢查。

不要把秘密交給提示

API 金鑰、工作階段權杖和內部設定不能靠系統提示「提醒模型保密」。秘密應只存在伺服器受限設定,日誌使用遮罩和雜湊。對模型供應商只記錄必要欄位,並確認資料保留與訓練政策。

把紅隊樣本納入回歸

準備越權提問、間接提示注入、惡意連結、長文字淹沒和資料外帶樣本。每次模型或檢索器升級都執行一次,記錄攔截率、誤報率和人工複核結果。安全事件應能定位到請求、工具和策略版本。

資料來源

可參考 OWASP LLM Top 10、NIST AI RMF 和 Google SAIF。

返回知識列表
多模態 AI多模態 AI 管線:影像、文字與音訊的統一處理多模態 · OCR · 音訊AI 程式設計AI 程式設計工作流程:從程式碼補全到可審查交付AI 程式設計 · 程式碼審查 · 測試AI AgentAI Agent:從基礎概念到實際應用Agent · 工具呼叫 · 工作流程
產品中心 Demo · V0.3