先画出数据流
列出用户输入、检索文档、模型请求、工具参数、日志和缓存的流向。每个节点标记数据等级、保留期限和可见角色。没有数据流图,就很难判断哪些内容会被带到外部 Provider。
常见风险包括提示注入、越权检索、敏感信息回显、工具参数污染和日志泄露。防护要放在代码边界:检索前做 ACL 过滤,工具调用前做参数和权限校验,输出前做敏感信息检测。
不把秘密交给提示词
API 密钥、会话令牌和内部配置不能通过系统提示词“提醒模型保密”。秘密应只存在服务端受限配置,日志使用掩码和哈希。对模型供应商记录最小必要字段,并确认数据保留和训练政策。
把红队样本纳入回归
准备越权提问、间接提示注入、恶意链接、长文本淹没和数据外带样本。每次模型或检索器升级都跑一遍,记录拦截率、误报率和人工复核结果。安全事件应可定位到请求、工具和策略版本。
