LLM 应用安全

LLM 应用安全与隐私:从输入边界到数据生命周期

OPNFTR 原创内容,围绕 AI、技术与实践展开。

OPNFTR 原创内容
安全隐私提示注入数据治理

先画出数据流

列出用户输入、检索文档、模型请求、工具参数、日志和缓存的流向。每个节点标记数据等级、保留期限和可见角色。没有数据流图,就很难判断哪些内容会被带到外部 Provider。

常见风险包括提示注入、越权检索、敏感信息回显、工具参数污染和日志泄露。防护要放在代码边界:检索前做 ACL 过滤,工具调用前做参数和权限校验,输出前做敏感信息检测。

不把秘密交给提示词

API 密钥、会话令牌和内部配置不能通过系统提示词“提醒模型保密”。秘密应只存在服务端受限配置,日志使用掩码和哈希。对模型供应商记录最小必要字段,并确认数据保留和训练政策。

把红队样本纳入回归

准备越权提问、间接提示注入、恶意链接、长文本淹没和数据外带样本。每次模型或检索器升级都跑一遍,记录拦截率、误报率和人工复核结果。安全事件应可定位到请求、工具和策略版本。

资料来源

可参考 OWASP LLM Top 10、NIST AI RMF 和 Google SAIF。

返回知识列表
多模态 AI多模态 AI 管线:图像、文本与音频的统一处理多模态 · OCR · 音频AI 编程AI 编程工作流:从代码补全到可审查交付AI 编程 · 代码审查 · 测试AI AgentAI Agent:从基础概念到实际应用Agent · 工具调用 · 工作流
产品中心 Demo · V0.3