AI 应用会同时处理用户输入、检索资料和工具结果。安全设计要假设这些内容都可能包含恶意指令或敏感数据。
核心概念
输入过滤不能替代权限控制。将系统指令、用户内容和工具结果分区;使用最小权限、租户隔离、敏感字段脱敏、审计事件和人工确认保护副作用。
可运行示例
import re
SECRET = re.compile(r'(?i)(api[_-]?key|password|token)\s*[:=]\s*[^\s]+')
def redact(text: str) -> str:
return SECRET.sub(r'\1=[REDACTED]', text)
assert 'secret-value' not in redact('api_key=secret-value')
操作步骤
- 列出输入、检索、模型、工具和日志中的敏感字段。
- 在日志和发送到模型前执行脱敏,并保留必要的审计 id。
- 为每个工具绑定服务端权限和资源范围,不接受模型传来的角色。
- 测试提示注入、跨租户查询、越权写操作和日志泄露。
适用场景
适合处理内部文档、客户信息、代码和可执行工具的应用。
常见问题
提示词过滤能防住注入吗? 不能单独依赖,应结合权限、数据隔离和工具白名单。
日志越详细越好吗? 只保留排障所需字段,并设置保留期限。
官方参考
OWASP LLM Top 10;OpenAI Safety best practices。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
