← 返回學習路線

此章節尚未完成繁體中文或英文審核,目前顯示簡體中文原文。

章節 · 已發布

安全与隐私:输入过滤、最小权限与审计 (原文)

在模型调用前后建立敏感信息、提示注入和越权防线。

來源: knowledge/p24-c/collection_0587a2bfc47ea3584d1b1c59/tutorials/ai-app-safety-and-privacy.mdAI 應用開發
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

AI 应用会同时处理用户输入、检索资料和工具结果。安全设计要假设这些内容都可能包含恶意指令或敏感数据。

核心概念

输入过滤不能替代权限控制。将系统指令、用户内容和工具结果分区;使用最小权限、租户隔离、敏感字段脱敏、审计事件和人工确认保护副作用。

可运行示例

import re

SECRET = re.compile(r'(?i)(api[_-]?key|password|token)\s*[:=]\s*[^\s]+')

def redact(text: str) -> str:
    return SECRET.sub(r'\1=[REDACTED]', text)

assert 'secret-value' not in redact('api_key=secret-value')

操作步骤

  1. 列出输入、检索、模型、工具和日志中的敏感字段。
  2. 在日志和发送到模型前执行脱敏,并保留必要的审计 id。
  3. 为每个工具绑定服务端权限和资源范围,不接受模型传来的角色。
  4. 测试提示注入、跨租户查询、越权写操作和日志泄露。

適用情境

适合处理内部文档、客户信息、代码和可执行工具的应用。

常见问题

提示词过滤能防住注入吗? 不能单独依赖,应结合权限、数据隔离和工具白名单。

日志越详细越好吗? 只保留排障所需字段,并设置保留期限。

官方参考

OWASP LLM Top 10;OpenAI Safety best practices。

最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。

相關實戰案例

知識实战:带权限过滤的本地 RAG 服务 (原文)

延伸閱讀

知識AI Agent:從基礎概念到實際應用知識生產級提示工程:從指令到可量測契約知識結構化輸出與工具契約:讓 Agent 動作可驗證
產品中心 Demo · V0.3