RAG 把外部资料检索结果作为生成上下文。可靠的系统先保证资料可追溯、可更新、可删除,再讨论向量模型和提示词。
核心概念
每个文档应有稳定 id、来源、版本、更新时间、租户和访问标签。分块要保留标题路径和文档 id,生成答案时才能引用原文并处理增量更新。
可运行示例
from dataclasses import dataclass
@dataclass(frozen=True)
class Chunk:
document_id: str
version: str
ordinal: int
text: str
access_tags: tuple[str, ...]
def chunk_id(chunk: Chunk) -> str:
return f'{chunk.document_id}:{chunk.version}:{chunk.ordinal}'
操作步骤
- 确定允许的文件类型、最大大小和来源白名单。
- 解析标题层级并按语义边界分块,保存文档版本和块序号。
- 为每个块生成 embedding 前先过滤空文本和敏感字段。
- 保留原文位置,删除或替换文档时按版本清理相关块。
适用场景
适合产品手册、内部流程和公开技术文档;不适合把实时交易数据复制成长期知识块。
常见问题
块越大越好吗? 不是,块大小要和检索任务、模型上下文和引用需要一起评估。
如何处理更新? 新版本写入后再切换索引指针,确认成功后清理旧版本。
扫描 PDF 需要 OCR 吗? 需要时单独记录 OCR 质量,不能把空文本当作有效知识。
官方参考
OpenAI Embeddings;OpenAI Retrieval。
最后核对日期:2026-11-16。版本、接口和安全边界以链接的官方资料为准;本文不虚构性能或费用结论。
