← 返回學習路線
章節 · 已發布

RAG 基礎:文件、分塊與資料契約

從可追溯的文件管線開始,定義內容、版本、權限與刪除語義。

來源: knowledge/p24-b/collection_6e8fbe1e8b1ea569a539e8a5/tutorials/rag-foundations-and-data-contracts.mdRAG 知識庫工程
本章閱讀進度 0%學習路線進度 0% · 0/10 已完成章節繼續學習路線 →

RAG 將外部資料的檢索結果作為生成上下文。可靠的系統應先確保資料可追溯、可更新、可刪除,再討論向量模型與提示詞。

核心概念

每份文件都應有穩定 id、來源、版本、更新時間、租戶和存取標籤。每個分塊保留標題路徑和文件 id,生成答案時才能引用原文並處理增量更新。

from dataclasses import dataclass

@dataclass(frozen=True)
class Chunk:
    document_id: str
    version: str
    ordinal: int
    text: str
    access_tags: tuple[str, ...]

def chunk_id(chunk: Chunk) -> str:
    return f'{chunk.document_id}:{chunk.version}:{chunk.ordinal}'

操作步驟

  1. 確定允許的檔案類型、大小上限和來源白名單。
  2. 解析標題層級並依語義邊界分塊,保存文件版本與分塊序號。
  3. 產生 embedding 前先過濾空文字和敏感欄位。
  4. 保留原文位置;文件更新或替換時,按版本清理相關分塊。

適用情境

適合產品手冊、內部流程與公開技術文件;不適合把即時交易資料複製成長期知識分塊。

常見問題

分塊越大越好嗎? 不是,分塊大小要與檢索任務、模型上下文和引用需求一起評估。

更新應該如何處理? 寫入新版本,確認成功後再切換索引指標,最後清理舊版本。

掃描 PDF 需要 OCR 嗎? 需要時要單獨記錄 OCR 品質,不能把空文字當作有效知識。

官方參考

OpenAI Embeddings;OpenAI Retrieval。

最後核對日期:2026-11-16。API 行為請以連結的官方資料為準。

相關實戰案例

知識實戰:RAG 索引藍綠切換與回滾知識實戰:用固定問題集回放 RAG 檢索回歸

延伸閱讀

知識RAG 企業知識庫:架構與落地實踐知識AI 自動化工作流程設計與實踐知識AI Agent:從基礎概念到實際應用
產品中心 Demo · V0.3