RAG 將外部資料的檢索結果作為生成上下文。可靠的系統應先確保資料可追溯、可更新、可刪除,再討論向量模型與提示詞。
核心概念
每份文件都應有穩定 id、來源、版本、更新時間、租戶和存取標籤。每個分塊保留標題路徑和文件 id,生成答案時才能引用原文並處理增量更新。
from dataclasses import dataclass
@dataclass(frozen=True)
class Chunk:
document_id: str
version: str
ordinal: int
text: str
access_tags: tuple[str, ...]
def chunk_id(chunk: Chunk) -> str:
return f'{chunk.document_id}:{chunk.version}:{chunk.ordinal}'
操作步驟
- 確定允許的檔案類型、大小上限和來源白名單。
- 解析標題層級並依語義邊界分塊,保存文件版本與分塊序號。
- 產生 embedding 前先過濾空文字和敏感欄位。
- 保留原文位置;文件更新或替換時,按版本清理相關分塊。
適用情境
適合產品手冊、內部流程與公開技術文件;不適合把即時交易資料複製成長期知識分塊。
常見問題
分塊越大越好嗎? 不是,分塊大小要與檢索任務、模型上下文和引用需求一起評估。
更新應該如何處理? 寫入新版本,確認成功後再切換索引指標,最後清理舊版本。
掃描 PDF 需要 OCR 嗎? 需要時要單獨記錄 OCR 品質,不能把空文字當作有效知識。
官方參考
OpenAI Embeddings;OpenAI Retrieval。
最後核對日期:2026-11-16。API 行為請以連結的官方資料為準。
