RAG 解決什麼問題
檢索增強生成(RAG)把「模型參數中的知識」和「企業目前可存取的資料」分開。系統先檢索證據,再讓模型根據證據回答,並把來源回傳給讀者。它不會自動解決權限、文件品質或事實衝突,但能讓更新頻率與引用邊界更可控。
參考架構
檔案/網頁 -> 解析清洗 -> 分塊 -> embedding -> 向量索引
| |
+-> ACL/來源/時間中繼資料 ----------------+
v
使用者問題 -> 查詢改寫 -> 混合檢索 -> 重排 -> 證據窗口 -> 生成與引用
分塊不是越小越好。可先從 400–800 個 token 開始,並保留標題、路徑、更新時間和存取控制標籤。表格、程式碼和 FAQ 通常需要按語意獨立處理。
檢索品質先於模型大小
先建立離線評測集:每個問題配一組應命中的文件和不可接受答案。記錄 recall@k、MRR、引用覆蓋率與拒答準確率。混合檢索結合關鍵字和向量檢索,再以重排模型排列前幾十個候選。
回答階段要求模型只使用證據窗口,證據不足時必須明確拒答:
if evidence.isEmpty() or evidence.confidence < threshold:
return "目前資料不足,無法確認。"
return answer_with_citations(evidence)
權限、更新與成本
ACL 必須在檢索前過濾,不能先召回再靠提示詞隱藏。文件更新後要能定位受影響的 chunk 並重建索引;刪除或撤銷權限的資料也應從索引移除。Embedding、重排和生成分開計量,快取查詢改寫與穩定證據集。
延伸閱讀
可參考 Retrieval-Augmented Generation 原論文、OpenAI embeddings 指南 和 pgvector 文件。
