RAG到底是什麼？AI辦公助理的知識庫為什麼不能直接丟檔案

RAG到底是什麼，不用記英文名詞，記它的中文精神就好：先查資料，再回答。AI辦公助理的知識庫能引用公司自己的文件，靠的就是這套機制，而它也解釋了為什麼檔案不能直接丟了就算。

富啟科技發現誤解通常從這裡開始：很多人以為知識庫是把檔案「教」給AI，AI從此記住了。實際上完全不是這樣運作的。

▍一次提問，實際發生了什麼

員工問「出差住宿費一天補助多少」，系統並不是從AI的記憶裡撈答案。它先拿這個問題去公司的文件庫裡搜尋，找出最相關的幾段，可能是差勤辦法第三條跟一張補助標準表，然後把這幾段資料跟原問題一起交給模型，請它根據這些資料回答。

這個「先擷取、再生成」的順序，就是RAG。回答的依據是被撈出來的那幾段公司文件，不是模型自己知道什麼。所以它回答得對不對，關鍵在前面那個搜尋撈得準不準。

▍為什麼不能直接把檔案丟給它

第一個原因是大小。模型一次能讀的內容有上限，幾百份合約不可能全塞進去。RAG的做法是平常就把文件切成一小段一小段，問題來的時候只撈最相關的幾段，用多少拿多少。

第二個原因是更新。如果答案是記在模型裡的，文件一改就要重新訓練一次，曠日廢時又昂貴。RAG架構下，更新就是換掉文件庫裡的檔案，明天問到的就是新版本，模型本身完全不用動。

第三個原因是依據。直接問模型，它給一個答案，您不知道它從哪聽來的。RAG的每個答案都指得回具體的文件段落，因為那段確實是它剛剛撈出來的素材。出處、稽核、版本確認，全部建立在這一點上。

▍切段跟標註，就是丟檔案前要做的事

文件進系統時會被切成段落，每一段帶著出處資訊：來自哪份檔案、第幾頁、什麼時候更新、誰有權看。這個前置處理決定了擷取品質。

切得太隨便會出事。一份合約的但書在第一頁、結論在第四頁，若兩段被切在不同區塊，提問時只撈到第四頁，回答就會變成沒有條件的結論。標題跟內文被切散、表格欄位跟數字分家，也是同類問題。所以文件的版型跟切分方式要對著調，不是一套參數用到底。

這也解釋了前面幾篇反覆講的整理工作：檔名、版本、權限、掃描品質，這些不是行政瑣事，它們是擷取那一刻的命中率。垃圾檔案進來，撈出來的就是垃圾段落，模型再強也救不了。

▍RAG不是萬靈丹的三個邊界

文件庫裡沒有資料，它編不出正確答案，只會找到最相近的一段硬湊。知識缺口要靠補文件，不是靠技術。

問題需要跨十幾份文件做計算時，例如把所有供應商的報價加總比價，擷取式的架構不擅長，這類需求該走報表工具或直接查系統。

權限要在擷取之前生效。正確的做法是只在使用者有權看的範圍內搜尋，而不是先撈全部、回答時再刪掉無權的部分，後者在流程中留下了外洩的空隙。

▍小結

RAG就是讓AI每次回答前先翻公司自己的資料。它的好壞一半在模型，一半在資料準備：切段切得對不對、版本標得清不清、權限在擷取前還是擷取後生效。理解這個機制，就理解了為什麼知識庫專案最花時間的通常不是上線，是上線前的整理。

▍RAG與AI知識庫運作常見問題

Q1：RAG到底是什麼，跟直接問AI有什麼不一樣？

RAG是先查公司資料再回答的機制。直接問AI，答案來自模型本身的訓練內容，無法指定資訊來源，也不知道它根據什麼回答。RAG會在提問時先從企業文件庫擷取最相關的段落，再請模型根據那些段落作答，每個答案都指得回具體文件。差別可以理解成：一個是憑記憶回答，一個是開書考試。

Q2：用了RAG，AI辦公助理就不會答錯了嗎？

不會，RAG解決的是答案來源問題，不是所有錯誤。常見的錯還有幾種：擷取到舊版文件、該抓的但書段落沒被撈到、文件庫根本沒有資料卻硬湊出答案。也就是說RAG把錯誤型態從「亂編」轉成「找錯資料或資料不足」，這些要另外靠版本治理、切分調校跟找不到就承認不知道的機制來處理。

Q3：公司文件更新之後，RAG知識庫要重新訓練模型嗎？

不用，這正是RAG架構的好處。模型本身不儲存公司文件，答案是在提問當下即時擷取的，所以更新文件庫裡的檔案、下架舊版，下次查詢就會引用新版本。要留意的是同步週期，若系統採排程匯入而非即時連接，今天更新的文件可能要等下次同步才生效，這個時間差要讓同仁知道，重要公告最好另通知。

Q4：RAG知識庫裡的機密文件，權限是怎麼生效的？

正確做法是在擷取階段就帶入使用者身分，只在他有權存取的文件裡搜尋，無權的文件根本不會被撈出來。富啟科技的知識庫是採這個順序設計。要特別避免的是先擷取全部內容、再從生成的答案裡刪除無權資訊，因為資料在過程中已經被讀取，等於權限檢查做在最後一道，存在外洩空隙。這一點值得在評估時實際要求廠商說明。

RAG值不值得做，不看技術新不新，看的是公司文件在切段、版本跟權限上整理到什麼程度。若您想確認自家文件適不適合直接進知識庫、哪些要先整理，歡迎跟我們聊聊。

富啟科技可協助檢視文件準備度並規劃知識庫的擷取與權限架構，取得客製化建置方案與報價：

電話 (02)2516-6100｜手機 0979-382-058｜LineID:@964dmmig

地址：台北市南京東路二段178號6樓