跳到主要內容
NTPU AI Learn

AI 103 · 模組 3

RAG 與 Knowledge Retrieval

Agent 不知道答案時，應該猜，還是去找資料？

開始第一節
  • 時長55 分鐘
  • 難度核心
  • 先備知識建議先完成 AI 102，以及本課程模組 1、2
已完成 0 / 6
同步我的進度加入梯次後，進度可跨裝置保存，講師也能看到

資訊

加入後，你已完成的模組編號會連同「學員代碼」傳送給講師，講師可以看到你的進度。請使用講師提供的代碼，不要輸入姓名、公司機密或其他個資。進度資料與該梯次的其他資料一起保存。

學習目標

  • 說明 Internal Knowledge 與 External Knowledge 的差異，以及為什麼要使用 RAG（Retrieval-Augmented Generation）
  • 描述 RAG 流程：Question、Retrieve Relevant Knowledge、Build Context、Generate Answer、Verify Evidence
  • 判斷一項資訊應該被記住（Memory）、被檢索（RAG），還是透過 Tool 取得
  • 說明 Grounding，以及檢索不到可靠證據時 Agent 該怎麼做

問題與需求

8 分鐘

猜，還是去找？

同事問 Agent：「員工的育嬰假有幾天？」Agent 立刻給出一個流暢的答案。但這個答案是從哪裡來的？

工作情境

Agent 依訓練時學到的內容回答「通常是 8 週」。但貴機構今年修訂過的現行辦法寫的是另一個數字。這個答案聽起來很對，卻沒有人看得出它的出處。

  • 模型的 Internal Knowledge 停留在某個時間點，可能已經過時
  • 它懂的是一般規律，不是你所屬機構自己的文件
  • 它通常無法指出答案依據哪一份文件
  • 不知道的時候，它仍可能給出聽起來很有把握的答案

注意

對於取決於機構自身資料或最新資訊的問題，安全的做法是查詢可信來源，而不是猜。這個行為必須被設計進 Agent。

重點: 猜的 Agent 與知道的 Agent 聽起來一樣。要把它設計成會去查可信來源，並說明依據。

RAG 與知識來源

9 分鐘

Internal 與 External Knowledge，以及為什麼需要 RAG

Internal Knowledge（內部知識）是模型在訓練時吸收的內容。External Knowledge（外部知識）則存在模型之外：文件、資料庫、網站與企業知識庫。RAG（Retrieval-Augmented Generation，檢索增強生成）讓 Agent 在被問到問題時，去取得相關的外部知識，並依據它回答。

Internal Knowledge

  • 訓練時學到，固定在某個時間點
  • 廣泛而一般性
  • 沒有具體來源可以出示
  • 不包含你的私有文件或較新的文件

External Knowledge（透過 RAG）

  • 留在來源處，可以持續更新
  • 針對你的機構或領域
  • 可指回某份文件與版本
  • 可在來源端控管存取權限
常見的知識來源（模擬範例）
來源例子使用前先問
Documents（文件）員工手冊、產品手冊、SOP哪一版是現行版本？誰負責維護？
Databases（資料庫）課程名冊或供應商登錄表誰可以看哪些紀錄？
Websites（網站）主管機關的公開網頁它是權威來源嗎？更新到什麼時候？
Enterprise Knowledge Bases（企業知識庫）部門內部 Wiki有人維護嗎？還是已經與現況脫節？
自我檢測

Agent 需要回答貴機構目前的差旅費核銷規定，而這些規定上個月剛更新。最好的做法是什麼？

Agent 需要回答貴機構目前的差旅費核銷規定，而這些規定上個月剛更新。最好的做法是什麼？

重點: Internal Knowledge 廣泛但固定在某個時間點。透過 RAG 取得的 External Knowledge 具體、最新、可追溯。

10 分鐘

RAG 流程與 Grounding

RAG 是一條很短的流程，每一步都可能決定品質好壞。

RAG 流程
  1. Question：使用者提出問題
  2. Retrieve Relevant Knowledge：搜尋來源，找出相關的段落
  3. Build Context：把檢索到的段落連同來源放進 Context
  4. Generate Answer：AI 依據該 Context 回答
  5. Verify Evidence：檢查答案是否有段落支持，重要的內容再由人審核
  1. Search 與 Retrieval
    找到正確的段落是最難的部分。如果取回的段落不對，再好的模型也會答錯。模組 4 與 5 會說明如何準備知識，讓這一步順利運作。
  2. Generation
    模型依取回的 Context 寫出答案，並且應該待在證據所說的範圍內。
  3. Grounding（證據依據）
    有依據的答案會連結到證據：它標示來源，且每項主張都能對照檢查。
沒有依據與有依據的比較（模擬範例）
答案看起來像什麼你能查證嗎？
Ungrounded（沒有依據）「員工可請 8 週育嬰假。」沒有來源，只是猜測
Grounded（有依據）「員工可請 12 週育嬰假（員工手冊 2026 版，第 4.2 節，今日檢索）。」可以；打開第 4.2 節對照即可
有依據，但找不到資料「在我搜尋的來源中找不到育嬰假的章節，請向人資單位確認。」可以；它承認缺口，而不是猜測
自我檢測

Agent 針對一個規定問題檢索不到任何相關段落。哪一種回應最符合 Grounding 的行為？

Agent 針對一個規定問題檢索不到任何相關段落。哪一種回應最符合 Grounding 的行為？

重點: RAG 是 Question、Retrieve、Build Context、Generate、Verify。有依據的答案會出示證據，沒有證據時也會承認。

Remember、Retrieve 或 Tool

10 分鐘

該記住、檢索，還是用 Tool？

除了目前的 Context，資訊有三種方式抵達 Agent。選錯方式，是最常見的設計錯誤之一。

Remember、Retrieve 與 Tool 的比較
資訊MemoryRAGTool / API
使用者偏好是
員工手冊是
目前庫存是
先前任務的結果是
產品手冊是

如何區分

  • Remember：量小、穩定、與使用者或進行中的工作有關，且適合保留
  • Retrieve：大型或會變動、屬於某個來源的文件；需要時取回相關部分
  • Tool：即時、精確或會變動的數值；在需要的當下問持有該資料的系統

有幫助的問題

  • Agent 閒置時它會改變嗎？不要複製進 Memory。
  • 它是一整份文件嗎？取回相關部分，而不是全部。
  • 此刻必須完全正確嗎？用 Tool 讀取來源。
  • 只有這一步需要嗎？放進目前的 Context。

資訊

如何安全地把 Agent 連接到 Tool 與即時資料，是 AI 201 的主題。在這裡你只需要辨認：什麼情況下該用 Tool，而不是 Memory 或檢索。
自我檢測

Agent 需要告訴客戶某項產品目前庫存有幾件。這個數字應該從哪裡來？

Agent 需要告訴客戶某項產品目前庫存有幾件。這個數字應該從哪裡來？

重點: 小而穩定的用 Remember，大型或會變動的文件用 Retrieve，即時且精確的數值用 Tool。

實作

10 分鐘

實作：Context、Memory、RAG 還是 Tool？

以下有 8 項 Agent 可能需要的模擬資訊。請為每一項選出一種：Context、Memory、RAG 或 Tool，再與同伴或講師討論。有些案例可以合理地有兩種解讀，重點是你能說明理由。請不要在這個練習中輸入真實的公司機密、客戶個資或任何未經授權的敏感資訊。

8 項資訊（請自行判斷）
案例資訊思考方向
1使用者偏好的摘要長度量小、穩定、與使用者有關
2一本 40 頁的員工手冊Agent 每次都該帶著全部內容嗎？
3倉庫中 A-17 品項目前的庫存數量Agent 閒置時它會改變嗎？
4Agent 昨天產出的供應商比較結果可重複使用，但它現在還是真的嗎？
5使用者剛貼上、請 Agent 縮短的那一段文字只有這一步需要嗎？
6X200 型號的產品手冊有負責單位的大型文件
7今天的匯率必須精確嗎？由誰持有？
8使用者此刻正在編輯的草稿只有目前這一步需要
  • Context：只有這一步需要
  • Memory：量小、穩定、適合保留
  • RAG：大型或會變動的文件，需要時檢索
  • Tool：來自持有該資料之系統的即時或精確數值
自我檢測

案例 4：Agent 昨天產出供應商比較結果，並存成 Task Memory。今天使用者請它沿用這份結果。Agent 應該怎麼做？

案例 4：Agent 昨天產出供應商比較結果，並存成 Task Memory。今天使用者請它沿用這份結果。Agent 應該怎麼做？

重點: 對每一項資訊都問：它只用於這一步、值得保留、是要檢索的文件，還是要即時查詢的數值？

重點回顧

8 分鐘

重點回顧：從 Memory 到 Knowledge

完成

Agent 不知道的時候，它是猜測，還是檢索可信的證據並說明所依據的內容？

模組 2：Memory

  • Agent 長期保留什麼
  • Lifecycle 與政策
  • 量小、穩定且適合保留的資訊

模組 3：Knowledge

  • Agent 需要時去查什麼
  • RAG 流程與 Grounding
  • 要檢索的文件、透過 Tool 取得的即時數值

Human–AI–Human：由人選擇可信的來源，Agent 依據這些來源檢索並回答，重要的內容再由人核對證據。檢索要有效，前提是知識被好好準備過。接下來你會學習如何把文件切成有意義的片段，並為它們加上描述，讓正確的段落能被找到。

重點: 量小且穩定的用 Remember，大型或會變動的用 Retrieve，即時數值用 Tool，並且永遠出示證據。

另存 PDF

接下來做什麼？