在單元 3，Agent 交替進行 Reasoning 與 Acting。實務上，某個時刻常有好幾個行動都可行。這個單元談的是 Agent 如何檢視這些選項、比較並選出一個，而不是變成演算法課。
當 Agent 有多個可能行動時，如何搜尋並比較不同路徑？
| 詞彙 | 白話意思 |
|---|---|
| Search Space | Agent 從現在起可以做的所有事，以及之後可能發生的事 |
| Candidate Actions | Agent 此刻正在考慮的具體行動 |
| State Space | Agent 可能走到的各種情境 |
| Branching | 一個 State 分出多個可能的下一步行動 |
一個模擬的服務台 Agent 要處理員工詢問請假規定。Candidate Actions：搜尋規定文件、詢問釐清問題、憑印象草擬回覆，或轉給人資。每一個都是一個分支。
資訊
Search Tree 把目前的 State 畫在最上方，Candidate Actions 是分支，每個分支下面是可能的 Result。看得更遠，就是在樹上走得更深。
資訊
| 概念 | 意思 | 取捨 |
|---|---|---|
| Breadth | 每一步考慮幾個選項 | 選項越多越可能找到好路徑，但也越花力氣 |
| Depth | 往前看幾步 | 看得越深越能看到後果，但也建立在更多猜測上 |
| Planning Horizon | Agent 願意往前規劃的上限 | 太短會漏掉後果，太長則把力氣浪費在不確定的未來 |
Search Tree 的 Depth 描述的是什麼？
Agent 不可能把每個分支都試一遍，需要一個快速判斷哪些分支值得看的方法。這種經驗法則就是 Heuristic。判斷一個結果有多好，則是它的 Utility（或稱 Value）。
| 面向 | 要問的問題 |
|---|---|
| 預期結果（Expected outcome） | 這條路徑離 Goal 有多近？ |
| 證據品質（Evidence quality） | 這個預期有多少證據支持？ |
| 成本（Cost） | 要花多少力氣、時間或金錢？ |
| 延遲（Latency） | 要多久才能拿到 Result？ |
| 可逆性（Reversibility） | 如果錯了，能不能復原？ |
| 風險（Risk） | 最糟的合理結果是什麼？誰會受影響？ |
| Tool 可用性（Tool availability） | 需要的 Tool 或資料來源真的可用嗎？ |
| 信心（Confidence） | 我們有多確定？這份信心是否站得住腳？ |
注意
兩個候選行動看起來同樣有希望，其中一個容易復原，另一個無法復原。哪個面向支持第一個？
每次 Search 都在兩種衝動之間取得平衡。Exploitation 是把力氣花在目前看起來最好的分支。Exploration 是拿一部分力氣去試比較不熟悉的分支，以防更好的選項藏在那裡。
| 做法 | 好處 | 過度使用的風險 |
|---|---|---|
| Exploitation | 運用已相信有效的做法，效率高 | 被平庸的選項鎖住，永遠不知道有更好的 |
| Exploration | 找到原本沒想到的選項 | 把力氣浪費在走不通的分支 |
服務台 Agent 一直靠搜尋同一個規定資料夾來回答請假問題。Exploitation 就是繼續用那個資料夾。Exploration 則是試一次另一個來源，例如最新公告頁，看看是否更好。
資訊
只做 Exploitation、完全不做 Exploration 的風險是什麼？
Monte Carlo Tree Search（MCTS）是搜尋大型樹狀空間的知名方法。本課程只把它當成思考規劃的方式，不需要公式，也不需要推導。
取樣可能的未來行動序列、估計它們的結果，並把更多搜尋力氣放在有希望的分支。
資訊
注意
哪一個描述符合本課程對 MCTS 的說法？
拿一個模擬情境，或你在單元 1 選的任務，來搜尋最佳的下一步行動。
注意
Search 時你發現有個分支會在沒有任何核准的情況下寄訊息給客戶。你應該怎麼做？
在你的樹上做一次概念式模擬。不需要數字或公式，只需要你的判斷。
資訊
在小練習中，Update 步驟的目的是什麼？
