Evaluation、Verification 與 Self-Reflection

10 分鐘

Verification 不等於 Reflection

Agent 採取 Action 之後會得到 Result。接著有兩個不同的問題，把它們混在一起會造成許多設計錯誤。

重點: Verification 問這個結果能不能接受。Reflection 問策略為何有效或無效。

9 分鐘

Outcome 與 Process Evaluation，以及誰來評估

Evaluation 可以看產出了什麼，也可以看是怎麼產出的。評估者也可以不同，而選擇會影響你能多信任評估結果。

重點: 同時檢查產出了什麼與怎麼產出。重要結果要優先使用外部或人工的證據。

9 分鐘

Self-Reflection：它是什麼與它的限制

Self-Reflection 是指 Agent 回頭檢視自己的做法：試了什麼、發生了什麼、下次該怎麼不同。做得好，可以把失敗的嘗試變成更好的下一次。做不好，則是白白耗費力氣、毫無改善。

Reflection Loop 是一輪或多輪的回顧、調整、再試一次。每個迴圈都需要上限，因為每一輪都要花時間，也可能越走越偏。

重點: 有新證據時才反思，並且永遠限制 Reflection Loop 的次數。

9 分鐘

六種 Reflection 失敗模式

Evaluation 與 Reflection 會以可預期的方式失敗。先認識它們，就能提前設計防護。

重點: 事先為失敗模式命名，並為每一種加上防護：證據、上限、Stop Condition 與人。

9 分鐘

設計 Self-Reflection，避免失控的遞迴

Reflection 應該是有明確邊界的設計步驟，而不是讓 Agent 無止盡地反思自己反思的開放迴圈。五個設計選擇可以把它管住。

1. 1設定觸發條件
   只在明確的觸發條件下反思，例如驗證失敗或出乎意料的 Observation。
2. 2要求證據
   每次反思都必須指出引發它的證據。
3. 3限制輪數
   設定反思輪數上限，例如兩輪，然後就繼續往下走。
4. 4定義輸出
   反思只會以少數幾種結果收場：維持計畫、調整計畫、詢問人，或停止。
5. 5加上 Stop Condition 與升級機制
   達到上限仍沒有進展時，就停止或使用 Human Escalation。

重點: 設計良好的反思步驟有觸發條件、證據、輪數上限、定義好的輸出，以及停止或升級機制。

9 分鐘

活動 5：Verify or Reflect?

針對每個模擬情境，選出最合適的回應。接著用你的選擇寫出一份 Evaluation & Reflection Policy。

1. 1閱讀情境
   注意最新的 Result 與任何新證據。
2. 2選一個回應
   選 Verify、Evaluate、Reflect、Ask a human 或 Stop，並寫下簡短理由。
3. 3寫下政策
   把觸發條件、評估者、反思上限、Human Escalation 規則與 Stop Condition 整理成 Evaluation & Reflection Policy。

• 前往 AI 202 實作：在「Verify or Reflect?」活動中，為每個情境選擇回應。
• 繼續前往單元 6：下一步：當世界改變時，Plan 如何改變？

重點: 選擇 Verify、Evaluate、Reflect、Ask a human 或 Stop，並把規則記錄在 Evaluation & Reflection Policy。