AI 302 評量
證明你能設計讓 Agent 系統可靠運作的 Harness：State、Checkpoint、Verification、人員控制、Recovery、Compaction 與 Observability
評量內容
評量檢視的是判斷力，而不是名詞記憶。共有五個部分，配分如下。
| 部分 | 配分 |
|---|---|
| 知識檢核（12 題，涵蓋 Agent Harness、State 與 State Machine、Checkpoint 與 Durable Execution、Verification 與 Human-in-the-Loop、Retry 與 Failure Recovery、Context Compaction，以及 Observability） | 15% |
| State & Checkpoint Design（選擇 Harness、建立 State 與 Transition、設置安全的 Checkpoint 並定義 Resume 行為） | 20% |
| Verification & HITL Exercise（決定什麼可自動繼續、什麼要驗證、什麼需要審閱或核准，以及必須觀察什麼） | 15% |
| Failure & Recovery Exercise（分類失敗、判斷能否 Retry、選擇 Fallback、升級與 Safe Stop，並整理 Context） | 20% |
| 最終應用（Agent Harness & Reliability Canvas） | 30% |
計分與及格標準
測驗在伺服器端計分。正確答案與解析不會出現在公開頁面或可下載的檔案中。及格門檻為 80%。
資訊
開始評量之後才會顯示題目。
Canvas 評分標準
| 項目 | 配分 |
|---|---|
| 目標、觸發與 State Model | 15% |
| State Data 與 Execution Loop | 15% |
| Checkpoint 與 Resume 行為 | 15% |
| Verification Gate 與 Human-in-the-Loop | 15% |
| Failure Taxonomy、Retry Policy 與 Recovery | 15% |
| Context Compaction、Observability 與 Reliability Metrics | 15% |
| Operational Boundaries、最終產出與反思問題 | 10% |
資訊
審閱者閱讀 Canvas 時會參考這些配分。提交後與「我的學習」顯示的自動參考評分是另一回事：它把十六個 Canvas 欄位與 Reflection 題目平均計分（各最多 3 分），只供參考，不能取代人工審閱。
- 1優秀
目標與觸發清楚，State、Transition 與儲存的資料都有定義，且敏感資料不被儲存。Loop 有界限。Checkpoint 說明儲存什麼、為什麼安全、Resume 會做什麼，並指出不安全的位置。關鍵步驟都有驗證方法、標準、失敗路徑與證據，真人審閱或核准高影響的環節。失敗已分類，Retry 有上限，且不會盲目套用在有外部效果的動作上，Recovery 有通往 Safe Stop 的順序。Compaction 保留與決策相關的 State，Observability 讓真人能說明一次 Run，指標有目標值，Operational Boundaries 明確。 - 2合格
主要的 State、Checkpoint、Gate 與 Recovery 步驟已設計，部分含糊或留有重播風險，人員控管大致合理。 - 3需要改進
缺少 State 或 State 只存在 Prompt 中，Checkpoint 缺漏或不安全，Loop 沒有上限，所有失敗都套用 Retry，高影響動作沒有真人核准，或沒有記錄任何能讓人說明失敗 Run 的資訊。
反思
請針對以下問題寫 100 到 200 字：
資訊
如果這個 Agent 在長時間任務執行到一半時失敗，我們能否說明發生了什麼、安全地 Resume、避免重複動作，並讓真人保持掌控？
開始
- 開始 AI 302 評量（後測）
- 我的學習：進度與結果