跳到主要內容
NTPU AI Learn

AI 302 · 模組 8

Agent Harness & Reliability Canvas 可靠性畫布

從 Agent Demo 到 Reliable Agent System

開始第一節
  • 時長45 分鐘
  • 難度架構
  • 先備知識建議先完成 AI 202 與本課程第 1 至 7 單元
已完成 0 / 5
同步我的進度加入梯次後，進度可跨裝置保存，講師也能看到

資訊

加入後，你已完成的模組編號會連同「學員代碼」傳送給講師，講師可以看到你的進度。請使用講師提供的代碼，不要輸入姓名、公司機密或其他個資。進度資料與該梯次的其他資料一起保存。

學習目標

  • 說出 Agent Harness & Reliability Canvas 的 16 個區塊，以及各區塊記錄的內容
  • 依建議的 Canvas 流程，從 Trigger 走到 Final Output
  • 把 Canvas 區塊連結到單元 2 至 7 的成果物
  • 回答最終反思問題：能否說明發生了什麼、安全 Resume、避免重複動作，並讓人保持掌控
  • 列出 AI 302 的七項成果物，並了解本課程與 M5276 第 14 週，以及 AI 104、202、301 的關係

Goal、Trigger、State 與資料

9 分鐘

Canvas 第 1 部分：Goal、Runtime Trigger、State Model、State Data

Agent Harness & Reliability Canvas 是 AI 302 的主要成果。它把一個 Agent 系統的 State、Control、Checkpoints、Verification、Recovery、Context 與 Observability 放在同一頁，讓設計可以被審閱，也能交給下一個階段。它共有 16 個區塊。這張投影片涵蓋前四個。

核心問題

如何把 State、Checkpoint、Verification、Recovery、Context 與 Observability 整合成一個可實作的 Agent Harness？

Canvas 區塊 1 至 4
#區塊記錄的內容
1Agentic Workflow / System GoalAgent 系統要完成什麼
2Runtime Trigger什麼啟動執行：使用者請求、排程任務、事件、進件文件或 API 事件
3State Model初始 State、工作 States、Verification States、人工 States、Error States 與 Terminal States
4State Data每個 State 必須儲存什麼，並分類為 Ephemeral、Persistent、Sensitive、Derived 或外部參照

資訊

Human、AI、Human：人定義目標與界線，Agent 在受控的 Harness 內運作，人審核並對結果負起責任。

重點: 從清楚的目標、明確的 Trigger、State Model，以及每個 State 存放哪些資料的計畫開始。

Loop、Checkpoints、Verification 與人工控制

9 分鐘

Canvas 第 2 部分：Execution Loop、Checkpoints、Verification Gates、Human-in-the-Loop

區塊 5 至 8 描述執行如何被控制。它們會用到你在單元 2、3、4 的成果。

Canvas 區塊 5 至 8
#區塊記錄的內容
5Execution Loop下一步邏輯、Loop 條件、停止條件、Re-plan 條件與人工升級條件
6Checkpoints每個 Checkpoint 的時機、儲存內容、為何安全、Resume 行為與 Replay 風險
7Verification Gates每個關鍵步驟的驗證方法、成功標準、失敗路徑與所需證據
8Human-in-the-Loop審核點、核准點、升級、Override，以及人做決定所需的 Context

資訊

你在單元 2 的 Agent State & Transition Map 填入區塊 3 至 5。單元 3 的 Checkpoint & Resume Plan 填入區塊 6。單元 4 的 Verification & HITL Gate Map 填入區塊 7 與 8。

重點: 區塊 5 至 8 說明接下來執行什麼、哪裡能安全暫停、結果如何被檢查，以及人在哪裡參與。

Failure、Retry、Recovery 與 Compaction

9 分鐘

Canvas 第 3 部分：Failure Taxonomy、Retry Policy、Recovery & Fallback、Context Compaction

區塊 9 至 12 描述事情出錯時會發生什麼，以及長時間的 Run 如何保持可管理。它們會用到單元 5 與 6。

Canvas 區塊 9 至 12
#區塊記錄的內容
9Failure Taxonomy可能的失敗：Transient、Tool、Data、Logical、Permission、Policy、Safety 與人工拒絕
10Retry Policy可重試的失敗、Retry 上限、延遲或 Backoff 概念，以及不可重試的動作
11Recovery & FallbackFallback 路徑、替代工具、Re-plan、Compensation、Safe Stop 與人工接手
12Context Compaction什麼留在 Working Context、什麼被摘要、什麼被封存、什麼之後可以取回，以及什麼必須保留來源參照

資訊

你在單元 5 的 Failure & Recovery Policy 填入區塊 9 至 11。單元 6 的 Context Compaction Policy 填入區塊 12。
自我檢測

你在單元 5 的 Failure & Recovery Policy 主要填入哪些 Canvas 區塊？

你在單元 5 的 Failure & Recovery Policy 主要填入哪些 Canvas 區塊？

重點: 區塊 9 至 12 存放你的 Failure、Retry、Recovery 與 Context Compaction 設計。

Observability、Metrics、Boundaries、Output 與流程

9 分鐘

Canvas 第 4 部分：Observability、Reliability Metrics、Operational Boundaries、Final Output 與流程

Canvas 區塊 13 至 16
#區塊記錄的內容
13ObservabilityRun ID、目前 State、State Transitions、Tool Calls、Verification 結果、Retries、錯誤、人工介入與最終狀態
14Reliability MetricsCompletion Rate、Recovery Success Rate、Retry Rate、Escalation Rate、平均步數、Latency、Cost 與 Invalid-output Rate
15Operational Boundaries步驟上限、Retry 上限、執行時間上限、預算、允許的動作、禁止的動作與必要的人工核准
16Final Output系統應產出的結果或成果物
建議的 Canvas 流程
  1. Trigger
  2. Initialize State
  3. Agent / Workflow 執行
  4. Update State
  5. Checkpoint？若是，Persist
  6. Verify：Pass、Retry、Human 或 Fail
  7. Pass：繼續。Retry：套用 Retry Policy。Human：審核或核准。Fail：Recover
  8. Context 太大？若是，Compact
  9. Observe / Log
  10. 繼續、Re-plan 或 Stop
  11. Final Output

資訊

圖的文字版：Trigger 啟動 Run，Harness 初始化 State。Agent 或 Workflow 執行後更新 State。若這是 Checkpoint，就 Persist State。接著驗證結果。Pass 就繼續，Retry 依 Retry Policy 處理，Human 送去審核或核准，Fail 進入 Recovery。之後若 Context 太大就 Compact。這個步驟會被觀察並記錄。然後 Run 繼續、Re-plan 或停止，最後產出 Final Output。

資訊

你在單元 7 的 Reliability & Observability Scorecard 填入區塊 13 至 15。
自我檢測

在建議的流程中，Verification 步驟回傳失敗後會發生什麼？

在建議的流程中，Verification 步驟回傳失敗後會發生什麼？

重點: 區塊 13 至 16 讓 Run 可被觀察且有界，而流程把 16 個區塊串在一起。

完成你的 Canvas

9 分鐘

完成你的 Canvas，以及 AI 302 的定位

請用課程中你自己的任務，或一個模擬任務來完成 Canvas。重用你在單元 1 至 7 的成果，並補上缺漏。

最終反思問題

如果這個 Agent 在長時間任務中途失敗，我們能否說明發生了什麼、安全地 Resume、避免重複動作，並讓人保持掌控？

  • Agent State & Transition Map
  • Checkpoint & Resume Plan
  • Verification & HITL Gate Map
  • Failure & Recovery Policy
  • Context Compaction Policy
  • Reliability & Observability Scorecard
  • Agent Harness & Reliability Canvas（主要成果）

注意

隱私提醒：請使用模擬或已公開的任務。不要在 Canvas 中輸入公司機密、客戶個資或未經授權的敏感資訊。

完成

Human、AI、Human：你定義目標與界線，Harness 控制執行，人審核並負起責任。
  • M5276 Agentic AI Innovative Applications 第 14 週：本課程是 NTPU AI Learn 中主要對應 Agent Harness 與 Loop Engineering（Durable Workflow Automation）的課程，涵蓋 State Machines、Checkpointing、Context Compaction、Verification、Human-in-the-Loop 與 Failure Recovery。LangGraph 是其中一個實作範例（Graph State、Nodes、Edges、Checkpointer 與 Interrupt / Resume），概念本身不依賴它。
  • AI 104、Agentic AI Workflow & Execution Design：問 Agentic Workflow 應該如何執行。AI 302 問的是這個執行如何被控制、Persist、Verify、Recover 與 Observe。
  • AI 202、Agentic AI Planning & Reasoning（相關課程，位於 /courses/202）：AI 202 是決策智慧，選擇下一步做什麼。AI 302 是執行可靠性。
  • AI 301、Multi-Agent Collaboration & Orchestration（相關課程，位於 /courses/301）：問多個 Agent 如何分工與協調。AI 302 可以用 State、Checkpoints 與 Observability 支援 Multi-Agent 系統，但不重教 Role 設計或 Orchestration。

重點: 你的 Canvas 是可被審閱的設計，關鍵檢驗是能否說明失敗、安全 Resume、避免重複動作，並讓人保持掌控。

另存 PDF

接下來做什麼？