跳到主要內容
NTPU AI Learn

AI 104 · 模組 5

Execution、Verification 與 Human-in-the-Loop

Agent 做完下一步之後，怎麼知道結果可以繼續？

開始第一節
  • 時長30 分鐘
  • 難度核心
  • 先備知識建議先完成 AI 103 與本課程第 1 至 4 單元
已完成 0 / 5
同步我的進度加入梯次後，進度可跨裝置保存，講師也能看到

資訊

加入後，你已完成的模組編號會連同「學員代碼」傳送給講師，講師可以看到你的進度。請使用講師提供的代碼，不要輸入姓名、公司機密或其他個資。進度資料與該梯次的其他資料一起保存。

學習目標

  • 說明執行模型：Decision、Execute、Verify、Accept?，再 Continue、Retry、Route Elsewhere 或 Human Review
  • 選擇驗證方式，並說明為什麼只看信心不夠
  • 分辨 Human Review、Human Approval、Human Escalation 與 Human Override
  • 標示 Tool Step，並辨識六種簡單的失敗模式與基本 Fallback
  • 完成活動 5：在 Workflow 中放入 AI execution、automatic verification、human review、human approval 與 stop / fallback

Execution 與 Verification

6 分鐘

做完下一步之後，怎麼知道可以繼續？

步驟決定之後就會執行。但只有決定與執行的 Workflow，沒有辦法察覺不好的結果。Verification 這一步要問：這個 Output 可以接受嗎？Workflow 可以繼續嗎？

核心問題

Agent 完成下一步之後，怎麼知道結果好到可以繼續？

執行模型 Execution model
  1. Decision：下一步已經決定
  2. Execute：執行步驟並產生 Output
  3. Verify：檢查 Output
  4. Accept?：通過就 Continue 到下一步
  5. 不通過：Retry、Route Elsewhere，或交給 Human Review

資訊

圖的文字版：Decision 之後是 Execute，再來是 Verify，接著問「Accept?」。通過就繼續 Workflow。不通過則走三條路之一：Retry 重做該步驟、Route Elsewhere（改走別的分支），或 Human Review。

注意

Stop condition 也很重要。要事先決定 Workflow 何時停止，而不是無限重試，例如達到一定的嘗試次數就停止。

重點: 每個執行過的步驟都需要檢查，每個沒通過的檢查都需要明確的下一條路徑。

6 分鐘

Verification：如何檢查結果？

驗證 Output 的方式不只一種，要依步驟的風險選擇適合的方法。

常見的驗證方式
方式做法適合
Rule檢查格式、必要欄位、範圍或長度結構明確的輸出
Reference source與可信的文件或紀錄比對事實、數字與政策說明
Comparison與先前的結果或第二個答案比較發現意外的變化
Second model pass由另一次模型呼叫審查第一份輸出快速篩檢，但不是最終保證
Human review由人閱讀並判斷輸出影響高、含糊或敏感的結果

Confidence 是系統對自己輸出的把握程度。它是很有用的分流訊號，例如信心低就交給人，但信心高的答案仍可能是錯的。不要把信心當成證明。

注意

Second model pass 可能和第一次有相同的盲點。重要的結果，請加上規則、參考來源或人。
自我檢測

Agent 草擬了一份政策摘要，並表示「非常有把握」。最好的後續設計是什麼？

Agent 草擬了一份政策摘要，並表示「非常有把握」。最好的後續設計是什麼？

重點: 依風險選擇驗證方式。Confidence 是訊號，不是證明。

Human-in-the-Loop

6 分鐘

Human-in-the-Loop：Review、Approval、Escalation、Override

Human-in-the-Loop（HITL）是指人在 Workflow 中有明確的角色，而不是含糊地承諾「會有人看一下」。四種模式涵蓋多數情況。

四種 Human-in-the-Loop 模式
模式人做什麼範例（模擬）
Human Review閱讀輸出，並修正或接受同仁在寄出前檢查草擬的回覆
Human Approval在行動發生前，明確地給出同意或不同意主管在付款前核准該筆付款
Human Escalation當 Workflow 無法繼續或不確定時，由人接手困難案件轉給專員
Human Override停止或取代 Workflow 原本要做的事人取消自動行動，或改變其結果

資訊

Human、AI、Human：人定義任務，AI 協助或執行，人審核並負責。把人放在哪裡，取決於行動的影響，而不是 AI 平常表現得多好。
自我檢測

Workflow 即將付出一筆款項。在行動發生之前，哪一種 HITL 模式最合適？

Workflow 即將付出一筆款項。在行動發生之前，哪一種 HITL 模式最合適？

重點: 依影響放置人：Review、Approval、Escalation 或 Override，各有明確角色。

Tool Step、失敗與實作

6 分鐘

Tool Step 與六種簡單的失敗模式

有些步驟需要 Agent 之外的東西：搜尋、資料庫、電子郵件服務、行事曆、API 或企業系統。在 AI 104，你只需要察覺這些步驟並標示出來。

Tool Step 預留位置

在 Canvas 中，只要需要外部工具或資料來源，就寫下「Tool Step」，並註記它要做什麼。Agent 如何安全地連接工具、工具如何被描述，是 AI 201（MCP）的主題，這裡不教。

六種簡單的失敗模式
失敗模式發生什麼事基本 Fallback
Missing input缺少必要的資訊詢問請求者，或清楚說明後停止
Low confidence系統對自己的輸出沒把握交給 Human Review
Invalid output輸出沒通過格式或內容檢查限次數重試，仍不行就交給 Human Review
Unavailable tool外部服務沒有回應停止或等待，並通知人，不要猜測結果
Ambiguous request請求可以有多種解讀提出釐清問題
Unsafe action下一個行動可能造成傷害或超出權限停止，並升級給人核准

資訊

本課程的邊界：這些都是簡單的失敗路徑。完整的失敗復原架構，例如保存進度與自動接續，屬於未來的進階課程。
自我檢測

某步驟需要從企業系統讀取一筆紀錄，但系統沒有回應。最安全的基本 Fallback 是什麼？

某步驟需要從企業系統讀取一筆紀錄，但系統沒有回應。最安全的基本 Fallback 是什麼？

重點: 標示 Tool Step，並為每種簡單的失敗模式設計基本 Fallback。

6 分鐘

活動 5：人應該在哪裡介入？

拿一個 Workflow（模擬的，或你在前面單元選定的任務），標出五種元素各自屬於哪裡。

五種元素
元素要問的問題
AI execution哪些步驟可以由 AI 執行？
Automatic verification哪些結果可以用規則或參考來源檢查？
Human review哪些結果需要人閱讀？
Human approval哪些行動需要先明確同意？
Stop / fallbackWorkflow 何時該停止、重試或交給人？
  1. 標出 AI execution
    標示 AI 產出 Output 的步驟。
  2. 加入 Verification
    為每個 Output 選擇檢查方式。
  3. 放入人
    在影響高的地方加入 Review、Approval 或 Escalation。
  4. 寫下 Fallback
    說明檢查失敗時會發生什麼，以及 Workflow 何時停止。

注意

隱私提醒：請使用模擬或已公開的 Workflow。不要輸入公司機密、客戶個人資料或未經授權的敏感資訊。
自我檢測

在會寄信給客戶的 Workflow 中，Human Approval 應該放在哪裡？

在會寄信給客戶的 Workflow 中，Human Approval 應該放在哪裡？

重點: 把 Human Approval 放在無法撤回的行動之前，並定義何時重試、交給人或停止。

另存 PDF

接下來做什麼？