AI 302 實作活動
七個簡短活動,培養設計好的 Agent Harness & Reliability Canvas 所需的判斷力
資訊
Agent Logic 還是 Harness?
判斷每個模擬的設計元素由誰或什麼負責:Agent reasoning(決定要做什麼)、Workflow logic(事先定義的步驟順序)、Harness control(執行、追蹤、暫停、Resume 與限制執行)、Human control(由真人決定或核准),或 Tool responsibility(工具本身的職責)。
已答對 0 / 8 題
Build the State Model
一個模擬的文件處理 Agent 以 State Machine 運作。請將每個項目分類為 State(Run 目前所在位置)、Transition(讓它在 State 之間移動的條件)、Error state(失敗狀態),或 Human review state(等待真人的狀態)。
已答對 0 / 8 題
Where Should We Checkpoint?
一個模擬的流程會讀取資料、擬定摘要、寄出電子郵件(外部動作),再更新一筆紀錄。請判斷每個時間點是適合的 Checkpoint、不適合或不安全設 Checkpoint 的位置(No checkpoint),或是 Duplicate execution risk:在這裡重播,若沒有先確認是否已完成,可能重複外部動作。
已答對 0 / 8 題
Automatic or Human Gate?
為每個模擬動作決定 Gate:Auto-continue(低風險,不需檢查)、Auto-verify(自動檢查後繼續)、Human review(真人先看過再繼續)、Human approval(無法復原或對外的動作必須先由真人核准),或 Prohibit(Agent 不得執行)。
已答對 0 / 8 題
Retry, Recover, Escalate or Stop?
針對每個模擬的失敗,選擇最合適的回應:Retry(在上限內再試同一件事)、Fallback(改用另一條路徑或工具)、Escalate(交給真人)或 Safe stop(停止並保留 State 與原因)。請記得:Retry 並不總是安全。
已答對 0 / 8 題
Compact the Context
一個模擬的 Agent 已執行 300 步,Context 幾乎已滿。針對執行歷史中的每個項目,判斷應該保留在 Working Context(Keep)、濃縮成簡短的 State 筆記(Summarize),還是從 Working Context 移除(Drop,仍可留在封存中)。
已答對 0 / 8 題
What Should We Observe?
最低限度的 Observability 會記錄發生了什麼、在哪裡、為什麼。針對每一筆模擬的 Log,選擇它是哪一種資訊:Run(一次執行的身分與狀態)、State(Run 目前所在位置)、Tool call(一次呼叫與其結果)、Error(什麼失敗、在哪裡)、Recovery(對此做了什麼),或 Human intervention(真人做了什麼)。
已答對 0 / 8 題