政府 AI 治理、資安與 Human-in-the-Loop

10 分鐘

治理的核心：問責與人工監督

AI Governance 的核心是 Accountability（問責）：不論 AI 協助了多少，最終結果永遠有一個可以被追究責任的人或單位。Human Oversight（人工監督）與 Human-in-the-Loop（人在環中，每次關鍵步驟都需要人工介入）是落實問責的具體機制；在風險較低、已充分驗證的情境，也可能採用 Human-on-the-Loop（人在環上，持續監控但不逐次介入）。

• Explainability（可解釋性）：能不能說明 AI 為什麼產生這個結果，讓審查者判斷是否合理。
• Traceability（可追溯性）：能不能回頭查出一個結果是怎麼產生的，包含用了哪些資料與工具。
• Privacy 與 Security：治理必須同時照顧個資保護與系統安全，兩者缺一不可。
• Role-Based Access Control（RBAC）：依角色而非個人設定存取權限，確保權限變動時治理規則依然一致。

重點: AI Governance 的目標不是消除風險，而是確保不論結果如何，都有人能解釋、能追溯、也能負責。

12 分鐘

三個控制層級

重點: 三個控制層級描述的是「人工介入的密度」，升級層級永遠需要經過評估與核准，不是自動發生的事。

12 分鐘

Approval Gate、Control Gate 與資安風險

• Approval Gate：行動執行前需要人工核准，常用於高影響、對外或不可逆的行動，是「一次性」的關卡。
• Control Gate：持續性的監控／檢查關卡，確保行為維持在授權邊界內，而不只是單次核准，是「持續性」的關卡。
• Prompt Injection：惡意輸入試圖讓 AI 偏離原本指示，執行未授權行動。
• Data Leakage：AI 在回答或記錄中洩漏不該揭露的資料。
• Tool Misuse／Excessive Agency：AI 使用工具超出原本授權範圍，或自行擴大行動範圍。

重點: Approval Gate 把關單次行動，Control Gate 把關持續行為；辨識 Prompt Injection、Data Leakage、Tool Misuse 等風險，是設計這兩種關卡的前提。

14 分鐘

政府情境與責任邊界

• 責任邊界：每個控制層級都應該對應一個明確負責人，而不是「系統自動運作，沒有人特別負責」。
• 即使 AI 的角色是 Assist 或 Recommend，只要輸出被人採用並造成影響，採用者仍須承擔相應的審查責任。
• 治理設計的產出，應該可以回答「如果這裡出錯，是誰的責任、怎麼發現、怎麼補救」三個問題。

重點: 治理設計必須讓「誰負責」這件事在每一步都清楚可見，而不是等到出錯之後才去追查。

12 分鐘

實作：Where Must a Human Be in the Loop?

活動 5 把模組 2 的 Workflow 逐步標記控制層級與風險，填入 Government AI Governance Checklist，是整合模組 1-4 成果的第一個治理型實作。

1. 1列出 Workflow 中的每一步
   沿用模組 2 的流程步驟。
2. 2標記控制層級
   每一步標記為 AI only／AI + verification／human decision／human approval／prohibited automation。
3. 3標出 Approval Gate 與 Control Gate
   哪裡是單次核准，哪裡是持續監控。
4. 4列出對應風險
   針對每個高影響步驟，寫下對應的風險與因應方式。

• Government AI Governance Checklist 必要維度：Purpose、Accountability、Data、Privacy、Security、Access、Tool Permission、Human Oversight、Approval、Traceability、Logging、Source Provenance、Failure Handling、Vendor / Third Party、Change Management、Audit。

• 前往實作頁：活動 5 Where Must a Human Be in the Loop?

重點: 這份 Checklist 把模組 1-4 的判斷（Use Case、Workflow、Context、工具權限）彙整成一份治理視角的總檢核，為模組 6 的測試設計鋪路。