跳到主要內容
NTPU AI Learn

GoAI 101 · 6h · 模組 4

政府 AI 治理、資安與人工監督

誰負責、誰核准，如何控制風險？

開始第一節
  • 時長50 分鐘
  • 難度核心
  • 先備知識建議先完成模組 1-3
已完成 0 / 5
同步我的進度加入梯次後，進度可跨裝置保存，講師也能看到

資訊

加入後，你已完成的模組編號會連同「學員代碼」傳送給講師，講師可以看到你的進度。請使用講師提供的代碼，不要輸入姓名、公司機密或其他個資。進度資料與該梯次的其他資料一起保存。

學習目標

  • 說明問責、人工監督與可追溯性的關係，並辨識三個控制層級。
  • 區分人工核准關卡與系統控制關卡，辨識 Prompt Injection、Data Leakage、Tool Misuse 與過度授權風險。
  • 檢查模組 2、3 的流程與權限表，找出治理缺口，補上風險、控制、負責人與證據。
  • 說明事件發生時的處置順序：停止、通報、人工接手。

問責與可追溯性

10 分鐘

治理的起點：誰負責、怎麼查

治理的核心是問責（Accountability）：不論 AI 協助了多少，每一項結果都要有一位可被追究責任的人或單位。人工監督（Human Oversight）與 Human-in-the-Loop 是落實問責的機制；但「有人看過」不等於治理完成。本模組沿用前面模組的陳情案件分類與回覆草稿（模擬教學情境），檢查它到底缺了什麼控制。

  • 問責：每個步驟、每種權限都對應一位負責人，而不是「系統自動運作，沒有人特別負責」。
  • 人工監督：人要有足夠的資訊、時間與權限，才能真正判斷、修正或停止，而不是形式上蓋章。
  • 可追溯性：能回頭查出結果如何產生，包含用了哪些資料、工具、版本，以及誰在何時核准。
  • 可解釋性：審查者能理解 AI 為何產生這個結果，進而判斷是否合理。

資訊

治理要能回答三個問題：這裡出錯時是誰的責任？怎麼發現？怎麼補救？答不出來的地方，就是治理缺口。
自我檢測

某 AI 系統產出的結果，無法說明依據哪些資料產生，事後也查不到是誰核准的。這主要缺少什麼？

某 AI 系統產出的結果，無法說明依據哪些資料產生，事後也查不到是誰核准的。這主要缺少什麼？

重點: 治理的目標不是消除風險，而是確保不論結果如何，都有人能解釋、能追溯，也能負責。

三個控制層級

10 分鐘

三個控制層級：人工介入多少

三個控制層級
層級說明適用情境
層級 1：AI 建議AI 只產生建議，不執行任何動作風險較高、影響較大的任務，先以建議起步
層級 2：AI 準備，人工核准後執行AI 準備草稿或行動，人核准後才執行多數政府業務的預設層級
層級 3：AI 在授權邊界內執行僅限低風險、範圍明確、有監控且可復原的任務需逐案評估，不是預設可用

注意

層級 3 不是政府場景的預設選項。是否採用，要逐案評估任務風險、可監控性與可復原性，並經治理流程核准；升級層級也不能只靠「過去表現不錯」。
自我檢測

某機關的陳情分類 AI 三個月來表現良好，有人提議直接升級為層級 3：自動分類並自動結案，不再人工確認。下列哪一個判斷最正確？

某機關的陳情分類 AI 三個月來表現良好，有人提議直接升級為層級 3：自動分類並自動結案，不再人工確認。下列哪一個判斷最正確？

重點: 控制層級描述的是人工介入的密度；升級層級永遠需要評估與核准，不會自動發生。

關卡與資安風險

10 分鐘

人工核准關卡、系統控制關卡與四類資安風險

人工核准關卡（Approval Gate）

  • 回答「這一次可不可以做」。
  • 由人在行動執行前核准，多用於高影響、對外或不可逆的行動。
  • 依賴審查者有足夠資訊，否則容易流於形式。

系統控制關卡（Control Gate）

  • 回答「這段時間的行為是否一直在授權邊界內」。
  • 由系統持續檢查、限制與記錄，例如權限範圍、欄位過濾、呼叫次數上限、異常告警。
  • 不依賴人每次都記得檢查。
  • Prompt Injection：輸入內容夾帶指示，試圖讓 AI 偏離原本規則，執行未授權的行動。
  • Data Leakage：AI 在回答、紀錄或對外傳送時，洩漏不該揭露的資料。
  • Tool Misuse：AI 以不當參數或在不當時機使用工具，造成非預期的查詢或寫入。
  • 過度授權（Excessive Agency）：AI 或工具被給予超出任務所需的權限，一旦出錯影響範圍過大。

資訊

兩種關卡通常要同時存在：人工核准把關單次高影響行動，系統控制把關持續行為。只靠其中一種，都會留下缺口。
自我檢測

某陳情內容暗藏指示，要 AI 忽略原本的分類規則，改為直接核准某項申請。這屬於哪一種風險？

某陳情內容暗藏指示，要 AI 忽略原本的分類規則，改為直接核准某項申請。這屬於哪一種風險？

重點: 人工核准關卡管單次行動，系統控制關卡管持續行為；辨識四類風險，是設計這兩種關卡的前提。

用同一案例找治理缺口

10 分鐘

用同一案例找治理缺口與事件處置

模擬情境

某機關的陳情助理，流程為：AI 分類陳情、查詢案件系統、產出回覆草稿，承辦人「確認」後寄出。原設計只寫了「由人工審查」。逐項檢查後發現：誰核准分類修改未指定；AI 的案件系統帳號可查詢也可修改；系統沒有保留核准紀錄；陳情內文可能夾帶指示。以下是補強後的治理條目。

風險、控制、負責人與證據
風險控制措施負責人證據
陳情內文夾帶指示，誘導 AI 越權陳情內文視為資料而非指令；AI 帳號僅限查詢；對外寄送必須人工核准資安負責人／承辦主管權限設定截圖、拒絕越權的測試紀錄
回覆草稿洩漏他案或個資輸出前過濾個資欄位；草稿僅引用本案資料資料管理人過濾規則清單、抽查紀錄
承辦人未實質審查即寄出核准畫面顯示依據來源與變更內容；保留核准人、時間與版本承辦主管核准紀錄、抽樣覆核報告
  1. 停止
    發現異常時，先暫停 AI 的執行與對外動作，避免影響擴大。
  2. 通報
    依機關程序通報負責人與資安窗口，記錄發現時間與現象。
  3. 人工接手
    由指定人員以人工方式接續處理受影響案件，並保留紀錄供事後檢討。

注意

只寫「由人工審查」不是完整的治理：要說明誰審、依據什麼資訊、有什麼紀錄，以及審查者不同意時怎麼辦。
自我檢測

某流程在風險欄只寫「承辦人會審查」，卻沒有負責人、控制措施與證據。這份治理條目最需要補什麼？

某流程在風險欄只寫「承辦人會審查」，卻沒有負責人、控制措施與證據。這份治理條目最需要補什麼？

重點: 每個高影響步驟都要寫成「風險－控制－負責人－證據」；事件發生時的順序是停止、通報、人工接手。

實作與應用

10 分鐘

實作：治理與控制檢核表

本實作沿用模組 2 的流程與模組 3 的資料與工具權限表，檢查其中的治理缺口，補上風險、控制、負責人與證據，成果填入整合式 Canvas 的「治理控制措施」與「風險與緩解」兩欄（治理與控制檢核表）。

  1. 逐步檢查流程與權限表
    找出沒有負責人、沒有人工核准、權限過大或沒有紀錄的步驟。
  2. 標記控制層級與關卡
    每個高影響步驟標明層級 1、2 或 3，並區分人工核准關卡與系統控制關卡。
  3. 寫出風險與控制
    至少涵蓋 Prompt Injection、Data Leakage、Tool Misuse、過度授權中與本案相關者。
  4. 指定負責人與證據
    每一條控制都要有負責人，以及事後可查核的證據；並寫出事件發生時的停止、通報與人工接手方式。

注意

請只使用模擬或去識別化的資料。不要輸入機密、真實個資、未經授權的敏感資訊，或真實的系統帳號與金鑰。
自我檢測

下列哪一項最能作為「承辦人確實完成審查」的證據？

下列哪一項最能作為「承辦人確實完成審查」的證據？

重點: 這份檢核表把前三個模組的案例補上責任與證據，為模組 5 的測試設計與模組 6 的驗收判斷鋪路。

另存 PDF

接下來做什麼？