跳到主要內容

IL 202 · 模組 3

異常與營運

演練錯誤輸出、工具中斷與越權要求,寫出可執行的 runbook。

開始第一節
已完成 0 / 3

學習目標

  • 演練 AI 工具產生錯誤輸出時,人員如何發現與接手。
  • 演練工具中斷或逾時情境下的備援流程。
  • 寫出一份可實際執行的 runbook,涵蓋通報、處理與復盤。

演練錯誤輸出與人工接手

60 分鐘

演練:AI 給出明顯錯誤的答案,誰會發現?

「人工會核對」不是一個可驗證的控制,除非你實際演練過:AI 給出一個看起來合理但其實錯誤的答案時,現有流程有沒有機會攔截?多快會被發現?發現之後誰來處理?

演練情境(沿用 SYN-CS-001 的 failure_log.csv 錯誤類型)
情境演練問題
AI 引用了已過期文件(outdated_source)客服人員在核對階段能不能看到文件的有效日期?
AI 對缺漏資訊案件給出臆測答案(missing_context)流程有沒有要求 AI 在資訊不足時明確標示「無法回答」,而不是自行補全?
AI 引用兩份互相矛盾的文件(conflicting_sources)客服人員能不能看到「有矛盾」的提示,還是只看到單一草稿?
AI 處理了超出權限範圍的案件(restricted_access)系統有沒有在草擬前先檢查案件的存取層級?

注意

常見錯誤:演練只測試「AI 表現正常」的情境。異常演練的價值在於刻意觸發已知的錯誤類型,觀察現有防線是否真的有效,而不是再次確認正常情境沒問題。
  1. 第一步
    從 failure_log.csv 或既有錯誤紀錄中,挑選至少三種已知錯誤類型。
  2. 第二步
    實際模擬每種情境,記錄現有流程是否攔截、攔截時間點與攔截者。
  3. 第三步
    對於沒有被攔截的情境,明確寫出需要新增的控制措施。

重點: 「人工會核對」只有在你演練過具體錯誤情境、確認核對真的能攔截之後,才算是一個有效的控制。

工具中斷與越權要求

60 分鐘

工具中斷與越權要求:備援與拒絕

除了錯誤輸出,還要演練「AI 工具完全無法使用」與「有人要求 AI 做超出授權範圍的事」兩種情境,確認系統與人員知道該怎麼反應。

  1. 情境一:工具逾時或中斷
    模擬 AI 工具無回應超過設定的逾時時間,確認系統會提示客服人員改用純人工流程,而不是無限等待或直接卡住。
  2. 情境二:越權要求
    模擬有人要求 AI 回覆超出目前核准使用範圍的案件類型(例如尚未核准的權限限制類別),確認系統或人員會拒絕並記錄,而不是照做。
  3. 情境三:資料來源不可用
    模擬知識庫文件來源暫時無法存取,確認 AI 工具會明確回報「無法取得資料」,而不是憑空產生答案。

資訊

備援流程的重點不是「有沒有備案」,而是「客服人員在當下知不知道要切換到備案」。如果切換方式沒有清楚寫在流程裡,演練時往往會發現大家各做各的。

注意

越權要求不一定是惡意的:常見情況是使用者不清楚目前核准範圍,順口要求 AI 處理超出範圍的案件。系統與人員都需要有明確的「這不在目前核准範圍」的回應方式。

重點: 中斷與越權演練要確認的是「當下每個人都知道該怎麼做」,不是事後才發現流程有缺口。

寫出可執行的 Runbook

60 分鐘

寫出一份真的能被別人執行的 Runbook

Runbook 的檢驗標準是:換一個沒有參與過本專案的人,能不能只靠這份文件處理異常?如果答案是「不行,還是要問原本的人」,代表 runbook 還不夠具體。

Runbook 必要欄位
欄位說明
異常類型對應本模組演練過的情境(錯誤輸出/工具中斷/越權要求/資料來源不可用)
偵測方式如何發現異常正在發生(告警、使用者回報、定期抽查)
立即處理步驟第一線人員當下可以做的具體動作,包含切回純人工流程的方式
通報對象與時限多久內通報給誰,通報管道是什麼
復盤與紀錄事件結束後如何記錄,是否需要更新 failure_log 或本模組的演練結果

資訊

把本模組的演練結果(incident drill)與這份 runbook,一併作為 Module 4 Readiness Review「營運準備度」面向的證據。
  1. 第一步
    為前兩個 slide 演練過的每種異常情境,各寫一段 runbook。
  2. 第二步
    找一位沒參與過演練的同學或同事,只用 runbook 試著描述處理步驟,記錄哪裡看不懂。
  3. 第三步
    依回饋修訂 runbook,直到對方能在不追問的情況下說出正確的處理步驟。
自我檢測

團隊完成了一份 runbook,內容都是團隊成員早已熟悉的做法,但沒有找任何未參與專案的人測試過。這份 runbook 最可能出現什麼問題?

團隊完成了一份 runbook,內容都是團隊成員早已熟悉的做法,但沒有找任何未參與專案的人測試過。這份 runbook 最可能出現什麼問題?

重點: Runbook 寫得好不好,要用「沒參與過的人能不能照做」來驗收,不是用「我們自己看得懂」。

接下來做什麼?