跳到主要內容

IL 301 · 模組 4

解決方案衝刺

建立可監測的 Pilot 版本,設計錯誤處理與人工接手機制。

開始第一節
已完成 0 / 4

學習目標

  • 在不過度蒐集敏感資料的前提下,設計出可觀察 Pilot 實際運作情形的監測方式。
  • 把常見錯誤分類成明確的錯誤處理策略,而不是只用單一的「重試」機制。
  • 設計清楚的人工接手(human handoff)觸發條件與流程,讓 AI 不確定或超出範圍時能安全轉交。

從原型到可監測、可接手的 Pilot 版本

90 分鐘

建立可監測的版本

IL 201 的原型只需要證明價值假設,IL 301 的 Pilot 版本則必須要能被觀察:出了問題時,團隊要能知道發生了什麼、影響多大、要不要啟動停止權。監測設計的挑戰在於「記錄夠用的資訊」和「不過度蒐集敏感資料」之間取得平衡。

監測設計必須記錄的最小資訊集
項目說明
執行版本與時間每次執行對應的程式/設定版本、時間戳記
輸入摘要(不含完整個資)輸入的類型與長度等中繼資訊,避免直接記錄完整敏感內容
信心程度與決策AI 是否判斷自己有足夠信心處理,或觸發了人工接手
處理結果與人工覆核最終輸出、是否經過人工修改、修改幅度
例外與錯誤代碼對應 Module 4 錯誤分類表的錯誤類型

注意

常見錯誤:為了方便除錯把完整輸入輸出全部存成明文日誌。監測與除錯需求應該用去識別化或遮罩處理,並遵守 Module 3 重新核對過的資料範圍,不能為了監測方便就擴大資料蒐集。

重點: 監測的目的是讓團隊在出事前就能看見異常,而不是等 Pilot 結束才翻日誌找答案;記錄的內容也要受資料範圍的約束。

90 分鐘

錯誤處理分類

「AI 出錯了」不是一個可以處理的描述,必須先分類才能設計對應的處理策略。同一套重試機制不可能適用所有錯誤類型。

錯誤類型與對應處理策略
類型範例(SYN-CS-001)處理策略
工具/系統失效知識庫查詢逾時或服務中斷重試一次,仍失敗則轉人工,不可靜默略過
資料缺漏missing_context 類案件,找不到足夠資訊回答明確標示資訊不足,附上已知的部分資訊,轉人工補充
資料矛盾conflicting_sources 類案件,多份文件互相矛盾不擅自選邊,列出矛盾點並轉人工判斷
低信心輸出AI 自評信心低於門檻不直接送出,附上信心分數轉人工核可
越權要求使用者要求超出核准範圍的資料或動作拒絕執行並記錄,不得因為使用者堅持而放寬範圍

資訊

這五種錯誤類型與 SYN-CS-001 的六種案件類別(normal、missing_context、conflicting_sources、outdated_source、no_answer、restricted_access)大致對應,可以直接沿用案件類別作為錯誤處理策略的分類基礎。

重點: 沒有分類的錯誤處理,最後往往變成「一律重試」或「一律放行」,兩者都不安全。

90 分鐘

設計人工接手機制

人工接手不是「AI 做不到就丟給人」的模糊概念,而是要有明確的觸發條件、清楚的介面設計,以及可被追蹤的回應時效,否則接手常常變成沒人真的處理的黑洞。

人工接手設計必填項目
項目說明
觸發條件對應 Module 4 錯誤分類表的每一種類型,明確列出何時觸發接手
接手介面人工看到的畫面要包含 AI 的判斷理由、信心程度、引用來源,而不是只有「請人工處理」四個字
回應時效不同類型的接手案件,各自的預期回應時間(例如越權要求需即時處理,資料缺漏可排入一般佇列)
責任歸屬接手後由誰負責最終決定,以及若接手後仍無法解決,下一步升級給誰

不合格的接手設計

系統顯示「此案件無法自動處理,請人工協助」,沒有任何 AI 判斷的脈絡或緊急程度標示。

合格的接手設計

判斷理由
顯示「案件屬於 conflicting_sources:文件 KB-014 與 KB-027 對退貨期限描述不一致」。
信心與已知部分
附上 AI 已整理好的兩份文件重點摘要,讓人工不用從頭查起。
緊急程度
標示此案件是否屬於高風險類型(例如涉及金額或個資),決定佇列優先順序。
責任與時效
指定由當班資深客服在 30 分鐘內回應,逾時自動升級主管。

重點: 好的人工接手設計讓人工看得懂「為什麼需要我」,而不是只丟出一個無法動作的警告。

90 分鐘

衝刺整合練習

  1. 練習:組裝 Pilot 版本的架構與治理控管草稿(使用 SYN-CS-001)
    把前三個滑頁的內容整合成兩份具體產出。
  2. 產出 1:架構草稿
    畫出(或用條列方式描述)Pilot 版本的資料流:輸入 → 知識庫查詢 → AI 判斷 → 信心分流 → 人工接手或自動回覆 → 監測記錄。
  3. 產出 2:資料/治理控管清單
    列出這個架構會蒐集的最小監測資訊、對應的資料範圍核准依據(連結 Module 3 的再驗證清單),以及保存期間。
  4. 自我檢查
    確認每一種錯誤類型(工具失效、資料缺漏、資料矛盾、低信心、越權要求)都對應到明確的人工接手觸發條件。
自我檢測

為什麼人工接手介面只顯示「此案件無法自動處理,請人工協助」是不合格的設計?

為什麼人工接手介面只顯示「此案件無法自動處理,請人工協助」是不合格的設計?

重點: 解決方案衝刺的產出不是「能動的 Demo」,而是一份可以交給治理審查者檢視的架構與資料/治理控管文件。

接下來做什麼?