演練:AI 給出明顯錯誤的答案,誰會發現?
「人工會核對」不是一個可驗證的控制,除非你實際演練過:AI 給出一個看起來合理但其實錯誤的答案時,現有流程有沒有機會攔截?多快會被發現?發現之後誰來處理?
| 情境 | 演練問題 |
|---|---|
| AI 引用了已過期文件(outdated_source) | 客服人員在核對階段能不能看到文件的有效日期? |
| AI 對缺漏資訊案件給出臆測答案(missing_context) | 流程有沒有要求 AI 在資訊不足時明確標示「無法回答」,而不是自行補全? |
| AI 引用兩份互相矛盾的文件(conflicting_sources) | 客服人員能不能看到「有矛盾」的提示,還是只看到單一草稿? |
| AI 處理了超出權限範圍的案件(restricted_access) | 系統有沒有在草擬前先檢查案件的存取層級? |
注意
常見錯誤:演練只測試「AI 表現正常」的情境。異常演練的價值在於刻意觸發已知的錯誤類型,觀察現有防線是否真的有效,而不是再次確認正常情境沒問題。
- 第一步
從 failure_log.csv 或既有錯誤紀錄中,挑選至少三種已知錯誤類型。 - 第二步
實際模擬每種情境,記錄現有流程是否攔截、攔截時間點與攔截者。 - 第三步
對於沒有被攔截的情境,明確寫出需要新增的控制措施。