影子模式（shadow mode）讓 AI 針對真實案件產出判斷，但不直接影響案件處理結果，人工流程照常進行。這個階段的目的是在零風險的情況下，觀察 AI 判斷與人工實際處理之間的一致程度。
| 項目 | 說明 |
|---|---|
| 一致案件比例 | AI 判斷與人工最終處理結果相符的案件比例，依 SYN-CS-001 六種案件類別分別統計 |
| 分歧案件 | AI 判斷與人工不一致的案件，逐筆記錄分歧原因（不是只記錄「不一致」三個字） |
| 高風險案件表現 | restricted_access、no_answer 等高風險類別的 AI 表現是否特別不穩定 |
| 系統穩定度 | 影子模式期間是否出現工具失效或延遲，作為進入下一階段前的技術風險指標 |
注意
從影子模式進到「AI 產出建議、人工確認後才生效」的小範圍試行，需要明確的轉換門檻，而不是憑感覺覺得「差不多了」。
| 條件 | 說明 |
|---|---|
| 一致案件比例達標 | 例如 normal 與 outdated_source 類案件一致率達到 Kickoff 設定的門檻 |
| 高風險案件零重大分歧 | restricted_access 類案件在影子模式期間沒有出現越權建議 |
| 錯誤處理機制實測有效 | Module 4 設計的人工接手觸發至少實際運作過一次，且回應時效符合設計 |
| Sponsor 與流程負責人共同確認 | 雙方書面確認可以進入下一階段，而不是技術團隊單方面決定 |
資訊
Pilot Log 是 Module 6 評估與 Module 9 高階簡報的原始證據來源，記錄不完整或不一致，後面所有的分析都會失去可信度。
| 欄位 | 說明 |
|---|---|
| 時間與版本 | 執行時間、對應的版本號（架構或設定是否在 Pilot 期間變更過） |
| 任務與使用範圍 | 案件類型、屬於影子模式還是小範圍確認使用 |
| 結果 | AI 建議、人工最終決定、兩者是否一致 |
| 例外與接手 | 是否觸發人工接手，觸發原因與回應時間 |
| 影響與處理 | 若發生錯誤，實際影響範圍與後續處理方式 |
受控 Pilot 期間應該至少演練一次真正觸發 Module 1 定義的停止觸發條件時，團隊實際如何應變，而不是等真的發生才第一次嘗試。
| 情境 | 應變重點 |
|---|---|
| AI 建議洩漏其他客戶資訊的風險徵兆 | 立即依 Module 1 停止觸發條件評估是否喊停，並記錄評估過程 |
| 知識庫來源大量過期未更新 | 暫停自動回覆，改為全面人工覆核，直到來源更新 |
| 小範圍試行使用者集體反映建議品質下降 | 啟動 Module 4 錯誤分類重新檢查，暫緩擴大試行範圍 |
資訊
影子模式跑了兩週，AI 判斷與人工結果的一致率很高，團隊因此決定跳過小範圍人工確認使用，直接全面上線。這個做法的問題是什麼？
