評估的比較基準，是 Module 2 在 Pilot 開始前重新驗證過的現況流程紀錄，而不是 IL 101 或 IL 201 階段更早期、可能已經過時的 baseline log。品質、時間、成本三者必須分開報告，不能用單一綜合指標掩蓋任何一個面向變差的情況。
| 面向 | 衡量方式 | 常見錯誤 |
|---|---|---|
| 品質 | 依 SYN-CS-001 六種案件類別分別統計正確率、覆核修改幅度 | 只報告整體平均正確率，掩蓋高風險類別（如 restricted_access）表現不佳 |
| 時間 | 全流程時間，包含輸入準備、AI 處理、人工覆核與修正、重做 | 只計算 AI 產出建議的時間，不含人工覆核與修正時間 |
| 成本 | 含工具費用、覆核人力、維運與例外處理成本 | 只計算工具授權費用，忽略新增的覆核與維運人力成本 |
注意
Pilot 期間往往不是「唯一改變的變數是 AI 輔助」，工作量、案件難度組成、人員配置都可能在同一段期間內變化。如果不揭露這些干擾因素，觀察到的改善或惡化可能完全來自其他原因，卻被誤判成 AI 的效果。
| 干擾因素 | 需要檢查的問題 |
|---|---|
| 工作量變化 | Pilot 期間案件量是否比基準期間明顯增加或減少（例如促銷活動帶來的尖峰） |
| 案件難度組成 | Pilot 期間處理的案件類別比例，是否比基準期間更偏向簡單案件 |
| 人員配置 | Pilot 期間是否有資深人員離職、新人加入，或臨時支援人力調度 |
資訊
以下是示範服務公司 A 客服知識助理（SYN-CS-001）的評估報告草稿摘要，其中刻意保留一處常見錯誤。閱讀時請先自己找出問題，再往下看修訂說明。
| 指標 | Pilot 期間結果 | 基準期間結果 | 報告結論 |
|---|---|---|---|
| 平均全流程處理時間 | 4.2 分鐘／件 | 7.0 分鐘／件 | 結論：AI 輔助讓處理時間縮短 40%，效率大幅提升 |
| 整體正確率 | 92% | 88% | 結論：品質同步提升，沒有取捨問題 |
| 案件量 | Pilot 期間 1,200 件／週 | 基準期間 900 件／週 | （報告未提及此差異） |
| 人員配置 | Pilot 期間有 2 位資深客服請長假，由 3 位新進客服支援 | 基準期間人力配置穩定 | （報告未提及此差異） |
注意
結論：AI 輔助讓處理時間縮短 40%，效率大幅提升，品質同步提升，沒有取捨問題。
資訊
範例評估報告聲稱「AI 輔助讓處理時間縮短 40%，效率大幅提升」，最主要的問題是什麼？
