從 Demo 到正式系統
- Demo 可以展示
- 功能可以執行
- 真實資料可以運作
- 異常情境可以處理
- 權限可以控制
- 行為可以追蹤
- 結果可以驗證
- 系統可以維運
注意
某系統已經通過「功能可以執行」與「真實資料可以運作」兩個階段,但尚未確認「異常情境可以處理」。這代表什麼?
注意
某系統已經通過「功能可以執行」與「真實資料可以運作」兩個階段,但尚未確認「異常情境可以處理」。這代表什麼?
| 維度 |
|---|
| 功能 |
| Workflow |
| Accuracy / Quality |
| Knowledge / RAG |
| Permission |
| Security / Privacy |
| Tool Use |
| Human Approval |
| Logging / Traceability |
| Error Handling |
| Reliability |
| Version Control |
| Regression Test |
| Operations & Maintenance |
驗收小組只檢查了「功能」與「Accuracy / Quality」兩個維度就做出驗收決定。這樣做的主要問題是什麼?
驗收不是模組 8 才開始的新工作,而是把前七個模組的產出串接起來,檢視它們是否彼此一致、有沒有缺口。
資訊
驗收時發現「Security / Privacy」維度缺乏證據,追查後發現是因為模組 3 的 Context & Data Canvas 沒有標明敏感資料的處理方式。這說明了什麼?
某地方政府委外開發陳情分類 AI Agent,廠商以一次成功的 Demo 要求驗收。驗收小組依 14 個維度逐一檢核後發現:異常情境處理(遇到無法分類的陳情時沒有妥善的 fallback)與 Regression Test(沒有留存測試案例以供未來版本更新時重新驗證)兩項未達標。驗收決定為「Accept with conditions」:功能、權限、Human Approval 等多數維度達標,但要求廠商在正式上線前補齊異常情境處理與 Regression Test 機制,並提供對應證據後才能解除附加條件。
資訊
廠商展示的 Demo 表現流暢,長官當場滿意並要求「馬上驗收通過,趕快上線」。下列哪一個判斷最正確?
活動 8 是整門課的整合型實作:依 14 個驗收維度檢核一個模擬的驗收證據包或廠商 Demo,做出驗收決定,並完成 Government AI Procurement & Acceptance Checklist。
完成活動 8 之後,你手上應該已經累積了哪些完整的實作成果?