資料產品與分析工作流工程
把一次性 Notebook 轉化為可重複、可觀測、可失敗復原、具人工審核點的分析工作流與資料產品：從定義使用者、輸入輸出與 owner 開始，把探索程式拆成明確的 functions 與 stages，讓 config/secret 與程式碼分離，用 data contract 讓 pipeline 提早失敗，在 Guided Lab 把 notebook 改寫成 pipeline，再學會安全的 scheduling 與 incremental run、完整的 logging/metrics/lineage/observability、發布前的人工核准與 rollback，以及測試、失敗復原與 runbook，最後在 Independent Lab 交付一份可靠的 Analytics Workflow Canvas、可執行原型與 Runbook。
課程主軸：從一次性分析到可靠資料產品
整門課沿著同一條學習循環走：Input Contract、Transform、Validate、Publish、Approve、Observe、Recover。AI 可以協助撰寫 pipeline 程式碼，人負責定義契約、審核發布並對結果負責。
- 1. Input Contract
這個 pipeline 的輸入資料契約與使用者期望是什麼？
- 2. Transform
探索程式是否已拆成具明確 input/output 的 stages？
- 3. Validate
資料違反 contract 時，pipeline 是否會提早失敗？
- 4. Publish
寫入邏輯是否 idempotent，發布是否保留可回退的前一版？
- 5. Approve
高影響發布前，是否設有人工核准點？
- 6. Observe
是否記錄了 run ID、row counts、freshness 與 lineage？
- 7. Recover
失敗發生時，runbook 能不能讓人安全地判斷與復原？
你的下一步
DS 301 · Module 1 · 從 Notebook 到可重複分析工作流
課程內容
- Module 1從 Notebook 到可重複分析工作流從定義 data product 的使用者、輸入輸出與 owner 出發，把探索程式拆成明確的 functions 與 stages，讓 config 與 secret 與程式碼分離，用 data contract 讓 pipeline 提早失敗，再於 Guided Lab 把 notebook 改寫成 pipeline。
- Module 2可靠資料產品：驗證、部署、觀測與復原學會安全的 scheduling 與 incremental run、完整的 logging/metrics/lineage/observability、發布前的人工核准與 rollback，以及測試、失敗復原與 runbook，再於 Independent Lab 交付可靠的 Analytics Workflow。
進度儲存在這個瀏覽器，不會記錄你的身分；只有在下方加入進度同步時才會上傳。
同步我的進度加入梯次後，進度可跨裝置保存，講師也能看到
實作與評量
- 實作 A：Notebook Refactor把探索程式拆成具明確 input/output 的 function 與 stage。尚未完成
- 實作 B：Data Contract Failure定義 data contract，示範它如何讓 pipeline 提早失敗。尚未完成
- 實作 C：Idempotent Rerun檢查並修正寫入邏輯，讓重跑安全、不重複累加。尚未完成
- 實作 D：Observability Checklist為 pipeline 加上 run ID、row counts 與 validation 紀錄。尚未完成
- 實作 E：Rollback Scenario設計版本化輸出，演練發布出錯後的 rollback。尚未完成
- 實作 F：Runbook Drill為常見失敗情境撰寫並測試 runbook。尚未完成
- DS 301 前測與後測以前測與後測檢查 data product、function、secret、contract、idempotent、incremental、logging、approval、rollback、testing、retry 與 runbook 上的判斷力改變。尚未完成
- Analytics Workflow Canvas + Executable Workflow Prototype + Runbook把所學轉成自己的 Analytics Workflow Canvas + Executable Workflow Prototype + Runbook，說清楚問題、資料、方法、驗證方式與治理判斷。尚未完成
關於這門課
學習成果
- 定義使用者、輸入、輸出、freshness、品質期望與 owner
- 將探索程式拆成具明確 input/output、可重跑的 stages
- 設定與程式分離；禁止 hardcode secrets；理解 dev/test/prod
- schema/quality 不符時提早失敗，區分 warning 與 blocking error
- 建立 ingest→validate→transform→analyze→publish stages 與 checkpoints
- 完成最終成果：Analytics Workflow Canvas + Executable Workflow Prototype + Runbook
先備條件
- 建議完成 DS 202；AI 104 建議完成
- 具備 DS 101–202 程度的 Python/pandas 能力
適合對象
- NTPU 學生、教師與行政人員，日常需要處理結構化資料
- 已完成 DS 202，想把一次性分析變成可重複、可靠的工作流的學員
- 需要驗證、部署、觀測與復原能力的分析與資料工程人員
完課證書
完成後可取得完課證書（L1）；另可透過額外的實作審查取得能力證書（L2）。
達成條件
- 完成全部 2 個課程模組
- 後測評量達 80% 以上
- 提交實作成果並經審查通過
課後回饋
約 2 到 3 分鐘，回饋會用來改進課程。