DS 102 應用

最終產出的用途

Data Quality & Cleaning Notebook + Data Quality Report 是 DS 102 的最終產出。你選一個真正會遇到的資料整理問題，寫下問題、對象、資料、方法、驗證、產出、限制、治理考量、人工審查與下一步。它會成為後續實作討論的起點。

要填寫的內容

• 問題、對象與資料（來源、粒度、時間範圍、關鍵欄位定義）
• 方法與工作流程
• 至少三項驗證檢查
• 證據與產出
• 限制
• 風險與治理考量（如相關）
• 人工審查者
• 下一步

結構完整的 Data Quality & Cleaning Notebook

一份結構完整的產出包含：清楚可檢驗的問題；說明資料來源與粒度；可重現的方法；至少三項驗證檢查；產出與說法一致；至少一項限制。

五項實作評量任務

「資料整理與品質實作評量」依序有五項任務：檢查（Inspect）、清理（Clean）、Reshape、Join、驗證（Validate）。請把這五項任務的答案，直接寫進下方的 Data Quality & Cleaning Notebook + Data Quality Report 表單。

1. 1任務一：檢查（Inspect）
   在動手修改前，先說明 schema、列數、粒度（一列代表什麼）、候選鍵、缺失值摘要，以及你看得出來的任何單位或定義風險。
2. 2任務二：清理（Clean）
   處理缺失值、重複資料、無效類別、錯誤型態，以及空白字元 / 解析問題。每一項更動都要回答：改了什麼、為什麼、有什麼證據支持、是否可能因此遺失資訊。
3. 3任務三：Reshape
   說明 reshape 前的粒度、你用的 reshape 操作、reshape 後的粒度，並用唯一性檢查證明 reshape 後的鍵確實唯一。
4. 4任務四：Join
   說明預期的 cardinality、join 前與 join 後的列數、未配對的鍵、重複的鍵，並用下方的範例診斷任何 row multiplication。
5. 5任務五：驗證（Validate）
   產出一份涵蓋下列所有欄位的 Data Quality Report，並明確寫出通過或不通過的驗證結果。

• 列數（row count）
• 唯一鍵檢查（unique-key checks）
• 重複筆數（duplicate count）
• 缺失情形（missingness）
• 未配對的鍵（unmatched keys）
• 允許值（allowed values）
• 範圍（ranges）
• 單位（units）
• 日期涵蓋範圍（date coverage）
• 最終粒度（final grain）
• 已知限制（known limitations）
• 驗證結果（明確寫出通過或不通過）

如何評分

人工審查者會依七個加權面向為你提交的產出評分。總分 80 以上為 PASS，65 至 79 為 REVISION_REQUIRED，65 以下或觸發任一項 critical-fail 規則則為 FAIL，不論加權總分多高都一樣。要 PASS，Join Cardinality 面向與 Validation & Data Contract 面向都必須各自達到 3 分中的 2 分以上。

• 未偵測到 many-to-many 或非預期的 row multiplication（含上方必考的 15→45 範例）
• 單位不一致對結果造成實質影響，卻未被偵測
• 破壞性清理沒有證據或可追溯紀錄支持
• 假設候選鍵唯一，但實際並非唯一，且從未檢查
• Data Quality Report 完全沒有驗證（Validate）章節

你需要完成

• 完成 DS 102 兩個模組，並在後測拿到 80% 以上
• 提交涵蓋全部五項任務的 Data Quality & Cleaning Notebook + Data Quality Report（實作評量產出物）
• 該產出物依「資料整理與品質實作評量」rubric 評分，整體結果為 PASS
• 未觸發上方任何一項 critical-fail 規則

你會被評量

• 上方七個加權 rubric 面向：檢查與粒度、清理決策、Reshape 正確性、Join Cardinality、驗證與資料合約、可追溯性與可重現性、人工審查與限制
• Join Cardinality 面向須獨立達到 3 分中 2 分以上，正確診斷 row multiplication 是必要條件，不是加分項
• Validation & Data Contract 面向也須獨立達到 3 分中 2 分以上

實作證據

• 你提交的 Data Quality & Cleaning Notebook + Data Quality Report
• 一筆記錄下來的 rubric 結果（PASS、REVISION_REQUIRED 或 FAIL），且未觸發任何 critical-fail 規則
• DS 101 完課是建議先修，但不是取得這張證書的必要條件

可取得

資料整理與品質能力證書，一張具備公開驗證頁面的 L2 能力證書。它補充你的 DS 102 完課證明，而不是取代它，也絕不會只憑後測分數就發出。

這項證明不代表

這項證明確認持有人完成了 DS 102 的必修課程與後測，並針對「資料整理與品質實作評量」rubric 展現了 schema/粒度、清理、reshape、join cardinality、驗證與可追溯性等能力。

• 不代表持有人具備正式的資料工程專業證照或雇用資格
• 不代表持有人日後清理的任何特定資料集必然正確
• 不代表可以省略高風險決策前的人工審查（Human, AI, Human）

Exit Ticket

最後，用 Exit Ticket 記錄今天最重要的觀念、仍不確定的步驟、你會把這個方法用在哪個真實情境、你最需要再驗證的風險，以及課程難度與實用性評分。

提交之前

開始填寫

• 填寫 Data Quality & Cleaning Notebook + Data Quality Report
• 填寫 Exit Ticket
• 我的學習：學習進度