DS 102基礎L1 + L2 證書
資料整理與品質管理
把「可以讀取的資料」整理成「可被信任、可重現、可追溯的分析資料」：檢查、清理、reshape、整合與驗證，並完成自己的 Data Quality & Cleaning Notebook + Data Quality Report。
課程主軸：把可讀取的資料整理成可信的分析資料
整門課沿著同一條線走：Inspect、Clean、Reshape、Integrate、Validate、Document。AI 可以協助整理，人負責驗證與結論。
- 1. Inspect
這份資料的粒度、型態與品質問題是什麼？
- 2. Clean
型態、文字、日期、缺失與重複要怎麼處理？
- 3. Reshape
wide 與 long 格式要怎麼互相轉換？
- 4. Integrate
不同來源要怎麼正確合併，避免 many-to-many？
- 5. Validate
有哪些規則可以確保資料契約沒有被打破？
- 6. Document
別人要怎麼追溯與重現我的判斷？
你的下一步
DS 102 · Module 1 · 資料整理：從原始表格到分析資料
已完成 0 / 17 項0%
課程內容
- Module 1資料整理：從原始表格到分析資料從粒度與整理層次開始，學會安全的型態與日期清理、缺失與重複判斷，以及 reshape。
- Module 2資料品質：驗證、整合與可追溯性學會正確合併資料、統一單位與定義、建立驗證規則，並記錄可追溯的清理過程。
進度儲存在這個瀏覽器，不會記錄你的身分；只有在下方加入進度同步時才會上傳。
同步我的進度加入梯次後，進度可跨裝置保存，講師也能看到
實作與評量
- 實作 A：Type & Date Repair修正被存成文字的數字與無法解析的日期，保留無法解析的線索而不猜測填值。尚未完成
- 實作 B：Missing/Duplicate Diagnosis判斷缺失值代表什麼、重複列是否真的重複，並記錄處理決策。尚未完成
- 實作 C：Join Cardinality Challenge發現 site_id 在不同公司間重複的陷阱，建立正確的 join 鍵。尚未完成
- 實作 D：Unit Normalization Review只在有明確換算規則時統一單位，並辨識同名但不同定義的欄位。尚未完成
- 實作 E：Data Contract Validation把預期規則寫成可執行的檢查，並用有問題的資料驗證規則真的會失敗。尚未完成
- DS 102 前測與後測以前測與後測檢查資料品質、鍵、日期與 reshape、join、單位與定義、追溯與 AI 協助上的判斷力改變。尚未完成
- Data Quality & Cleaning Notebook + Data Quality Report把所學轉成自己的 Data Quality & Cleaning Notebook + Data Quality Report，說清楚資料、方法、驗證方式與限制。尚未完成
關於這門課
學習成果
- 定義資料粒度；區分格式整理與語意品質；建立 raw/staging/clean 三層觀念
- 安全轉換型態、文字正規化、日期解析，並保留轉換失敗供人工檢查
- 區分缺失與零值；辨識重複列與重複實體；定義候選鍵
- 使用 melt/pivot 概念；理解 tidy data；避免 reshape 時意外聚合
- 使用 1:1、1:N、N:1 合併，辨識 many-to-many row explosion
- 只有在有明確換算規則時統一單位；辨識同名但不同定義的欄位
- 建立範圍、允許值、唯一性、參照完整性與 schema 驗證
- 產出 clean dataset、驗證摘要、data dictionary 與可稽核 cleaning report
先備條件
- 不需要程式背景
- 建議先完成 DS 101，但非必要
適合對象
- NTPU 學生、教師與行政人員，日常需要處理結構化資料
- 已完成 DS 101、想進一步學習系統化資料整理的學員
- 使用 Excel / 試算表，想學習可重現分析方法的學員
不需要程式背景。建議先完成 DS 101，但這只是建議，不會擋住你開始學習。
完課證書
完成後可取得完課證書（L1）；另可透過額外的實作審查取得能力證書（L2）。
達成條件
- 完成全部 2 個課程模組
- 後測評量達 80% 以上
- 提交實作成果並經審查通過
課後回饋
約 2 到 3 分鐘，回饋會用來改進課程。