建立預測問題與第一個模型

35 分鐘

預測問題：Target、Features、Prediction Time

學習目標：定義預測單位、target、時間範圍、決策與預測當下可取得資訊。

你的主管說：「我們來預測下週每個服務據點的案件量吧。」這句話聽起來像一個明確的任務，但實際上還缺很多定義：一筆「預測」到底對應到哪一個單位（一個據點、一天，還是一個時段）？target 是案件數量本身，還是超過門檻的二元判斷？「下週」的起點是什麼時候？更重要的是，在做這個預測的當下，哪些資訊你真的已經知道，哪些其實是事後才會出現的？

如果跳過這一步，直接把資料丟進模型，最常見的後果是：團隊用了「案件關閉後才產生」的欄位當 feature，模型在歷史資料上表現很好，但上線後卻完全對不上，因為正式運作時那個欄位在預測當下根本還不存在。先把預測單位、target、prediction time 寫清楚，才能避免這種「事後才發現」的代價。

import pandas as pd

# clean：一份服務需求預測資料集，一列代表一筆預測案例
df = pd.read_csv("DS201_Service_Demand_Clean.csv", parse_dates=["created_at", "split_time"])
df.shape
df.dtypes
df[["case_id", "split_time", "target_numeric", "target_binary"]].head()

# 先問：哪些 features_* 欄位是在 split_time 之前就已知的？
[c for c in df.columns if c.startswith("features_")]

• 把「預測」直接等同於「分析」，沒有先定義一個明確的 prediction time
• 只看欄位名稱判斷能不能用，而不是實際查核它的產生時間
• 把 target 本身的歷史值直接當作 feature，卻沒有檢查它是否會在預測當下洩漏答案
• 不同人對「一筆預測」的定義不一致，導致後續評估無法互相比較

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

35 分鐘

Baseline：模型必須打敗什麼？

學習目標：ML 前先建立 naive、majority、mean 或規則型 baseline。

同事興奮地說：「我們的模型準確率有 82%！」但如果直接猜「每個據點的案件量都等於整體平均值」也能達到 78% 的表現，那這個模型真正帶來的增益只有 4 個百分點，而不是聽起來的 82%。沒有 baseline，任何一個分數都無法判斷模型是否值得投入使用。

選擇哪一種 baseline，取決於資料本身的特性：有明顯時間規律的資料適合用 naive baseline；類別或數值分布不均的資料，majority 或 mean baseline 往往已經很難被打敗。先花十分鐘算出 baseline，遠比事後才發現模型其實沒有增益划算。

import numpy as np

# 回歸 baseline：用訓練資料的平均案件量，當作每一筆預測
mean_baseline = df["target_numeric"].mean()
baseline_mae = (df["target_numeric"] - mean_baseline).abs().mean()

# 分類 baseline：majority class（預測「永遠不超過門檻」）
majority_class = df["target_binary"].mode()[0]
baseline_accuracy = (df["target_binary"] == majority_class).mean()

print(round(baseline_mae, 2), round(baseline_accuracy, 3))

• 只報告模型分數，沒有同時報告對應的 baseline 分數
• 用訓練集算出的 baseline 統計量，卻拿去跟 test set 上的模型分數比較
• 分類問題只看 accuracy，沒有先確認多數類別占比
• 每次資料更新後忘記重新計算 baseline，導致比較基準過時

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

45 分鐘

Train / Validation / Test 與 Leakage

學習目標：分離訓練、調參、最終評估；避免 future/target leakage。

同事在同一份資料上反覆調整模型參數，每次都看 test set 上的分數，挑分數最高的那一組參數。這樣做的問題是：test set 已經被用來做決策了，它不再是「未見資料」，最終回報的分數會系統性地偏高，實際上線後的表現通常會令人失望。

Leakage 不一定是程式寫錯，很多時候是資料本身的欄位定義有問題：例如某個欄位的計算方式用到了整個資料集的統計量（像是全域平均），而這個統計量本身已經包含了 test set 的資訊。在切分資料之後才計算任何統計量，是避免這種隱性 leakage 的基本原則。

df_sorted = df.sort_values("split_time")
n = len(df_sorted)
train = df_sorted.iloc[: int(n * 0.6)]
valid = df_sorted.iloc[int(n * 0.6): int(n * 0.8)]
test = df_sorted.iloc[int(n * 0.8):]

# 檢查：test 的最早時間，是否晚於 train 的最晚時間
train["split_time"].max() < test["split_time"].min()

1. 1依時間排序後切分
   服務需求資料具有時間順序，train 必須全部早於 valid，valid 必須全部早於 test，不能隨機打亂。
2. 2檢查 leakage 來源
   確認沒有欄位是「事後才知道」的（例如案件關閉後才產生的欄位），也沒有同一個服務據點的資料同時出現在 train 與 test。
3. 3只用 test 做一次最終評估
   test set 的分數只在所有調參都完成後查看一次；若之後又回頭調整模型，就必須視為新的一輪流程。

• 任何統計量（平均、標準差、分組統計）都只能用 train 計算，再套用到 validation / test
• 確認沒有同一個服務據點或同一個 case 在不同切分中重複出現
• 確認欄位的產生時間在 split_time 之前，而不是只看欄位名稱像不像 feature
• test set 的分數只查看一次，查看後若要調整模型就重新整個流程

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

40 分鐘

Regression 與回歸評估：MAE、RMSE

學習目標：建立簡單回歸模型，以 domain units 解讀 MAE/RMSE。

模型訓練完成後，同事只回報一個數字：「RMSE 是 12.4」。這個數字本身沒有意義，除非你知道它的單位是什麼、和 target 的量級相比是大是小，以及它與 MAE 之間的差距透露了什麼。回歸評估的重點不是算出一個指標，而是把它翻譯回「案件量誤差」這種業務語言。

把 MAE 或 RMSE 翻譯成業務語言時，一定要連同 target 的量級一起報告。「MAE 是 3.2」在平均案件量是 20 的情境下代表誤差約 16%；但在平均案件量是 200 的情境下，同樣的 3.2 只代表 1.6% 的誤差。沒有對照量級，單獨一個誤差數字幾乎無法判斷模型好壞。

from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, mean_squared_error

feature_cols = [c for c in df.columns if c.startswith("features_")]
model = LinearRegression().fit(train[feature_cols], train["target_numeric"])
pred = model.predict(valid[feature_cols])

mae = mean_absolute_error(valid["target_numeric"], pred)
rmse = mean_squared_error(valid["target_numeric"], pred, squared=False)
print(round(mae, 2), round(rmse, 2))
# 與 Lesson 2 算出的 baseline_mae 比較，才能判斷模型是否值得使用

• 同時報告 MAE 與 RMSE，並說明兩者的差距透露了什麼
• 把誤差換算成占 target 平均值或中位數的百分比，而不是只給原始數字
• 標明誤差是在哪一個切分（validation 或 test）上算出來的
• 註明這個誤差與 baseline 相比的差距，而不是單獨呈現

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

55 分鐘

Guided Lab：第一個可驗證預測模型

學習目標：在教師引導下，建立 baseline 與模型，用固定切分比較 held-out performance。

• 前往 DS 201 實作頁面
• 預覽下載乾淨版服務需求資料（CSV，合成資料）
• 下載 Guided Lab 起始 Notebook
• 預覽下載資料字典（繁體中文）
• 預覽下載資料字典（英文）

1. 1確認預測問題
   寫下這份 Guided Lab 的預測單位、target_numeric、決策，以及 split_time 之前可用的 features_*。
2. 2依時間切分資料
   依 split_time 排序後切出 train/validation/test，並檢查三者的時間範圍沒有重疊。
3. 3建立 baseline
   用訓練集平均值當作 mean baseline，計算它在 validation 上的 MAE。
4. 4訓練並比較模型
   訓練一個簡單回歸模型，計算它在 validation 上的 MAE 與 RMSE，並與 baseline 比較。
5. 5最終評估
   選定模型後，只在 test set 上查看一次最終分數，不再回頭調整。
6. 6寫下仍需人工判斷的項目
   列出這個結果還無法回答、需要進一步確認或人工判斷的問題（例如季節性、極端事件）。

• 先確認所有輸出都能重新執行一次，數字不是手動修改過的
• 明確寫出哪些欄位被排除是因為 leakage，而不是因為模型表現比較差才移除
• 任何「模型打敗 baseline」的結論，都附上實際的差距數字，而不是只說「有改善」

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。