探索資料：分布、變異與異常

25 分鐘

EDA 的目的：找模式，也找反例

學習目標：用 EDA 產生與檢查問題，而非證明預先設定的故事。

你的主管在看到一份調查摘要後說：「看起來 B 組的完成率明顯比較差，我們直接向委員會報告這個結論吧。」在你點頭之前，這正是探索式資料分析（EDA）該出場的時候：EDA 不是用來證明主管已經相信的故事，而是用來產生問題、尋找支持這個模式的證據，同時主動尋找會推翻它的反例。

import pandas as pd

# clean：一份調查與結果資料集，一列代表一筆觀測
df = pd.read_csv("DS104_Survey_Outcomes_Clean.csv")
df.shape
df.head()
df["group"].value_counts()

# 主管的說法：B 組的 outcome 比較低。先看整體，而不是只看一張圖
df.groupby("group")["outcome"].mean()

• 先寫下想回答的問題，再開始畫圖或算統計量，避免邊做邊換問題
• 對任何「A 比 B 好／差」的說法，至少換一個切分方式（分層、年齡、完成狀態）重新檢查一次
• 主動找出和整體模式相反的子群，並記下它們佔整體資料的比例
• 把「資料顯示什麼」與「資料品質是否足以支持這個說法」分開來寫

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

35 分鐘

中心與分布：Mean、Median、Percentile

學習目標：比較穩健與非穩健摘要，將統計量連回分布形狀。

同事回報：「outcome 的平均值是 62，看起來還不錯。」但如果資料中有少數幾筆極端值（例如少數觀測的 outcome 遠高於或遠低於其他人），平均值會被這些極端值拉動，讓「還不錯」這個判斷失真。中位數（median）與百分位數（percentile）能提供不受極端值主導的另一種視角。

summary = df["outcome"].describe(percentiles=[0.25, 0.5, 0.75])
print(summary)

mean_val = df["outcome"].mean()
median_val = df["outcome"].median()
gap = round(mean_val - median_val, 2)
# gap 越大，代表分布越偏態，或有少數極端值正在拉動平均值

p10, p90 = df["outcome"].quantile([0.1, 0.9])
# 第 10 與第 90 百分位數：90% 的觀測落在這個範圍之內

• 任何時候要報告 outcome 的「中心」數字，先同時算出 mean 與 median，再決定要主打哪一個
• mean 與 median 的差距超過原始量表的 5% 到 10%，通常值得畫一張直方圖確認分布形狀
• 對外溝通時，與其只說一個數字，不如說「大多數觀測落在哪個範圍，少數觀測如何偏離」
• 百分位數（如 p10、p90）比單一的 mean 或 median 更能呈現資料的整體分布樣貌

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

35 分鐘

變異：Range、IQR、Standard Deviation

學習目標：描述離散程度，避免只用平均值解讀資料。

兩個分層的 outcome 平均值都是 55，聽起來像是同一種情況。但如果 A 分層的觀測全部集中在 50 到 60 之間，B 分層的觀測卻從 10 散布到 100，這兩種資料代表的風險完全不同：只報告平均值會把這個差異完全藏起來。

by_stratum = df.groupby("sampling_stratum")["outcome"].agg(
    mean="mean",
    std="std",
    q25=lambda s: s.quantile(0.25),
    q75=lambda s: s.quantile(0.75)
)
by_stratum["iqr"] = by_stratum["q75"] - by_stratum["q25"]
by_stratum["range"] = df.groupby("sampling_stratum")["outcome"].agg(lambda s: s.max() - s.min())
print(by_stratum)
# mean 相近，但 std 與 iqr 差很多，代表兩個分層的離散程度不同

• 報告任何平均值時，至少搭配一個離散程度指標（IQR 或標準差）
• 分布可能有極端值或明顯偏態時，優先使用 IQR 而不是標準差
• Range 對單一極端值極度敏感，只適合快速檢查，不適合作為結論依據
• 比較兩個群組時，先比較各自的離散程度，再比較平均值是否有意義

1. 1先畫出分布
   用直方圖或箱型圖看一眼形狀，判斷是否明顯偏態或有極端值。
2. 2依形狀挑指標
   大致對稱、無極端值時可用標準差；偏態或有極端值時優先用 IQR。
3. 3兩個指標都算一次
   即使只打算報告一個，也先算出另一個做對照，確認兩者說的故事是否一致。

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

35 分鐘

Outlier：錯誤、例外或重要訊號？

學習目標：移除前先調查異常值，記錄理由並做敏感度比較。

你在檢查 exposure 欄位時，發現一筆觀測的數值是其他人的十倍。直覺反應可能是「這一定是錯的，刪掉它」，但異常值可能是三種完全不同的情況：資料輸入或量測錯誤、罕見但真實的例外情況，或是揭露某個重要現象的訊號。在你決定怎麼處理之前，必須先調查它是哪一種。

q1, q3 = df["exposure"].quantile([0.25, 0.75])
iqr = q3 - q1
lower, upper = q1 - 1.5 * iqr, q3 + 1.5 * iqr

flagged = df[(df["exposure"] < lower) | (df["exposure"] > upper)]
flagged[["observation_id", "exposure", "group", "response_complete", "sampling_stratum"]]
# 先看這些觀測的其他欄位，再判斷是錯誤、例外還是訊號

1. 1用規則標出候選
   用 IQR 規則（低於 Q1 − 1.5×IQR 或高於 Q3 + 1.5×IQR）列出候選異常觀測，先不要刪除任何資料。
2. 2檢查上下文
   查看每一筆候選觀測的其他欄位（response_complete、weight、age_band），判斷數值是否邏輯一致。
3. 3做敏感度比較
   分別計算包含與排除這些觀測時的 mean、median 與 IQR，看看結論是否因此改變。

• 單一極端值 vs. 一群相似的極端值：前者更可能是個案，後者更可能是訊號
• 極端值是否與其他欄位（weight、response_complete）邏輯矛盾，矛盾通常指向錯誤
• 排除任何觀測前，先確認排除後的結論與排除前是否不同；如果結論不變，排除與否的影響有限
• 把「調查過程」和「調查結論」都寫進報告，而不是只呈現排除後的乾淨結果

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

50 分鐘

Guided Lab：建立 EDA Profile

學習目標：在教師引導下，建立分布、缺失、群組差異與可疑觀測的 EDA profile。

• 前往 DS 104 實作頁面
• 預覽下載乾淨版調查與結果資料（CSV，合成資料）
• 下載 Guided Lab 起始 Notebook
• 預覽下載資料字典（繁體中文）
• 預覽下載資料字典（英文）

1. 1載入並檢視 schema
   載入乾淨版資料，檢查列數、欄位型別，以及 group、age_band、sampling_stratum 的類別內容。
2. 2檢查缺失與未完成回覆
   計算每個欄位的缺失比例，以及 response_complete 為否的觀測占比，並看它是否集中在特定分層。
3. 3建立分布摘要
   對 outcome 與 exposure 計算 mean、median、IQR 與標準差，並畫出直方圖檢查形狀。
4. 4比較群組差異
   依 group 與 age_band 計算 outcome 的平均值與離散程度，記錄任何看起來不一致的子群。
5. 5標出可疑觀測
   用 IQR 規則標出候選異常值，選一筆實際調查其上下文，並記錄你的判斷。
6. 6寫下仍需人工判斷的項目
   列出這份 profile 還無法回答、需要進一步確認或人工判斷的問題。

• 只呈現最後的乾淨圖表，沒有交代途中排除了哪些觀測、依據是什麼
• 把「平均值不同」直接寫成「兩組不一樣」，卻沒有提到各自的離散程度
• 只檢查了整體資料，沒有依 group、age_band 或 sampling_stratum 分開確認同一個模式是否一致
• 把本節練習中仍無法回答的問題省略不寫，讓報告看起來比實際上更有把握

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。