可信 AI Data Science：驗證、重現與治理

40 分鐘

Debugging：錯誤訊息不是唯一錯誤

學習目標：區分 syntax/runtime errors 與不會報錯的 silent analytical errors。

「程式沒有報錯」常常被誤認為「分析沒有問題」。但一份分析程式碼可能完全順利執行，卻因為沒有先篩掉 draft 或 superseded 的列、把不同 unit（不同指標）的數值混在一起加總，或是某筆 record_id 因為重新提交而重複出現，導致同一筆資料被算了兩次，產生一個看起來正常、實際上錯誤的結果。這種錯誤 Python 不會報錯，只有靠人主動檢查才會被發現。

import pandas as pd

df = pd.read_csv("DS202_Analysis_Package_Practice.csv", parse_dates=["period"])

# 沒有先篩選 status 為 validated，也沒有先依 unit 分組，
# 把不同指標（count、hours、usd...）的數值直接加總在一起
summary = df.groupby("group")["value"].sum()
print(summary)
# 程式完全不會報錯，但這個總和沒有任何業務意義

• 篩選前後的列數，是否符合我的預期？
• 我有沒有挑一小群資料，自己手算一次來比對？
• 極端值、缺值、或重複出現的 record_id，被怎麼處理了？
• 如果我換一種合理的篩選或分組方式，結論會不會完全變了？

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

45 分鐘

Verification Ladder：Data → Code → Method → Claim

學習目標：分層驗證來源資料、轉換、方法、輸出與文字聲稱。

只驗證「程式輸出的數字」是不夠的，因為錯誤可能發生在更早或更晚的環節：來源資料本身有沒有問題？轉換過程有沒有邏輯錯誤？選用的統計方法是否適合這份資料？最後，AI 或同事寫出的文字聲稱，有沒有比程式實際輸出的數字更誇大或更確定？Verification ladder 把驗證拆成四層，一層一層往上檢查。

# Data 層：確認期間涵蓋範圍
df["period"].min(), df["period"].max()

# Code 層：確認篩選條件確實生效（只保留已核可、且屬於同一指標的列）
mask = (df["status"] == "validated") & (df["unit"] == "usd") & (~df["sensitive_flag"])
filtered = df[mask]
assert len(filtered) < len(df), "篩選條件可能沒有生效"

# Method 層：檢查資料是否高度偏態，決定平均或中位數是否合適
filtered.groupby("group")["value"].agg(["mean", "median", "std"])

• Data：這份資料本身完整嗎？有沒有已知的限制？
• Code：轉換與篩選邏輯，真的做到我要求的事了嗎？
• Method：這個統計方法，適合這份資料和這個問題嗎？
• Claim：最後寫出來的話，有沒有比數字本身更誇張？

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

35 分鐘

Reproducibility、Prompt Log 與 Provenance

學習目標：記錄環境、資料版本、prompt、生成程式、修改與輸出。

三個月後，主管問：「這個結論是怎麼算出來的？」如果沒有留下紀錄，你可能連自己都無法重現當初的分析：用的是哪一版資料？當時給 AI 的 prompt 是什麼？AI 生成的程式碼有沒有被手動修改過？Provenance（來源紀錄）就是把這些資訊留下來，讓分析可以被重現、被追蹤，也讓別人能看懂這個結論是怎麼得出來的。

import sys, pandas as pd

print("Python:", sys.version)
print("pandas:", pd.__version__)
print("資料版本：DS202_Analysis_Package_Clean.csv")
print("Prompt 摘要：見 provenance log 第 3 列")
# 之後每一次修改 AI 生成的程式碼，都在 log 中新增一列，寫下修改原因

• 這次分析用的是哪一個版本的資料檔案？
• 當時送給 AI 的完整 prompt 內容是什麼？
• AI 原本生成的程式碼，哪些部分被人工改過、為什麼改？
• 最終拿去做決策的那個數字，對應的是哪一版程式碼？

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

35 分鐘

Privacy、Sensitive Data 與 AI Governance

學習目標：判斷資料能否提供 AI；採資料最小化、去識別或合成資料。

同事想把整份服務支援資料包貼給外部 AI 工具，方便它「看到全貌」。但資料裡的 sensitive_flag 欄位標記了某些列涉及需要特殊處理的資訊，這些列不應該未經授權就被送到外部服務。在把任何資料交給 AI 之前，第一個問題永遠是：「這份資料，可以離開原本的系統、被貼到這個工具裡嗎？」

# 錯誤做法：把整份含有 sensitive_flag 列的明細資料直接貼給外部 AI 工具

# 較安全的做法：先排除敏感列，並只提供彙總後的統計量
safe = df[~df["sensitive_flag"]]
aggregate = safe.groupby("group")["value"].agg(["mean", "count"])
# 只把彙總後的 aggregate 提供給 AI 工具，而不是逐列的原始明細

• 這份資料、這個用途，是否已經被授權可以交給這個 AI 工具？
• 裡面有沒有 sensitive_flag 為真的列？這些列會不會被一併貼上去？
• 這次分析，是不是只需要彙總後的統計量，而不需要逐列明細？
• 有沒有去識別化或合成資料的版本，可以取代原始明細？

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。

55 分鐘

Independent Lab：可稽核的 AI-Assisted Workflow

學習目標：獨立交付分析、prompt log、code review/diff、驗證證據、限制與最終人工核准聲稱。

• 前往 DS 202 實作頁面
• 預覽下載實作資料（含挑戰）
• 下載 Independent Lab 起始 Notebook
• 預覽下載資料字典（繁體中文）
• 預覽下載資料字典（英文）

1. 1定義分析問題
   寫下你要回答的問題、對應的決策，以及會用到的欄位與其定義。
2. 2請 AI 提案並產生程式碼
   用結構化 prompt 請 AI 提出分析方法並實作，並保留完整 prompt 與原始輸出。
3. 3Read before run 與 debug
   執行前逐項檢查程式碼，並區分語法錯誤與可能的 silent analytical error。
4. 4分層驗證
   依 verification ladder 檢查 Data、Code、Method、Claim 四個層級，至少各留下一項具體驗證紀錄。
5. 5記錄 provenance
   完成一份 prompt/code provenance log，記錄環境、資料版本、prompt、AI 輸出與你的修改。
6. 6確認隱私與治理
   檢查是否有 sensitive_flag 為真的列，並說明你如何處理（排除、彙總或去識別）。
7. 7交付最終聲稱
   寫下一個有界限、與證據一致的結論，並說明誰需要在使用前核准這個結果。

• 一個清楚陳述的分析問題與對應決策
• 完整的 prompt / code provenance log
• 至少一項 code review 或 diff（AI 原始輸出與你修改後版本的差異）
• 依 verification ladder 四層各至少一項驗證證據
• 至少一項限制與一項隱私／治理判斷（是否有敏感列、如何處理）
• 一個經過人工核准的最終聲稱，以及核准者角色的說明

• 我的 prompt log，能不能讓別人看懂 AI 當時到底被要求做什麼？
• 我有沒有針對 Data、Code、Method、Claim 四層，各留下至少一項具體證據？
• 我有沒有誠實記錄哪些判斷仍需要業務端或主管核准？
• 如果現在被問「這個數字怎麼來的」，我能不能立刻找到答案？

重點: 能完成步驟不代表結果可信；本節的能力必須能被驗證、重做並清楚說明。