在 AI 協助下完成可信的 ESG 分析

40 分鐘

ESG 資料品質與清理

本課使用 DS101_ESG_Company_Data_Practice.csv。這是一份模擬的教學資料，刻意保留了一些真實工作中常見的資料品質問題。請先不要急著計算，而是像審閱一份別人交來的報表一樣，先檢查：有沒有空白？有沒有重複？數字欄位真的是數字嗎？單位一致嗎？有沒有超出合理範圍或特別突出的值？公司名稱寫法一致嗎？

import pandas as pd

df = pd.read_csv("DS101_ESG_Company_Data_Practice.csv")

# 每個欄位有幾個缺失值
df.isna().sum()

# 有幾列與前面某一列完全相同
df.duplicated().sum()

# 每個欄位被讀成什麼資料型態
df.dtypes

• 缺失值不等於零：空白代表「不知道」，0 代表「確定沒有」，兩者意義完全不同。
• 重複紀錄不一定是真的重複：先檢查 company_id 與 year 這組鍵值，再判斷是重複輸入還是兩筆不同的紀錄。
• 數字欄位可能被讀成文字：例如數字裡有千分位逗號，整欄就會變成 object，無法直接計算。
• 單位不一致會讓比較失效：同一欄若混用不同單位，數字大小就不能直接比較。
• 異常值是需要調查的訊號，不是自動刪除的對象：它可能是錯誤，也可能是真實發生的變化。
• 看起來合理的數值仍可能是錯的：落在正常範圍內，不代表已經和來源核對過。

# 同一個 company_id 與 year 是否出現超過一次
print(df[df.duplicated(subset=["company_id", "year"], keep=False)])

# 公司名稱有沒有寫法不一致（例如多了空白）
print(df["company_name"].unique())

# 哪些值無法被讀成數字（另存成新變數，不覆寫原始欄位）
revenue_num = pd.to_numeric(df["revenue_m_twd"], errors="coerce")
print(df.loc[revenue_num.isna() & df["revenue_m_twd"].notna(), ["company_id", "year", "revenue_m_twd"]])

# 百分比欄位是否超出 0 到 100
print(df[(df["renewable_energy_pct"] < 0) | (df["renewable_energy_pct"] > 100)])

# 用摘要統計找出特別突出的值，再回頭看同一家公司的前後年度
df.describe()

好的清理習慣是：保留原始欄位，把清理後的結果放在新欄位或新的 DataFrame；每一個修改都寫進決策紀錄；無法確認的地方就維持缺失，並在結論的限制中說出來。

• 先看整體：df.shape 與 df.dtypes，確認資料大小與型態符合預期
• 再看缺失：df.isna().sum()，知道哪些欄位有空白
• 再看重複：df.duplicated(subset=["company_id","year"]).sum()，確認鍵值沒有重複
• 最後看範圍與極端值：df.describe() 與欄位層級的範圍檢查，找出需要查證的數字
• 建議依照這個順序，而不是看到哪個問題就先處理哪個，否則容易漏掉前面的問題

重點: 清理資料不是讓資料變漂亮，而是讓每一個修改都可解釋、可追溯。

40 分鐘

ESG 指標計算與 groupby

Derived column 是用既有欄位算出來的新欄位。本課用三個簡化的教學公式：Scope 1+2 排放量（絕對量）、排放強度（每新臺幣百萬元營收的 tCO2e），以及年增減百分比。絕對排放量回答「排了多少」，排放強度回答「相對於營收規模排了多少」，兩者回答的是不同的問題。以下範例使用已清理的 DS101_ESG_Company_Data_Clean.csv。

import pandas as pd

df = pd.read_csv("DS101_ESG_Company_Data_Clean.csv")

# Scope 1+2 排放量（tCO2e）
df["scope12_tco2e"] = df["scope1_tco2e"] + df["scope2_tco2e"]
# 排放強度（tCO2e / 新臺幣百萬元營收）
df["scope12_intensity"] = df["scope12_tco2e"] / df["revenue_m_twd"]

summary = (
    df.groupby("company_name", as_index=False)
      .agg(
          avg_scope12=("scope12_tco2e", "mean"),
          avg_intensity=("scope12_intensity", "mean")
      )
)

注意：上面的 summary 每家公司只剩一列，年度這個維度已經被平均掉了。它可以回答「2020 到 2025 年的平均水準」，但不能回答「逐年怎麼變化」。要看逐年變化，就要保留公司與年度的粒度，並先依公司與年度排序，再計算年增減。

df = df.sort_values(["company_name", "year"])
df["scope12_yoy_pct"] = (
    df.groupby("company_name")["scope12_tco2e"]
      .pct_change() * 100
)

• 分母不是 0，而且單位符合預期嗎？（revenue_m_twd 是新臺幣百萬元）
• 缺失值是不是被悄悄排除了？（mean() 預設會略過 NaN，平均可能只來自部分年度）
• 分組方式有保留你想要的分析粒度嗎？（依公司、依年度，還是公司加年度？）
• 跨年度的平均值，對這個問題真的有意義嗎？
• 前一年的數值很小時，百分比變化是不是會變得不穩定、看起來特別誇張？

重點: 公式正確只是第一步；還要確認分母、分組、缺值與分析粒度。

35 分鐘

視覺化：從數字到證據

• 座標軸要有名稱與單位，例如「tCO2e per NT$ million revenue」。
• 長條圖通常應從 0 開始；截斷的座標軸會讓小差距看起來很大。
• 即使是折線圖，也要留意座標軸範圍是否讓變化被誇大或被壓平。
• 類別或顏色太多會讓圖難以解讀；必要時拆成多張圖或只呈現與問題相關的類別。
• 標題描述圖上呈現了什麼，而不是宣稱它代表什麼。

import matplotlib.pyplot as plt

for company, g in df.groupby("company_name"):
    plt.plot(g["year"], g["scope12_intensity"], marker="o", label=company)

plt.xlabel("Year")
plt.ylabel("tCO2e per NT$ million revenue")
plt.title("Scope 1+2 emissions intensity by company")
plt.legend()
plt.show()

1. 1Fact（事實）
   圖上直接看得到的內容。例如：某家公司的排放強度在 2020 到 2025 年間大致下降。
2. 2Analysis（分析）
   合理但需要說明依據的解讀。例如：下降可能與營收成長較快有關，因為排放強度的分母是營收。
3. 3Unknown（未知）
   這份資料無法確立的事情。例如：下降是否來自減碳措施、盤查邊界是否改變，這份資料都無法回答。

重點: 圖表是證據的表達方式，不是把推測變成事實的工具。

30 分鐘

AI 輔助分析與驗證

文字說明：流程從人提出分析問題開始；AI 根據問題提出程式碼；Python 實際執行並產生結果；接著由人驗證資料、方法與輸出是否正確；最後由人撰寫並溝通結論。AI 只負責中間「提出程式碼」這一步，問題的定義、驗證與結論都由人負責。

Task:
Use pandas to calculate Scope 1+2 emissions intensity by company and year.

Schema:
company_name: text
year: integer
revenue_m_twd: NT$ million
scope1_tco2e: tCO2e
scope2_tco2e: tCO2e

Rules:
- Do not invent columns.
- Do not replace missing emissions with zero.
- Show the formula explicitly.
- Preserve company-year granularity.
- Explain each transformation.
- Include verification checks for units, missing values, and row counts.

1. 1Schema check（欄位檢查）
   程式碼引用的每一個欄位都存在於資料中。
2. 2Formula check（公式檢查）
   計算方式符合你想要的指標定義。
3. 3Unit check（單位檢查）
   單位彼此相容，而且有清楚標示。
4. 4Output check（輸出檢查）
   至少手動驗算一列結果。
5. 5Claim check（結論檢查）
   文字敘述沒有超出證據能支持的範圍。

# AI 產生的程式碼：有問題
df = df.fillna(0)
df["intensity"] = df["total_emissions"] / df["revenue_m_twd"]
print("The company with the lowest intensity is the best company.")

# 合併兩個資料來源後
merged = pd.merge(emissions_2024, emissions_2024_restated, on="company_id", how="outer")
merged["scope1_tco2e"] = merged["scope1_tco2e"].sum()  # 有問題：同一家公司出現兩次

# year 欄位被讀成文字（例如原始資料裡有一格寫成 "2021 年"）
merged["year"] = pd.to_numeric(merged["year"], errors="coerce")  # 有問題：無法轉換的值會悄悄變成缺失
print(merged["year"].isna().sum())  # 驗證：轉換後有幾筆變成缺失，而不是假設全部成功

• 捏造不存在的欄位，例如引用資料中沒有的 total_emissions。
• 沒有任何理由就把 NaN 填成 0。
• 混用不同的營收單位，例如把新臺幣元與新臺幣百萬元放在同一個計算中。
• 計算彙總比率時用錯分母，例如用某一年的營收去除多個年度加總的排放量。
• 從相關性寫出「因為……所以」或「造成」。
• 在沒有定義標準、邊界也不可比的情況下，宣稱某家公司「最好」。

重點: AI 可以加速程式撰寫，但不能替你負責資料定義、公式與結論。

35 分鐘

Independent Lab：可信分析整合

1. 11. Question（分析問題）
   用一句話寫出你要回答的問題。
2. 22. Data source（資料來源）
   列出檔案名稱與來源說明。
3. 33. Grain（資料粒度）
   寫出一列資料代表什麼。
4. 44. Units（單位）
   列出實際用到的每個欄位的單位。
5. 55. Cleaning decisions（清理決策）
   列出發現的資料品質問題，並用決策紀錄說明每個決定、理由與必須維持未知的部分。
6. 66. Analysis method（分析方法）
   說明你用什麼方法、依什麼步驟完成分析。
7. 77. Derived metrics（衍生指標）
   寫出公式與單位，例如 scope12_intensity 的分子與分母。
8. 88. Visualization（視覺化）
   至少一張圖表，有座標軸名稱、單位與描述性的標題。
9. 99. Verification checks（驗證）
   選一列，用計算機或手算核對程式的結果，並記錄你做了哪些檢查。
10. 1010. AI assistance record（AI 協助紀錄）
    如果使用了 AI，說明它協助了什麼，以及你自己驗證了什麼。
11. 1111. Human review（人工審閱）
    說明你（或同儕／教師）對這份分析做了什麼審閱。
12. 1212. Limitations（限制）
    三個證據陳述（Fact）、一個解讀陳述（Analysis），以及至少兩項限制或未知（Unknown）。
13. 1313. Reproduction instructions（重現步驟）
    寫出另一個人依這些步驟重現你分析所需的資訊。

• 只算出一個指標的數字，卻沒有寫出公式的分子與分母與單位
• 圖表畫出來了，卻沒有座標軸標籤或標題只是檔名
• 找到一個異常值就直接刪除，沒有先查證也沒有寫進決策紀錄
• 結論裡出現「因為……所以」，但證據只到「觀察到同時發生」
• 忘記寫限制或未知事項，讓結論看起來比資料能支持的更確定

• 前往 DS 101 實作中心：Independent Lab 任務說明
• 預覽下載練習資料 DS101_ESG_Company_Data_Practice.csv
• 下載 Independent Lab 起始 Notebook
• 前往應用頁面：完成你的 ESG Data Analysis Use Case 與 Exit Ticket

重點: 可重現、可驗證、可解釋，才是一份可以帶進工作情境的資料分析。