跳到主要內容

DS 302 實作中心

使用合成的受控分析沙盒,練習判斷何時真的需要 agent、檢視分析計畫、設計 tool contracts、解析 semantic metric、測試權限邊界、評估 golden questions、防禦 prompt injection,以及演練 verification harness。

資訊

DS 302 實作資料為合成教學資料,所有來源系統、batch 與數值皆為示例,不代表任何真實組織或個人。

注意

請只使用課程提供的合成檔案進行練習。除非獲得授權,請勿將機密組織資料、個人資料或敏感資訊貼入 AI 工具或練習環境;使用真實營運資料前請先確認所屬單位的規範。

下載實作檔案

受控分析沙盒(乾淨版)

DS302_Analytics_Package_Clean.csv

一份針對受控分析沙盒的 read-only 查詢紀錄:run_id, source_system, batch_id, event_time, ingested_at, entity_id, metric, value, schema_version。用於 Guided Lab。

下載

受控分析沙盒(練習版,含挑戰)

DS302_Analytics_Package_Practice.csv

欄位結構相同,但刻意設計了挑戰:晚到的事件、一個 schema drift 的值、一次重複的執行紀錄,以及至少一列違反 data contract 的資料。用於實作中心與 Independent Lab。

下載

資料字典(繁體中文)

DS302_Data_Dictionary_zh-TW.csv

分析沙盒的欄位型態、單位、粒度、允許值與資料來源說明(繁體中文)。

下載

資料字典(英文)

DS302_Data_Dictionary_en.csv

英文版資料字典;欄位與定義與中文版一致。

下載

Guided Lab 起始 Notebook(可驗證的 read-only agent)

DS302_Guided_Lab_Starter.ipynb

附有引導與待完成任務的起始 Notebook,練習規劃 → read-only 查詢 → 標示資料版本 → 驗證的流程。

Independent Lab 起始 Notebook / 範本

DS302_Independent_Lab_Starter.ipynb

Data Agent Architecture Canvas + Governed Prototype + Evaluation Pack 的起始 Notebook 與檢查清單範本。

實作任務

A:Agent vs. Workflow 判斷

針對一組範例需求,判斷哪些真的需要動態規劃的 agent,哪些用固定 dashboard 或 workflow 就已經足夠。

使用檔案: 受控分析沙盒(練習版,含挑戰)、資料字典(繁體中文)

步驟

  1. 閱讀三到五個針對分析沙盒提出的範例需求。
  2. 針對每一個,判斷這個需求是否真的多樣到需要動態規劃,還是固定檢視就已足夠。
  3. 對於你判定需要 agent 的需求,說明它需要什麼受控存取與驗證機制。
  4. 為每個判斷寫一句話的理由。

要完成的產出

  • 一份判斷表(需求、結論、理由)
  • 至少一個正確判定應交給固定 dashboard/workflow 而非 agent 的案例

B:分析計畫檢視

檢視一份刻意留白的分析計畫草稿,並把它改寫成每個必要元素都明確的版本。

使用檔案: 受控分析沙盒(練習版,含挑戰)、資料字典(繁體中文)

步驟

  1. 閱讀提供的模糊需求與不完整的計畫草稿。
  2. 指出實體、指標、篩選、期間、證據需求或 approval needs 中缺少了哪些。
  3. 把計畫改寫成每個元素都明確、並且根基於沙盒 schema 的版本。
  4. 說明最終答案必須附上什麼證據才算可信。

要完成的產出

  • 標出缺口的計畫檢視結果
  • 一份改寫後的完整分析計畫
  • 一份必要證據清單

C:Tool Contract 設計

針對這個沙盒設計一小組窄範圍、allowlisted 的 tool contracts。

使用檔案: 受控分析沙盒(練習版,含挑戰)、Guided Lab 起始 Notebook(可驗證的 read-only agent)

步驟

  1. 列出 agent 針對這個沙盒需要的能力(例如查詢 metric 彙總、發布報表)。
  2. 為每一項寫下工具名稱、明確的參數 schema,以及 read-only 或 write/action 的分類。
  3. 加上 allowlist,限制這個工具可以碰觸哪些來源系統或指標。
  4. 標出哪些工具在執行前需要人工核准。

要完成的產出

  • 一份 tool contract 表(名稱、schema、分類、allowlist)
  • 明確標示哪些工具需要核准的說明

D:Semantic Metric 解析

面對同一個指標的兩種互相衝突的隨手定義,把它們解析成一個 semantic layer 定義。

使用檔案: 受控分析沙盒(練習版,含挑戰)、資料字典(繁體中文)

步驟

  1. 閱讀兩段各自用不同方式計算「conversion_rate」的查詢片段。
  2. 找出這兩個定義究竟在範圍、篩選條件或單位的哪個地方產生分歧。
  3. 寫下一筆 semantic layer 條目:公式、單位、owner 與 grain。
  4. 說明當被問到一個尚未存在於 semantic layer 的指標時,agent 應該如何行動。

要完成的產出

  • 兩個衝突定義的比較
  • 一筆已解析的 semantic layer 指標條目
  • 一條針對無法解析/未知指標的明確規則

E:權限邊界測試

測試一個範例 agent 工具是否正確地為特定角色強制執行 row/column security。

使用檔案: 受控分析沙盒(練習版,含挑戰)、Guided Lab 起始 Notebook(可驗證的 read-only agent)

步驟

  1. 選定一個角色(例如 support_analyst),列出它應該被允許看到的欄位/資料列。
  2. 以該角色執行範例查詢工具,檢查它是否回傳了邊界以外的內容。
  3. 如果外洩了未授權的欄位或資料列,精確記錄外洩了什麼、為什麼會發生。
  4. 提出具體的修正方式(欄位篩選、資料列篩選,或 deny-by-default 規則)來補上這個缺口。

要完成的產出

  • 該角色允許的欄位/資料列清單
  • 邊界測試結果的紀錄
  • 針對發現的外洩提出的具體修正方式

F:Golden Question 評估

建立一組小型的 golden question 集合,並用它檢查一個範例 agent 回應是否有 regression。

使用檔案: 受控分析沙盒(練習版,含挑戰)、Independent Lab 起始 Notebook / 範本

步驟

  1. 寫出至少三個 golden question,涵蓋一個基準案例、一個模糊需求,以及一個 schema drift 案例。
  2. 為每一個寫下預期的證據或預期行為。
  3. 把一個範例 agent 答案跟每個預期比對,標記通過或失敗。
  4. 針對任何失敗,判斷這是規劃、工具,還是 semantic layer 的問題。

要完成的產出

  • 附有預期證據/行為的 golden question 集合
  • 通過/失敗的結果
  • 針對任何失敗的根因說明

G:Prompt Injection 防禦

找出隱藏在檢索資料中的指令,並驗證 agent 是否正確地把它當成不可信內容處理。

使用檔案: 受控分析沙盒(練習版,含挑戰)、Independent Lab 起始 Notebook / 範本

步驟

  1. 閱讀提供的範例文件,裡面嵌入了一段針對 agent 的指令。
  2. 精確指出哪一段文字是被注入的指令,哪一段是正當的資料內容。
  3. 說明 agent 正確的行為(拒絕/忽略嵌入的指令;持續遵守系統政策)。
  4. 提出一條偵測規則,能自動標記這類嵌入指令。

要完成的產出

  • 找出的注入指令
  • 正確 agent 行為的說明
  • 一條提出的偵測規則

H:Verification Harness 演練

在一個範例答案呈現給使用者之前,用 verification harness 檢查清單跑一遍。

使用檔案: 受控分析沙盒(練習版,含挑戰)、Guided Lab 起始 Notebook(可驗證的 read-only agent)

步驟

  1. 取得一個範例答案與它背後的查詢結果。
  2. 檢查 query scope、row counts、一個獨立的對帳總計,以及聲稱執行過的程式是否真的執行過。
  3. 決定這個答案應該被保留不發布、修改,還是可以呈現,並說明理由。
  4. 寫出最終答案,附上引用的資料版本與明確標示的信心/不確定性。

要完成的產出

  • 一份完成的驗證檢查清單
  • 附理由的保留/修改/呈現決策
  • 附資料版本與信心程度的最終答案

完成標記只記錄在這個瀏覽器(加入梯次後會同步)。實作成果請保存在你自己的檔案或 Notebook。

同步我的進度加入梯次後,進度可跨裝置保存,講師也能看到

資訊

加入後,你已完成的模組編號會連同「學員代碼」傳送給講師,講師可以看到你的進度。請使用講師提供的代碼,不要輸入姓名、公司機密或其他個資。進度資料與該梯次的其他資料一起保存。

接下來做什麼?