跳到主要內容
NTPU AI Learn

AI 301 · 模組 7

Conflict Resolution、Human Oversight 與 Evaluation

當 Agents 不同意、重複工作或互相衝突時，系統怎麼辦？

開始第一節
  • 時長55 分鐘
  • 難度架構
  • 先備知識建議先完成 AI 202 與本課程第 1 至 6 單元
已完成 0 / 6
同步我的進度加入梯次後，進度可跨裝置保存，講師也能看到

資訊

加入後，你已完成的模組編號會連同「學員代碼」傳送給講師，講師可以看到你的進度。請使用講師提供的代碼，不要輸入姓名、公司機密或其他個資。進度資料與該梯次的其他資料一起保存。

學習目標

  • 辨識 Multi-Agent 衝突的主要類型：矛盾輸出、重複工作，以及優先順序、目標、權責與證據衝突
  • 依序走過衝突解決流程：政策、證據、Supervisor 或 Evaluator Agent，最後是 Human Escalation
  • 區分 Tie-breaking、Arbitration、Consensus 概念與 Supervisor Resolution
  • 設計 Human Oversight：審核、核准、Override 與 Escalation 的位置
  • 選擇能顯示協作是否真的有幫助的 Multi-Agent Evaluation 指標
  • 完成活動 7：辨識衝突類型、解決路徑與是否需要人工升級

衝突與解決方式

10 分鐘

Agents 不同意時：衝突的類型

多個 Agent 共同追求一個目標時，難免會有不同意、彼此重複，或往不同方向拉扯的時候。衝突不代表設計壞掉，而是設計必須預先考慮的事，因為沒處理的衝突不是讓系統停擺，就是被偶然決定。

核心問題

當 Agents 不同意、重複工作或產生衝突的結果時，系統怎麼辦？

Multi-Agent 常見衝突類型（模擬範例）
衝突樣貌模擬範例
矛盾輸出兩個 Agent 回傳無法同時為真的答案一個 Agent 說政策允許這項申請，另一個說不允許
重複工作兩個 Agent 做了同一件任務Research Agent 與 Analysis Agent 都去抓同一批資料來源
優先順序衝突Agents 對先做什麼意見不同一個 Agent 要求速度，另一個要求先完整檢查
目標衝突Agents 追求不同的目標節省成本的 Agent 與把關品質的 Agent 想要相反的東西
權責衝突Agents 都主張、或都不願承擔某項決定兩個 Agent 都認為自己擁有最終核准權
證據衝突Agents 引用不同或互相矛盾的來源一個依據去年的文件，一個依據今年的文件

資訊

Human、AI、Human：人定義目標、Roles 與衝突如何解決，Agents 在這些規則內運作，人審核規則無法解決的案例並負起責任。

重點: 在設計如何解決衝突之前，先說出你的 Agent Team 可能出現哪些衝突類型。

10 分鐘

衝突解決流程

好的設計會依固定順序解決衝突，從最便宜、最可預期的方法，走到最昂貴的方法。多數衝突應在前段就解決，只有困難的才交給人。

衝突解決流程
  1. 偵測到衝突
  2. 政策能解決嗎？若能，套用規則
  3. 若不能：證據能解決嗎？若能，比較證據
  4. 若不能：有 Supervisor 或 Evaluator Agent 可以裁決嗎？若有，由它解決
  5. 若沒有：Human Escalation

資訊

圖的文字版：偵測到衝突後，先問政策或規則能否解決，若能就套用規則。若不能，再問證據能否解決，若能就比較證據。若不能，再問 Supervisor 或 Evaluator Agent 是否可以裁決，若可以就由它解決。以上都不行時，升級給人。
四個步驟
步驟依據模擬範例
套用規則書面政策或優先順序合規發現一律優先於速度
比較證據證據的品質、來源與新舊程度較新的官方文件勝過較舊的摘要
Supervisor / Evaluator被授權裁決的角色Supervisor 依明訂標準在兩份草稿間擇一
Human Escalation有權限的人審核者裁決一個高影響力的分歧
自我檢測

兩個 Agent 給出矛盾的答案，而書面政策已經規定哪個來源優先。系統應該先做什麼？

兩個 Agent 給出矛盾的答案，而書面政策已經規定哪個來源優先。系統應該先做什麼？

重點: 依序解決：政策、證據、Supervisor 或 Evaluator，最後才是 Human Escalation。

9 分鐘

Tie-breaking、Arbitration、Consensus 與 Supervisor Resolution

有幾種做法可以結束衝突。它們是不同的工具，混在一起會讓「誰來決定」變得不清楚。

結束衝突的四種方式
概念運作方式適用時機
Tie-breaking事先約定的規則選出一個選項兩個選項同樣有效，只需要快速且可預期的答案
Arbitration中立的一方（Evaluator Agent 或人）權衡雙方並裁決Agents 提出互相競爭的主張，且沒有明顯對錯
Consensus 概念Agents 逐步收斂到共同答案，例如比較各自看法直到同意風險低，且取得共識的成本不高
Supervisor Resolution視野較廣的 Supervisor 直接決定已有一個中央角色負責最終結果

Agents 自己解決

  • Consensus 不需要額外的角色
  • 可能持續很久
  • 最適合低風險的分歧

由指定角色解決

  • 由 Supervisor 或 Evaluator 裁決
  • 較快，也較容易稽核
  • 最適合有明確負責人或風險較高的情況

注意

沒有上限的 Consensus 可能變成無止盡的討論，這正是本課程提醒的協調成本。任何取得共識的流程都要設定上限，並把達到上限視為升級的理由。
自我檢測

兩個 Agent 對一個高影響力的決定不斷交換論點，卻沒有收斂。最好的設計回應是什麼？

兩個 Agent 對一個高影響力的決定不斷交換論點，卻沒有收斂。最好的設計回應是什麼？

重點: 有意識地選擇結束衝突的方式：勢均力敵用 Tie-breaking、競爭主張用 Arbitration、低風險才用 Consensus，且每次交換都要有上限。

Human Oversight

9 分鐘

Human Oversight 與 Escalation

Human-in-the-Loop 協調，是事先決定人在哪些地方參與。這是設計選擇，不是最後手段。四種監督形式涵蓋多數需求。

Human Oversight 的四種形式
形式人做什麼模擬範例
審核（Review）在結果被使用前檢查審核者閱讀由多個 Agent 起草的報告
核准（Approval）在行動前明確說「可以」任何會讓組織承擔義務的事項都先由主管核准
Override隨時暫停、改變方向或取消系統團隊走錯方向時，由人叫停
Escalation接手 Agents 無法解決的案例未解決的權責衝突交給指定的負責人
  • 當衝突影響力高、政策、證據與指定裁決者都無法解決，或已達交換上限時，就升級
  • 當目標、權責或風險不清楚時，就升級
  • 一律告訴接手的人：爭議是什麼、有哪些選項、證據為何，以及需要他做什麼決定
  • 指名誰接收升級案件，避免它掉在兩個 Agent 之間

注意

不要把系統設計成高影響力的輸出不經審核就被接受。Human Oversight 必須容易使用，否則會被略過。
自我檢測

一份好的升級給人的內容，應該包含什麼？

一份好的升級給人的內容，應該包含什麼？

重點: 事先設計審核、核准、Override 與 Escalation，並指定負責人與清楚的摘要。

Multi-Agent Evaluation

9 分鐘

評估 Multi-Agent System

多加 Agent 會增加成本與協調負擔。Evaluation 要問的是它們值不值得：與較簡單的設計相比，協作是否讓結果更好？

Multi-Agent Evaluation 指標
指標告訴你什麼
任務成功率團隊是否達成共同目標
角色遵守度（Role adherence）每個 Agent 是否留在自己的角色與界線內
委派品質工作是否帶著正確的 Context 交給正確的 Agent
溝通效率訊息是有用，還是只是雜訊
重複工作率兩個 Agent 做同一件任務的頻率
Handoff 品質Handoff 是否完整而清楚
衝突率Agents 不同意或互相衝突的頻率
證據品質結果是否有良好的來源支持
延遲（Latency）整個團隊花了多久
成本協作整體花了多少
人工升級頻率需要人介入的頻率

要把指標放在一起看。升級率很低，可能代表團隊運作良好，也可能代表問題被藏起來。衝突率高又伴隨重複工作率高，往往指向角色界線不清楚。

資訊

本課程的界線：本單元只在設計層面選擇要衡量什麼。建置監控基礎設施與 production observability 屬於 AI 302，本課程不教。
自我檢測

某個團隊的重複工作率很高，衝突也很頻繁。最可能要先檢查的設計問題是哪一個？

某個團隊的重複工作率很高，衝突也很頻繁。最可能要先檢查的設計問題是哪一個？

重點: 衡量協作是否勝過較簡單的設計，並把指標放在一起解讀。

實作與下一步

8 分鐘

活動 7：Resolve the Multi-Agent Conflict 與你的政策

你會拿到一個情境，其中 Agents 在責任、證據或決策上產生衝突。針對每個情境，判斷系統應如何處理。

  1. 辨識衝突類型
    是矛盾輸出、重複工作，或優先順序、目標、權責、證據衝突？
  2. 選擇解決路徑
    依序考慮政策、證據、Supervisor 或 Evaluator，最後是 Human Escalation。
  3. 決定人的角色
    是否需要審核、核准或升級？由誰負責？
  4. 說明理由
    指出衝突、路徑與支持你選擇的界線。

完成

本單元的成果物：Multi-Agent Evaluation & Escalation Policy。它寫明你預期的衝突類型、各自的解決路徑、你要觀察的指標，以及何時由人介入。

注意

隱私提醒：請使用模擬或已公開的情境。請勿輸入公司機密、客戶個資或未經授權的敏感資訊。

在單元 8，你會把這份政策放進 Multi-Agent Architecture Canvas 的 Conflict Resolution、Human Oversight 與 Evaluation 區塊。

自我檢測

兩個 Agent 都主張自己擁有某個高影響力行動的最終核准權，而且沒有書面規則說明誰負責。最好的處理方式是什麼？

兩個 Agent 都主張自己擁有某個高影響力行動的最終核准權，而且沒有書面規則說明誰負責。最好的處理方式是什麼？

重點: 辨識衝突、選擇路徑、決定人的角色，並記錄在你的 Evaluation & Escalation Policy。

另存 PDF

接下來做什麼？