Prompt 寫得很好,答案卻是錯的
在 AI 101 你學會把任務說清楚。但很多人遇到這樣的情況:指令明明清楚、格式也講明白了,AI 的回答仍然不能用。這時候再把 Prompt 改得更長,往往沒有幫助。
請幫我分析這份合約的主要風險。
這句話本身沒有問題。但 AI 要分析得準,還需要知道:
- 合約全文,而不只是幾個段落
- 公司對風險的判斷標準
- 適用的法律與過去的版本
- 這位客戶的背景
注意
AI 102 · 模組 1
為什麼 Prompt 寫得很好,AI 仍然可能得到錯誤答案?
開始第一節在 AI 101 你學會把任務說清楚。但很多人遇到這樣的情況:指令明明清楚、格式也講明白了,AI 的回答仍然不能用。這時候再把 Prompt 改得更長,往往沒有幫助。
請幫我分析這份合約的主要風險。
這句話本身沒有問題。但 AI 要分析得準,還需要知道:
注意
Prompt(提示詞)主要描述你要 AI「怎麼做事」。Context(上下文)則是 AI 在執行任務時「可以使用的資訊」。兩者分工不同,缺一不可。
所以,當答案不理想時,除了問「Prompt 要怎麼改」,也要問:「AI 手上有沒有它需要的資訊?」
團隊抱怨 AI 分析合約風險的結果很空泛。Prompt 已經寫明了任務、格式與限制,但你發現對話中只貼了合約的封面與目錄。最先該做什麼?
Context Engineering(上下文工程)是有意識地決定:在完成某項任務時,AI 應該看到哪些資訊、從哪裡取得、在什麼時候提供。它不是把資料全部塞給 AI。
完成
這三個問題會貫穿整門課。AI 可以協助整理與分析,但選擇哪些資訊、判斷來源是否可信、決定是否採用結果,仍然是人的責任。
同一位行政人員問 AI 同一個問題,只是每次提供的 Context 不同。以下資料皆為模擬,僅供示範。
請幫我判斷這筆採購是否符合政策:辦公室筆電 8 台,總價 24 萬元,只取得一家報價。
| 情況 | 提供的 Context | AI 可能的回答 | 可信程度 |
|---|---|---|---|
| A | 沒有提供任何政策文件 | 依一般常識判斷「應該符合」,並說明採購通常需要核准 | 沒有依據,屬於推測 |
| B | 兩年前的舊版政策(單筆 3 萬元以上需比價,未要求三家) | 認為取得一家報價即可,只需部門主管核准 | 有依據,但依據已過期 |
| C | 最新正式政策(單筆 5 萬元以上需三家比價) | 指出不符合,需補足三家比價才能送審 | 有依據,來源與版本明確 |
討論看看:
資訊
沒有給任何政策文件時,AI 很肯定地回答「這筆採購符合政策」。你該如何看待這個答案?
下面是 8 個模擬案例。請先為每個案例選擇你認為最主要的原因,再和同學或講師討論。有些案例可能有不只一種合理的解讀,重點是說出你的理由。
| 案例 | 發生了什麼事 | 想一想 |
|---|---|---|
| 1 | 指令只寫「幫我整理一下」,AI 交出三頁流水帳 | 使用者說清楚要什麼了嗎? |
| 2 | 指令明確要求比較兩家供應商,但對話中只貼了其中一家的報價 | AI 拿到比較所需的資料了嗎? |
| 3 | AI 引用了已停用的差旅辦法,指令本身沒有問題 | 資料是哪個版本?誰負責更新? |
| 4 | 指令要求「用表格列出風險」,資料完整,AI 卻寫成長篇文字 | 指令有沒有被清楚執行? |
| 5 | 既沒有附資料,指令也很模糊,AI 的回答不著邊際 | 兩個方面都需要補強嗎? |
| 6 | AI 依最新政策給出合理建議,但這個案件涉及是否對長期合作廠商破例 | AI 能替人決定這件事嗎? |
| 7 | 一次貼上 40 頁附件,只問一個小問題,AI 漏看第 27 頁的關鍵條款 | 資料是不是太多、太雜? |
| 8 | AI 的摘要寫「客戶已同意」,但原始郵件只寫了「我們再研究看看」 | 摘要可信嗎?該由誰回頭核對原文? |
AI 依最新版正式政策,正確整理出某項採購的規定。但這次是長期合作廠商的緊急採購,是否破例並不在政策條文之中。這比較像哪一種情況?
完成
下一個單元會把 Context 拆開來看:AI 在完成任務時,可能需要哪些類型的資訊?
同事說:「只要把所有相關檔案都上傳給 AI,就不會再有 Context 問題。」下列哪一項回應最符合本單元的觀念?