1. 緒論
ChatGPT等尖端生成式AI聊天機器人的出現,為教育領域(特別是語言學習)帶來了機遇與挑戰。本文探討英語為外語的中學生,作為新手使用者,如何運用提示工程——即為AI設計指令的技能——來完成一項寫作任務。核心問題在於,與ChatGPT進行有效協作並非直覺性的;它需要一種後天習得的技能,而許多學生缺乏此技能,導致了低效的試錯過程。本研究旨在描繪學生採取的各種路徑,分析其提示的內容、品質與演變,為將AI素養融入EFL寫作課堂的教學策略提供參考。
2. 研究方法
本研究採用質性個案研究法。資料收集自香港中學EFL學生首次使用ChatGPT及類似尖端聊天機器人完成標準化寫作任務時的iPad螢幕錄影。分析重點在於詳細檢視學生生成的提示、其序列(路徑)以及相應的AI輸出。根據互動模式、提示的複雜程度及策略方法,本研究識別出四種不同的原型路徑。
3. 個案研究:四種提示工程路徑
分析揭示了四種主要的互動模式,代表了不同程度的投入與策略性思維。
3.1. 路徑 A:極簡主義者
此路徑的學生使用極少且通常模糊的提示(例如:「寫一篇關於污染的作文」)。他們表現出較低的後設認知投入,幾乎不做修改或具體說明便接受AI的首次輸出。此路徑突顯了對AI能力的基本理解不足,以及需要精確指令的必要性。
3.2. 路徑 B:迭代精煉者
這些學生從一個基本提示開始,但會進行連續的精煉過程。根據AI的初始輸出,他們會發出後續指令,如「寫長一點」、「用更簡單的詞」或「加一個例子」。此路徑顯示了對人機協作互動性與迭代性質的初步理解。
3.3. 路徑 C:結構化規劃者
這是一種更進階的路徑,學生從一開始就嘗試為AI結構化任務。提示包含角色扮演(「你是一位寫作導師」)、逐步指令(「首先,給我三個想法。然後,為第一個想法擬定大綱」)以及明確限制(「用過去式寫150字」)等元素。這種方法展現了策略性規劃,以及對如何透過語言「編程」AI有更清晰的模型。
3.4. 路徑 D:探索性測試者
這些學生使用大量多樣化、通常是實驗性的提示。他們用創意、離題或複雜的請求來測試AI的邊界,以了解其功能,然後再將其應用於核心任務。此路徑反映了一種探索性、精通科技的心態,但未必總能有效率地達成任務目標。
4. 結果與分析
4.1. 提示品質與數量模式
觀察到提示的複雜程度與最終輸出品質之間存在明顯關聯。路徑 C(結構化規劃者)始終產出最連貫、最符合任務要求且語言豐富的文本。路徑 A(極簡主義者)的輸出則較為通用且經常偏離目標。僅提示的數量(路徑 D 較高)並不能保證品質;策略性的品質(路徑 C)才是關鍵區別因素。
提示互動摘要
- 路徑 A(極簡主義者): 平均 2-3 個提示;具體性低。
- 路徑 B(迭代精煉者): 平均 5-8 個提示;反應式精煉。
- 路徑 C(結構化規劃者): 平均 4-6 個提示;高度預先規劃。
- 路徑 D(探索性測試者): 平均 10+ 個提示;多樣性高,相關性不一。
4.2. 對寫作產出的影響
最終的寫作成果差異顯著。結構化的提示能產出更符合任務要求、使用更恰當詞彙且組織更清晰的文本。極簡主義的提示則導致文本雖然文法正確,但缺乏深度與個人化,類似於通用的網路內容。
5. 討論:對AI素養教育的啟示
本研究強調,有效使用ChatGPT是一項後天習得的技能,而非與生俱來的能力。新手普遍採用極簡主義和低效的迭代路徑,顯示當前教育存在關鍵缺口。作者主張應將明確的提示工程教育融入EFL課程。這將使學生超越試錯階段,賦予他們制定清晰指令、指派角色、指定格式及迭代精煉輸出的框架——將AI從一個黑箱預言機轉變為協作工具。
關鍵見解
- 提示工程是AI時代不可或缺的新型數位素養。
- 學生使用AI的方式具有異質性,需要差異化教學。
- 指令(提示)的品質直接決定了AI輔助輸出的品質。
- 若缺乏指導,學生可能養成與AI互動的被動或低效習慣。
6. 技術框架與分析
從技術角度來看,提示工程與底層語言模型的機率函數相互作用。一個精心設計的提示 $P$ 能引導模型 $M$ 在給定上下文 $C$ 下,從其輸出分佈 $D$ 中採樣出一個更受約束且更理想的區域。此過程可抽象地表示為最大化期望輸出序列 $O$ 的條件機率:
$O^* = \arg\max_{O} P(O | C, P, M)$
其中,模糊的提示會增加 $D$ 的熵,導致通用輸出;而帶有限制條件(角色、格式、風格)的具體提示則會降低熵,引導 $M$ 朝向更精準的 $O^*$。學生的路徑有效地代表了透過自然語言指令來操控此條件機率的不同策略。
分析框架範例
情境: 一名學生希望ChatGPT協助撰寫一段關於回收的勸說性段落。
- 弱提示(高熵):「寫關於回收。」
分析: 模型受到的約束極少,很可能產生廣泛、百科全書式的概述。 - 強提示(低熵):「扮演一位環保倡議者。撰寫一段針對青少年、旨在說服他們回收寶特瓶的80字勸說性段落。使用直接且緊迫的語氣,並包含一項統計數據。」
分析: 此提示明確指定了角色(倡議者)、受眾(青少年)、目標(說服)、內容焦點(寶特瓶)、長度(80字)、語氣(直接、緊迫)和元素(統計數據)。它大幅縮小了模型的輸出分佈。
7. 未來應用與研究方向
研究結果為未來工作開闢了多個方向:
- 自適應提示輔導系統: 開發AI驅動的輔導系統,分析學生的提示並提供即時回饋以改進提示(例如:「嘗試指定你的受眾」)。
- 縱向研究: 追蹤學生在有無正式教學的情況下,其提示工程技能隨時間的演變。
- 跨文化與語言比較: 調查提示工程策略在不同語言和文化教育背景下是否存在差異。
- 與寫作教學法的整合: 研究如何將提示工程框架融入現有的寫作過程模型(寫前、起草、修改)。
- 倫理與批判性層面: 將AI素養從效率層面擴展至包含對AI輸出的批判性評估、偏見檢測及倫理使用。
8. 參考文獻
- Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscript in preparation.
- Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
- Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
- OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
- Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
- The Stanford Center for AI Safety. (n.d.). AI Literacy. Retrieved from https://aisafety.stanford.edu/ai-literacy
分析師觀點:解構提示工程的必要性
核心見解: 這項研究不僅關乎學生與ChatGPT;它更是後ChatGPT時代人機互動基本挑戰的一個縮影。核心見解是:「提示」就是新的程式設計。四種路徑(極簡主義者、迭代精煉者、結構化規劃者、探索性測試者)不僅僅是學習風格;它們是使用者原型的雛形,將定義AI增強型勞動力中的生產力與創造力差距。本文正確地指出,若缺乏結構化教育,大多數使用者將預設採用低效的極簡主義或試錯迭代路徑,從而讓GPT-4等工具(如其技術報告所述)的龐大潛力無法發揮。
邏輯流程與優勢: 本文的優勢在於其紮實的實證方法。透過使用螢幕錄影,它捕捉了新手未經修飾的真實掙扎。這將論述從AI素養的理論框架(如Long & Magerko所提出的)推進到可觀察的實踐層面。將結構化規劃者識別為高效能路徑至關重要。它驗證了產業界的假設:有效的提示類似於一份規格文件——清晰、有約束力且情境化。這與關於大型語言模型如何作為由條件機率分佈引導的「隨機鸚鵡」的研究相符;一個精確的提示在數學上縮小了輸出空間,正如Zhao等人的綜合性調查所討論的。
缺陷與盲點: 本研究的主要缺陷在於其範圍有限——僅針對首次使用者進行單一任務。它未能顯示探索性測試者(可說是展現了最高的內在好奇心與系統探索能力)是否可能隨著時間發展成為最熟練的使用者。此外,它迴避了關鍵的倫理與批判性素養層面。一名學生可能是一位出色的結構化規劃者,能使用ChatGPT產出完美無瑕、具說服力的文章,但對輸出中的偏見、事實錯誤或缺乏原創思想完全不加批判。正如史丹佛AI安全中心等機構所強調的,真正的AI素養必須包含評估,而不僅僅是生成。
可行動的見解: 對於教育工作者和政策制定者而言,結論是明確的:提示工程必須從現在起成為數位素養課程的核心評估組件。 這不是可選項。本研究提供了一個藍圖:引導學生從被動的AI輸出消費者(極簡主義者)轉變為主動的策略性指揮者(結構化規劃者)。教案應明確教授提示框架——角色、受眾、格式、語氣、範例。對於科技開發者而言,見解是將「提示鷹架」直接建構到教育介面中——互動式範本、建議引擎以及後設認知提示,詢問使用者:「您是否考慮過指定……?」未來屬於那些不僅能使用AI,更能以精準和批判性指揮AI的人。