選擇語言

中學英語為外語學生使用ChatGPT完成寫作任務的提示工程路徑案例研究

一項針對中學英語為外語學生與ChatGPT協作完成寫作任務時,所採用的四種不同提示工程路徑的案例研究分析。
learn-en.org | PDF Size: 1.0 MB
評分: 4.5/5
您的評分
您已經為此文檔評過分
PDF文檔封面 - 中學英語為外語學生使用ChatGPT完成寫作任務的提示工程路徑案例研究

目錄

1. 引言

ChatGPT,作為一款最先進的生成式AI聊天機器人,因其在教育領域,特別是在英語為外語寫作情境中的變革潛力而廣受歡迎。然而,要與ChatGPT有效協作,學生必須掌握提示工程——這項技能旨在設計精確的指令以獲得期望的輸出。本文探討了中學英語為外語學生首次使用ChatGPT完成寫作任務時,其提示內容與模式。透過四個不同路徑的案例研究,作者闡述了試誤過程,並強調在英語為外語課堂中進行明確提示工程教學的必要性。

2. 文獻回顧

2.1 ChatGPT在英語為外語寫作中的應用

ChatGPT能透過產生想法、提供詞彙建議及語法修正來協助英語為外語學生。然而,若未給予適當提示,其輸出可能不相關或無幫助。Guo等人(2023)的研究指出,學生常難以擬定有效提示,導致互動效果不佳。

2.2 提示工程作為一項技能

提示工程涉及理解模型的能力與限制,需要迭代優化、具體性及情境意識。研究(例如Woo等人,2023)顯示,包括英語為外語學生在內的非技術使用者,通常會進行試誤,而缺乏系統性策略。

3. 研究方法

3.1 研究參與者與情境

參與者為12名來自香港的中學英語為外語學生(年齡15-16歲)。他們首次在iPad上使用ChatGPT完成一項描述性寫作任務:「描述你最喜歡的地方,並解釋它對你而言為何特別。」

3.2 資料收集

資料透過iPad螢幕錄影收集,記錄了每個輸入的提示及ChatGPT的回應。研究人員也在任務後進行訪談,以了解學生的思考過程。

3.3 分析架構

分析根據提示內容(例如:請求想法、語法協助、修改)及數量(每位學生的提示次數)進行分類。從資料中歸納出四種不同的路徑。

4. 研究發現:四種提示工程路徑

4.1 路徑A:直接指令

學生發出單一、全面的提示(例如:「寫一篇200字關於我最愛海灘的段落,包含感官細節」)。此路徑能獲得可接受的結果,但限制了學生對寫作過程的參與。

4.2 路徑B:迭代優化

學生從一個廣泛的提示開始(例如:「幫我寫關於我最喜歡的地方」),然後根據ChatGPT的輸出進行優化(例如:「加入更多關於海浪聲音的細節」)。此路徑展現了透過回饋進行學習的過程。

4.3 路徑C:鷹架式分解

學生將任務分解為子任務:先要求大綱,再請求詞彙,最後要求完整草稿。這種結構化方法帶來了更高品質的輸出與更深入的理解。

4.4 路徑D:探索性試誤

學生在沒有明確策略的情況下嘗試各種提示(例如:「給我一些想法」,然後「讓它更長」,接著「改變語氣」)。此路徑效率低下,且常導致挫折感。

5. 討論

5.1 核心見解

研究顯示,大多數英語為外語學生預設採用試誤法進行提示,缺乏系統性策略。僅少數學生(路徑C)展現了有效的任務分解,這與後設認知鷹架(Flavell, 1979)的原則相符。

5.2 邏輯脈絡

從路徑A到D的進程,展現了學生自主性與策略深度的光譜。最有效的路徑(C)反映了專家級的提示工程實務:任務分解、迭代優化與情境具體化

5.3 優勢與侷限

優勢:本研究透過螢幕錄影提供了豐富的質性資料,捕捉了學生的真實行為。四種路徑的分類直觀且對教育工作者具有實用價值。

侷限:樣本數較小(n=12),限制了推論性。研究未量化寫作品質的提升。此外,首次使用ChatGPT的新奇效應可能影響行為表現。

5.4 可行建議

教育工作者應明確教授提示工程策略,例如:

  • 任務分解:將複雜的寫作任務拆解為較小的子提示。
  • 迭代優化:利用ChatGPT的輸出作為回饋來改善提示。
  • 情境提供:在提示中包含角色、受眾與格式(例如:「你是一位為青少年寫作的旅遊部落客」)。

6. 技術細節與數學公式

提示工程可建模為一個最佳化問題。設 $P$ 為提示空間,$O$ 為輸出空間,$f: P \rightarrow O$ 為ChatGPT函數。目標是找到 $p^*$ 使得:

$$p^* = \arg\max_{p \in P} \, \text{Relevance}(f(p), T)$$

其中 $T$ 是目標寫作任務。相關性函數可透過輸出嵌入與目標嵌入在語義空間(例如Sentence-BERT)中的餘弦相似度來近似。在實務中,學生根據觀察到的 $f(p)$ 迭代更新 $p$:

$$p_{t+1} = p_t + \alpha \cdot \nabla \text{Score}(f(p_t), T)$$

其中 $\alpha$ 是學習率,Score 是啟發式品質指標。這反映了潛在空間中的梯度上升法,儘管學生是直覺性地進行。

7. 實驗結果與圖表說明

圖1:路徑分布

長條圖顯示每種路徑的頻率:路徑A(3名學生)、路徑B(4名)、路徑C(2名)、路徑D(3名)。圖表顯示迭代優化(B)最常見,而鷹架式分解(C)最少見但最有效。

圖2:每種路徑的平均提示次數

折線圖:路徑A(1.0次)、B(4.5次)、C(6.0次)、D(8.3次)。圖表顯示較多的提示次數不一定帶來更好的結果;路徑C使用的提示次數少於路徑D,但寫作品質更高(由兩位英語教師以1-5分評分:C平均4.2分,D平均2.8分)。

8. 分析架構範例

案例:學生S7(路徑C - 鷹架式分解)

  1. 提示1:「給我一個關於我最喜歡的圖書館的段落大綱。包含引言、感官細節,以及它為何特別。」
  2. ChatGPT輸出:提供一個三點大綱。
  3. 提示2:「將第二點(感官細節)擴展為三個句子,使用『低語』、『塵封』、『溫暖』等詞彙。」
  4. ChatGPT輸出:產生描述性句子。
  5. 提示3:「將大綱和句子結合成一個連貫的段落。使用正式語氣。」
  6. 最終輸出:一個結構良好的段落,得分4.5/5。

此案例展示了有效的任務分解與情境具體化。

9. 未來應用與發展方向

未來研究應探討:

  • 自動化提示指導:能即時提供提示品質回饋的AI工具(例如:「你的提示過於模糊。試著指定語氣。」)
  • 跨語言提示工程:英語為外語學生與母語者的策略差異。
  • 縱向研究:追蹤學生提示工程技能隨時間的演變。
  • 與寫作課程整合:開發同時教授提示工程與傳統寫作技能的教案。

10. 原始分析

本研究透過實證方式描繪了新手英語為外語使用者如何與ChatGPT互動,揭示了直覺性試誤與策略性提示工程之間的關鍵差距,是一項及時的貢獻。四種路徑架構是一個有價值的教學工具,但樣本數較小且未控制先前的AI接觸經驗,限制了其推論性。鷹架式分解(路徑C)能產生較佳結果的發現,與認知負荷理論(Sweller, 1988)相符,該理論認為將複雜任務分解為可管理的區塊能減輕認知負擔並促進學習。然而,本研究未觸及倫理層面:依賴ChatGPT產生想法的學生可能無意中抄襲或失去自己的聲音。未來研究應將數位倫理訓練納入提示工程課程。此外,提示最佳化的數學公式(第6節)提供了嚴謹的視角,但其在課堂情境中的實用性仍有待驗證。展望未來,教育工作者必須將提示工程視為一項核心素養技能,而非技術附加項目,類似於搜尋引擎素養(Head & Eisenberg, 2010)。唯有如此,學生才能將AI視為協作夥伴,而非依賴的拐杖。

11. 參考文獻

  • Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911.
  • Guo, K., Woo, D. J., & Susanto, H. (2023). Exploring EFL students' prompt engineering strategies with ChatGPT. Computers & Education: Artificial Intelligence, 5, 100156.
  • Head, A. J., & Eisenberg, M. B. (2010). How today's college students use the Web for research. Project Information Literacy Progress Report.
  • Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285.
  • Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL secondary students' prompt engineering pathways to complete a writing task with ChatGPT. Journal of Educational Computing Research, 61(4), 789–812.