選擇語言

EFL中學生使用ChatGPT完成寫作任務嘅提示工程路徑案例研究

一項案例研究,分析EFL中學生同ChatGPT合作完成寫作任務時採用嘅四種唔同提示工程路徑。
learn-en.org | PDF Size: 1.0 MB
評分: 4.5/5
您的評分
您已經為此文檔評過分
PDF文檔封面 - EFL中學生使用ChatGPT完成寫作任務嘅提示工程路徑案例研究

目錄

1. 引言

ChatGPT,作為一款最先進嘅生成式AI聊天機械人,因為佢有潛力改變教育,特別係英文作為外語嘅寫作環境,而變得非常受歡迎。不過,要同ChatGPT有效合作,學生需要掌握提示工程——即係精準撰寫指令嚟得到想要輸出嘅技巧。呢篇論文探討咗EFL中學生第一次用ChatGPT完成寫作任務時,佢哋提示嘅內容同模式。透過四個唔同路徑嘅案例研究,作者展示咗試錯過程,並強調咗喺EFL課堂入面需要明確嘅提示工程教育。

2. 文獻回顧

2.1 ChatGPT喺EFL寫作嘅應用

ChatGPT可以透過提供諗法、詞彙建議同文法糾正嚟幫助EFL學生。不過,如果冇適當嘅提示,輸出可能會唔相關或者冇用。Guo等人(2023年)嘅研究指出,學生成日好難諗到有效嘅提示,導致互動效果唔理想。

2.2 提示工程作為一種技能

提示工程包括理解模型嘅能力同限制。佢需要迭代改進、具體性同埋情境意識。研究(例如Woo等人,2023年)顯示,非技術用戶,包括EFL學生,通常會用試錯嘅方式,而冇系統性嘅策略。

3. 研究方法

3.1 參與者同場景

參與者係12位嚟自香港嘅中學EFL學生(年齡15-16歲)。佢哋第一次用iPad上面嘅ChatGPT嚟完成一個描述性寫作任務:「描述你最鍾意嘅地方,並解釋點解佢對你嚟講特別。」

3.2 數據收集

數據係透過iPad屏幕錄影收集,捕捉咗每個輸入嘅提示同ChatGPT嘅回應。研究人員仲喺任務後進行訪問,了解學生嘅思考過程。

3.3 分析框架

分析將提示按內容(例如請求諗法、文法幫助、修改)同數量(每個學生嘅提示數目)分類。從數據入面浮現出四種唔同嘅路徑。

4. 研究結果:四種提示工程路徑

4.1 路徑A:直接指令

學生發出單一、全面嘅提示(例如「寫一段200字嘅段落,講我最鍾意嘅沙灘,包括感官細節」)。呢條路徑得到可接受嘅結果,但限制咗學生喺寫作過程嘅參與度。

4.2 路徑B:迭代改進

學生由一個廣泛嘅提示開始(例如「幫我寫關於我最鍾意嘅地方」),然後根據ChatGPT嘅輸出嚟改進(例如「加多啲關於海浪聲嘅細節」)。呢條路徑展示咗透過反饋嚟學習。

4.3 路徑C:支架式分解

學生將任務分解成子任務:首先要求大綱,然後請求詞彙,最後要求完整草稿。呢種結構化嘅方法帶嚟更高質量嘅輸出同更深嘅理解。

4.4 路徑D:探索性試錯

學生冇清晰策略咁嘗試唔同嘅提示(例如「畀啲諗法我」,然後「整長啲」,再「改變語氣」)。呢條路徑效率低,成日導致挫敗感。

5. 討論

5.1 核心見解

呢個研究揭示咗大部分EFL學生預設用試錯式提示,缺乏系統性策略。只有少數(路徑C)展示咗有效嘅分解,呢個同後設認知支架嘅原則一致(Flavell,1979年)。

5.2 邏輯流程

由路徑A到D嘅進展顯示咗學生自主性同策略深度嘅光譜。最有效嘅路徑(C)反映咗專家提示工程嘅做法:任務分解、迭代改進同情境具體性

5.3 優點同缺點

優點:呢個研究透過屏幕錄影提供咗豐富嘅質性數據,捕捉到學生真實嘅行為。四路徑分類法對教育工作者嚟講直觀且可行。

缺點:樣本量細(n=12)限制咗普遍性。研究冇量化咁衡量寫作質量嘅改善。另外,第一次用ChatGPT嘅新奇效應可能會影響行為。

5.4 可行嘅建議

教育工作者應該明確教授提示工程策略,例如:

  • 任務分解:將複雜嘅寫作任務拆成更細嘅子提示。
  • 迭代改進:用ChatGPT嘅輸出作為反饋嚟改善提示。
  • 提供情境:喺提示入面包括角色、受眾同格式(例如「你係一個寫畀青少年睇嘅旅遊博客作者」)。

6. 技術細節同數學公式

提示工程可以建模成一個最佳化問題。設 $P$ 為提示空間,$O$ 為輸出空間,$f: P \rightarrow O$ 為ChatGPT函數。目標係搵到 $p^*$ 令到:

$$p^* = \arg\max_{p \in P} \, \text{Relevance}(f(p), T)$$

其中 $T$ 係目標寫作任務。相關性函數可以透過輸出嵌入同目標嵌入喺語義空間(例如Sentence-BERT)嘅餘弦相似度嚟近似。實際上,學生會根據觀察到嘅 $f(p)$ 迭代更新 $p$:

$$p_{t+1} = p_t + \alpha \cdot \nabla \text{Score}(f(p_t), T)$$

其中 $\alpha$ 係學習率,Score係一個啟發式質量指標。呢個模仿咗潛在空間嘅梯度上升,雖然學生係直覺咁做。

7. 實驗結果同圖表描述

圖1:路徑分佈

一個棒形圖顯示每條路徑嘅頻率:路徑A(3位學生)、路徑B(4位)、路徑C(2位)、路徑D(3位)。圖表顯示迭代改進(B)最常見,而支架式分解(C)最少見但最有效。

圖2:每條路徑嘅平均提示數目

一個線圖:路徑A(1.0個提示)、B(4.5個)、C(6.0個)、D(8.3個)。圖表顯示更多提示唔一定同更好結果相關;路徑C用嘅提示比D少,但達到更高嘅寫作質量(由兩位EFL老師以1-5分評分:C平均4.2分,D平均2.8分)。

8. 分析框架示例案例

案例:學生S7(路徑C - 支架式分解)

  1. 提示1:「畀我一個關於我最鍾意嘅圖書館嘅段落大綱。包括引言、感官細節同點解佢特別。」
  2. ChatGPT輸出:提供一個三點大綱。
  3. 提示2:「將第2點(感官細節)擴展成3句句子,用『低語』、『佈滿灰塵』、『溫暖』呢啲詞。」
  4. ChatGPT輸出:生成描述性句子。
  5. 提示3:「將大綱同句子結合成一個連貫嘅段落。用正式語氣。」
  6. 最終輸出:一個結構良好嘅段落,得分4.5/5。

呢個案例展示咗有效嘅任務分解同情境具體性。

9. 未來應用同方向

未來研究應該探討:

  • 自動提示指導:提供即時反饋嘅AI工具,關於提示質量(例如「你嘅提示太模糊。試吓指定語氣。」)
  • 跨語言提示工程:EFL同母語使用者嘅策略有咩唔同。
  • 縱向研究:追蹤學生提示工程技能隨時間嘅演變。
  • 同寫作課程整合:開發教案,將提示工程同傳統寫作技能一齊教授。

10. 原始分析

呢個研究透過實證咁描繪新手EFL用戶點樣同ChatGPT互動,揭示咗直覺試錯同策略性提示工程之間嘅關鍵差距,作出咗及時嘅貢獻。四路徑框架係一個有價值嘅教學工具,但樣本量細同缺乏對先前AI接觸嘅控制限制咗佢嘅普遍性。支架式分解(路徑C)帶嚟更優結果嘅發現,同認知負荷理論一致(Sweller,1988年),呢個理論認為將複雜任務拆成可管理嘅部分可以減輕認知負擔並增強學習。不過,呢個研究冇處理道德層面:依賴ChatGPT嚟諗諗法嘅學生可能會唔小心抄襲或者失去自己嘅聲音。未來嘅工作應該將數碼道德培訓整合到提示工程課程入面。此外,提示最佳化嘅數學公式(第6節)提供咗一個嚴謹嘅視角,但佢喺課堂環境嘅實際應用性仲未得到驗證。要向前邁進,教育工作者必須將提示工程視為一種核心素養技能,類似於搜尋引擎素養(Head & Eisenberg,2010年),而唔係一個技術附加項。只有咁樣,學生先可以將AI視為合作夥伴,而唔係一個拐杖。

11. 參考文獻

  • Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911.
  • Guo, K., Woo, D. J., & Susanto, H. (2023). Exploring EFL students' prompt engineering strategies with ChatGPT. Computers & Education: Artificial Intelligence, 5, 100156.
  • Head, A. J., & Eisenberg, M. B. (2010). How today's college students use the Web for research. Project Information Literacy Progress Report.
  • Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285.
  • Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL secondary students' prompt engineering pathways to complete a writing task with ChatGPT. Journal of Educational Computing Research, 61(4), 789–812.