1. 引言
ChatGPT等尖端(SOTA)生成式AI聊天機械人嘅出現,為教育(特別係語言學習)帶來機遇同挑戰。本文研究以英語作為外語(EFL)嘅中學生,作為新手用戶,點樣運用提示工程——即為AI設計指令嘅技能——去完成一項寫作任務。核心問題在於,同ChatGPT有效協作並非直覺性嘅;佢需要一種後天學習嘅技能,而好多學生都缺乏呢種技能,導致效率低下嘅試錯過程。本研究旨在描繪學生採取嘅唔同途徑,分析佢哋提示嘅內容、質量同演變過程,為將AI素養融入EFL寫作課堂嘅教學策略提供參考。
2. 研究方法
本研究採用定性案例研究方法。數據收集自香港中學EFL學生首次使用ChatGPT及類似SOTA聊天機械人完成標準化寫作任務時嘅iPad屏幕錄影。分析重點在於詳細檢視學生生成嘅提示、佢哋嘅操作序列(途徑)以及相應嘅AI輸出。根據互動模式、提示嘅複雜程度同策略方法,研究識別出四種截然唔同嘅典型途徑。
3. 案例研究:四種提示工程途徑
分析揭示咗四種主要嘅互動模式,代表唔同程度嘅投入同策略思維。
3.1. 途徑A:極簡主義者
呢個途徑嘅學生使用非常少、通常好籠統嘅提示(例如:「寫一篇關於污染嘅文章」)。佢哋表現出較低嘅元認知投入,幾乎唔作修改或具體說明就接受AI嘅首次輸出。呢個途徑突顯咗對AI能力嘅基本理解不足,以及需要精確指令。
3.2. 途徑B:迭代優化者
呢啲學生從一個基本提示開始,但會進行連續嘅優化過程。基於AI嘅初始輸出,佢哋會發出後續指令,例如「寫長啲」、「用簡單啲嘅詞語」或者「加個例子」。呢個途徑顯示出對人機協作嘅互動同迭代性質有初步理解。
3.3. 途徑C:結構化規劃者
一個更高級嘅途徑,學生嘗試從一開始就為AI結構化任務。提示包含角色扮演(「你係一位寫作導師」)、逐步指令(「首先,俾三個想法我。然後,為第一個想法擬定大綱」)同明確限制(「用過去式寫150字」)等元素。呢種方法展示咗策略性規劃,以及對點樣透過語言「編程」AI有更清晰嘅模型。
3.4. 途徑D:探索測試者
呢啲學生使用大量多樣化、通常係實驗性嘅提示。佢哋用創意、離題或複雜嘅請求去測試AI嘅界限,以了解其功能,然後先應用於核心任務。呢個途徑反映咗一種探索性、熟悉科技嘅心態,但未必總係能有效達成任務目標。
4. 結果與分析
4.1. 提示質量與數量模式
觀察到提示嘅複雜程度同最終輸出質量之間有明顯關聯。途徑C(結構化規劃者)持續產出最連貫、最符合任務要求、語言最豐富嘅文本。途徑A(極簡主義者)嘅輸出則較為通用,且經常偏離目標。單獨提示嘅數量(途徑D較高)並唔保證質量;策略性質量(途徑C)先係關鍵區別因素。
提示互動摘要
- 途徑A(極簡主義者): 平均2-3個提示;具體性低。
- 途徑B(迭代優化者): 平均5-8個提示;反應式優化。
- 途徑C(結構化規劃者): 平均4-6個提示;高度預先規劃。
- 途徑D(探索測試者): 平均10個以上提示;種類多,相關性參差。
4.2. 對寫作輸出嘅影響
最終嘅寫作成品差異顯著。結構化提示導致嘅輸出更能滿足任務要求,使用更合適嘅詞彙,並展現更清晰嘅組織。極簡主義提示產生嘅文本,雖然文法正確,但缺乏深度同個人化,類似通用嘅網上內容。
5. 討論:對AI素養教育嘅啟示
研究強調,有效使用ChatGPT係一種後天學習嘅技能,而非與生俱來嘅能力。新手當中普遍存在極簡主義同低效迭代途徑,顯示當前教育存在關鍵缺口。作者主張將明確嘅提示工程教育融入EFL課程。咁樣可以令學生超越試錯階段,裝備佢哋制定清晰指令、分配角色、指定格式同迭代優化輸出嘅框架——將AI從一個黑盒預言者轉變為協作工具。
關鍵見解
- 提示工程係AI時代必不可少嘅一種新形式數碼素養。
- 學生對待AI嘅方式各異,需要差異化教學。
- 指令(提示)嘅質量直接決定AI輔助輸出嘅質量。
- 缺乏指導,學生可能會養成對AI被動或低效嘅互動習慣。
6. 技術框架與分析
從技術角度睇,提示工程與底層語言模型嘅概率函數相互作用。一個精心設計嘅提示 $P$ 引導模型 $M$ 從其輸出分佈 $D$ 中,針對給定上下文 $C$,採樣一個更受限制且更理想嘅區域。呢個過程可以抽象地表示為最大化期望輸出序列 $O$ 嘅條件概率:
$O^* = \arg\max_{O} P(O | C, P, M)$
其中,一個籠統嘅提示會增加 $D$ 嘅熵,導致通用輸出;而一個帶有限制(角色、格式、風格)嘅具體提示則會降低熵,引導 $M$ 朝向更目標明確嘅 $O^*$。學生嘅途徑有效地代表咗透過自然語言指令操控呢個條件概率嘅唔同策略。
分析框架示例
情境: 一位學生想請ChatGPT幫忙寫一段關於回收嘅說服性段落。
- 弱提示(高熵): 「寫關於回收。」
分析: 模型受到嘅限制極少,很可能生成一個廣泛、百科全書式嘅概述。 - 強提示(低熵): 「扮演一位環保倡導者。寫一段80字、針對青少年嘅說服性段落,說服佢哋回收膠樽。使用直接同緊迫嘅語氣,並包含一項統計數據。」
分析: 呢個提示指定咗角色(倡導者)、受眾(青少年)、目標(說服)、內容重點(膠樽)、長度(80字)、語氣(直接、緊迫)同元素(統計數據)。佢大幅收窄咗模型嘅輸出分佈。
7. 未來應用與研究方向
研究結果為未來工作開闢咗幾個方向:
- 自適應提示導師: 開發AI驅動嘅導師,分析學生嘅提示並提供實時反饋,指導如何改進(例如:「嘗試指定你嘅受眾」)。
- 縱向研究: 追蹤學生嘅提示工程技能隨時間嘅演變,比較有無正式教學嘅情況。
- 跨文化與語言比較: 調查提示工程策略係咪因語言同文化教育背景而異。
- 與寫作教學法整合: 研究提示工程框架點樣可以融入現有嘅寫作過程模型(寫前、起草、修改)。
- 倫理與批判維度: 將AI素養從效率擴展到包括對AI輸出嘅批判性評估、偏見檢測同倫理使用。
8. 參考文獻
- Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscript in preparation.
- Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
- Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
- OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
- Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
- The Stanford Center for AI Safety. (n.d.). AI Literacy. Retrieved from https://aisafety.stanford.edu/ai-literacy
分析師觀點:解構提示工程嘅必要性
核心見解: 呢項研究唔單止係關於學生同ChatGPT;佢係後ChatGPT時代人機互動基本挑戰嘅一個縮影。核心見解係「提示」就係新嘅編程。四種途徑(極簡主義者、迭代優化者、結構化規劃者、探索測試者)唔單止係學習風格;佢哋係用戶原型,將會定義AI增強型勞動力中嘅生產力同創造力差距。論文正確指出,如果缺乏結構化教育,大多數用戶會默認採用低效嘅極簡主義或試錯迭代途徑,令到好似GPT-4(如其技術報告所述)呢類工具嘅巨大潛力未被充分利用。
邏輯流程與優勢: 論文嘅優勢在於其紮實嘅實證方法。透過使用屏幕錄影,佢捕捉到新手未經修飾、真實嘅掙扎。呢點將討論從AI素養嘅理論框架(例如Long & Magerko嘅框架)推進到可觀察嘅實踐。將結構化規劃者識別為高效途徑至關重要。佢驗證咗業界嘅假設,即有效提示類似一份規格文件——清晰、受限制且情境化。呢點與關於大型語言模型(LLMs)如何作為由條件概率分佈引導嘅「隨機鸚鵡」嘅研究一致;一個精確嘅提示從數學上收窄咗輸出空間,正如Zhao等人嘅綜合調查所討論。
缺陷與盲點: 研究嘅主要缺陷在於其範圍有限——只係針對首次使用者嘅單一任務。佢無顯示探索測試者(可以話展示咗最高嘅內在好奇心同系統探索)隨時間推移會唔會發展成最熟練嘅用戶。此外,佢迴避咗關鍵嘅倫理同批判素養維度。一個學生可能係出色嘅結構化規劃者,用ChatGPT產出完美無瑕、具說服力嘅文章,但對輸出中嘅偏見、事實錯誤或缺乏原創思想完全不加批判。正如史丹福大學AI安全中心等機構所強調,真正嘅AI素養必須包含評估,而不僅僅係生成。
可行建議: 對於教育工作者同政策制定者而言,結論係不容商榷嘅:提示工程必須由現在開始,成為數碼素養課程嘅核心、受評估組成部分。 呢個唔係可選項。研究提供咗一個藍圖:將學生從AI輸出嘅被動消費者(極簡主義者)轉變為主動、策略性嘅指揮者(結構化規劃者)。教案應該明確教授提示框架——角色、受眾、格式、語氣、例子(RAFTE)。對於科技開發者而言,啟示係要將「提示支架」直接構建到教育界面中——互動模板、建議引擎同元認知提示,詢問用戶:「你有冇考慮過指定……?」未來唔屬於能夠使用AI嘅人,而屬於能夠以精準同批判性指揮AI嘅人。