选择语言

英语作为外语的中学生使用ChatGPT完成写作任务的提示工程路径案例研究

一项案例研究,分析了英语作为外语的中学生使用ChatGPT进行写作任务时的四种不同提示工程路径,强调了试错过程及其教育启示。
learn-en.org | PDF Size: 1.0 MB
评分: 4.5/5
您的评分
您已经为此文档评过分
PDF文档封面 - 英语作为外语的中学生使用ChatGPT完成写作任务的提示工程路径案例研究

目录

1. 引言

ChatGPT,作为一款最先进的生成式人工智能聊天机器人,因其在变革教育(尤其是英语作为外语写作领域)方面的潜力而广受欢迎。然而,与ChatGPT的有效协作要求学生掌握提示工程——即精心设计精确指令以获取期望输出的技能。本文考察了英语作为外语中学生在首次使用ChatGPT完成写作任务时所使用提示的内容和模式。通过一项包含四种不同路径的案例研究,作者阐述了学生经历的试错过程,并强调了在英语作为外语课堂中进行明确提示工程教育的必要性。

2. 文献综述

2.1 教育中的提示工程

提示工程是一项关键的人工智能素养技能(Long & Magerko, 2020)。非技术用户通常难以设计出有效的提示,从而导致反复试错。研究表明,结构化的指导可以提高提示质量和输出相关性(Zamfirescu-Pereira 等, 2023)。

2.2 使用聊天机器人进行英语作为外语写作

像ChatGPT这样的聊天机器人可以通过提供实时反馈、生成想法和模拟语言结构来支持英语作为外语写作。然而,学生必须学会迭代优化提示,以使其与任务目标保持一致(Guo 等, 2023)。

3. 研究方法

3.1 参与者与场景

参与者为香港20名中学生,年龄14-16岁,英语水平为中级。他们首次在iPad上使用ChatGPT完成一篇300词的议论文写作任务。

3.2 数据收集

通过iPad屏幕录制收集数据,记录所有提示及ChatGPT的回应。研究者还在任务完成后进行了访谈,以了解学生的思考过程。

3.3 分析框架

分析采用扎根理论方法,根据内容(如指令、上下文、格式)和数量(每个任务的提示数量)对提示进行分类。从数据中归纳出四种不同的路径。

4. 研究结果:四种提示工程路径

4.1 路径A:极简迭代

学生使用2-3个简短提示(例如:“写一篇关于污染的作文”)。他们很少根据ChatGPT的输出修改提示,导致得到的是泛泛的回应。此路径反映出对提示工程的参与度较低。

4.2 路径B:支架式优化

学生从一个宽泛的提示开始,然后添加具体的约束条件(例如:“包含三个论据和一个反驳论点”)。他们使用了4-6个提示,显示出输出质量的迭代提升。

4.3 路径C:发散式探索

学生尝试了不同的提示风格(例如:角色扮演、格式变化)。他们使用了7-10个提示,但缺乏清晰的策略,导致输出结果不一致。

4.4 路径D:策略性分解

学生将任务分解为子任务(例如:“先生成大纲,然后写引言”)。他们使用了8-12个高度具体的提示,最终获得了最连贯、最相关的作文。

5. 讨论

5.1 核心见解

研究揭示,英语作为外语学生的提示工程能力差异很大。策略性分解(路径D)能产生最佳结果,但大多数学生默认采用极简或发散式方法。这凸显了人工智能素养教育中的一个关键缺口。

5.2 逻辑脉络

从路径A到路径D的递进显示了提示的复杂程度与输出质量之间的明显相关性。然而,由于缺乏明确的指导,学生很少能在没有引导的情况下达到路径D的水平。

5.3 优势与不足

优势:该研究提供了来自真实课堂环境的丰富定性数据,对学生行为提供了真实的洞察。不足:样本量较小(n=20),限制了结果的普适性。研究也未控制学生先前接触人工智能的经历。

5.4 可操作建议

教育工作者应将提示工程融入英语作为外语课程,教导学生分解任务、使用具体约束条件并迭代优化提示。学校应提供结构化的支架式支持,例如提示模板和同伴互评提示。

6. 原创性分析

本研究通过实证描绘了英语作为外语新手用户如何与ChatGPT互动,做出了及时的贡献。这四种路径呼应了人机交互研究中的发现,即用户常常陷入“满意化”行为(Simon, 1956)——接受第一个可接受的输出,而非追求最优。策略性分解路径与“思维链提示”的概念(Wei 等, 2022)相一致,后者能提升大型语言模型的推理能力。然而,本研究依赖于单一的写作任务和较小的样本量,限制了其外部效度。未来的研究应探索将提示工程作为元认知技能进行教学的纵向干预。作者正确地呼吁将人工智能素养融入英语作为外语课程,但未能提供一个具体的教学框架。一个更具可操作性的方法是开发一个“提示工程量规”,引导学生从基础策略进阶到高级策略。此外,该研究未涉及伦理问题,如过度依赖人工智能或抄袭,这些问题在教育环境中至关重要。尽管存在这些局限,该研究仍是理解学生如何学会与生成式人工智能协作的有价值的第一步。

7. 技术细节与数学公式

提示工程可以形式化为一个优化问题。设 $P$ 为所有可能提示的集合,$O$ 为给定提示 $p \in P$ 时ChatGPT的输出。学生的目标是找到 $p^*$,在满足任务约束 $C$ 的条件下最大化输出质量 $Q(O)$:

$$p^* = \arg\max_{p \in P} Q(\text{ChatGPT}(p)) \quad \text{s.t.} \quad C(p) \leq \epsilon$$

在实践中,学生执行贪婪搜索,迭代更新 $p_{t+1} = p_t + \Delta_t$,其中 $\Delta_t$ 是基于先前输出的修改。四种路径代表了不同的搜索策略:路径A使用较小的 $\Delta_t$,路径B使用结构化的 $\Delta_t$,路径C使用随机的 $\Delta_t$,路径D使用层次化分解。

8. 实验结果与图表说明

图1:提示工程路径概览

一个流程图,从标记为“写作任务”的中心节点分出四个分支。每个分支代表一条路径(A、B、C、D),箭头表示提示迭代。路径D显示了用于生成大纲、引言、主体和结论的子循环。图表使用颜色编码:红色代表路径A(极简),蓝色代表路径B(支架式),绿色代表路径C(发散式),金色代表路径D(策略性)。

表1:各路径关键指标

路径平均提示数输出质量(1-5分)耗时(分钟)
A2.52.18
B5.03.415
C8.52.822
D10.04.228

路径D实现了最高的输出质量,但需要更多的时间和提示,表明在效率和效果之间存在权衡。

9. 分析框架示例

案例:学生S7(路径D)

提示1:“为关于校服的议论文生成一个包含三个要点的提纲。”

提示2:“根据提纲写一段引言。使用一个引人入胜的开头和一个清晰的论点陈述。”

提示3:“展开第一个主体段落。包含主题句、论据和解释。”

提示4:“添加一个反驳段落并进行驳斥。”

提示5:“写一个结论,总结要点并重申论点。”

这种分解策略与英语作为外语课堂中教授的写作过程相呼应,展示了提示工程如何与最佳教学实践相结合。

10. 未来应用与方向

研究结果指出了几个未来方向:(1)开发明确教授提示分解和迭代优化的人工智能素养课程。(2)将提示工程纳入教师培训项目。(3)设计能够对提示质量提供实时反馈的自适应辅导系统。(4)进行纵向研究,追踪学生提示工程技能随时间的变化。(5)探索伦理框架,确保人工智能在教育中的负责任使用。随着生成式人工智能变得无处不在,提示工程将成为一项基础技能,类似于20世纪90年代的数字素养。

11. 参考文献

  • Guo, K., 等. (2023). 第二语言写作与人工智能聊天机器人. Computers & Education, 198, 104789.
  • Long, D., & Magerko, B. (2020). 什么是人工智能素养? Proceedings of the 2020 CHI Conference, 1-13.
  • Simon, H. A. (1956). 理性选择与环境结构. Psychological Review, 63(2), 129-138.
  • Wei, J., 等. (2022). 思维链提示激发大型语言模型的推理能力. NeurIPS 2022.
  • Zamfirescu-Pereira, J. D., 等. (2023). 为什么约翰尼不会写提示. Communications of the ACM, 66(8), 64-73.