1. 引言
以ChatGPT为代表的尖端生成式人工智能聊天机器人的出现,为教育领域,特别是语言学习,带来了机遇与挑战。本文研究了英语作为外语的中学生,作为新手用户,如何运用提示工程——即为人AI工智能设计指令的技能——来完成一项写作任务。核心问题在于,与ChatGPT进行有效协作并非直觉性的;它需要一种习得的技能,而许多学生缺乏这种技能,导致低效的试错过程。本研究旨在描绘学生采取的不同路径,分析其提示词的内容、质量及演变过程,从而为将人工智能素养融入EFL写作课堂的教学策略提供参考。
2. 研究方法
本研究采用定性案例研究方法。数据收集自香港中学生首次使用ChatGPT及类似尖端聊天机器人完成一项标准化写作任务时的iPad屏幕录像。分析重点在于详细检查学生生成的提示词、其序列(路径)以及相应的人工智能输出。研究根据交互模式、提示词复杂度和策略方法,识别出四种不同的典型路径。
3. 案例研究:四种提示工程路径
分析揭示了四种主要的交互模式,代表了不同层次的参与度和策略性思维。
3.1. 路径A:极简主义者
此路径的学生使用极少且通常模糊的提示词(例如,“写一篇关于污染的论文”)。他们表现出较低的元认知参与度,几乎不做修改或细化,便接受人工智能的首次输出。此路径突显了对人工智能能力的基本理解缺失,以及对精确指令的需求。
3.2. 路径B:迭代优化者
这些学生从一个基本提示词开始,但会进行顺序优化过程。基于人工智能的初始输出,他们会发出后续指令,如“写长一点”、“用更简单的词”或“加一个例子”。此路径显示出对人机协作的交互性和迭代性有了初步理解。
3.3. 路径C:结构化规划者
这是一种更高级的路径,学生从一开始就尝试为人工智能结构化任务。提示词包含角色扮演(“你是一位写作导师”)、分步指令(“首先,给我三个想法。然后,为第一个想法列提纲”)以及明确的约束条件(“用过去时写150个词”)等元素。这种方法展示了策略性规划,以及对如何通过语言“编程”人工智能有了更清晰的模型。
3.4. 路径D:探索性测试者
这些学生使用了大量多样化的、通常是实验性的提示词。他们用创造性、离题或复杂的请求来测试人工智能的边界,以了解其功能,然后再将其应用于核心任务。此路径反映了一种探索性的、精通技术的思维方式,但可能并不总能高效地达成任务目标。
4. 结果与分析
4.1. 提示词质量与数量模式
观察到提示词复杂程度与最终输出质量之间存在明显的相关性。路径C(结构化规划者)始终能产生最连贯、最符合任务要求、语言最丰富的文本。路径A(极简主义者)的输出则较为通用且常常偏离目标。仅提示词数量多(路径D)并不能保证质量;策略性质量(路径C)才是关键区别因素。
提示词交互摘要
- 路径A(极简主义者): 平均2-3个提示词;具体性低。
- 路径B(迭代优化者): 平均5-8个提示词;反应式优化。
- 路径C(结构化规划者): 平均4-6个提示词;高度预先规划。
- 路径D(探索性测试者): 平均10个以上提示词;多样性高,相关性不一。
4.2. 对写作产出的影响
最终的写作成果差异显著。结构化的提示词能产生更好地满足任务要求、使用更恰当词汇、结构更清晰的输出。极简主义的提示词产生的文本虽然语法正确,但缺乏深度和个性化,类似于通用的网络内容。
5. 讨论:对人工智能素养教育的启示
本研究强调,有效使用ChatGPT是一种习得的技能,而非与生俱来的能力。新手普遍采用极简主义和低效的迭代路径,这表明当前教育存在一个关键缺口。作者主张将明确的提示工程教育纳入EFL课程体系。这将使学生超越试错阶段,掌握制定清晰指令、分配角色、指定格式以及迭代优化输出的框架——从而将人工智能从一个“黑箱”预言机转变为一个协作工具。
核心见解
- 提示工程是人工智能时代必不可少的一种新型数字素养。
- 学生使用人工智能的方式是异质性的,需要差异化教学。
- 指令(提示词)的质量直接决定了人工智能辅助产出的质量。
- 缺乏指导,学生可能养成被动或低效的人工智能交互习惯。
6. 技术框架与分析
从技术角度看,提示工程与底层语言模型的概率函数相互作用。一个精心设计的提示词 $P$ 引导模型 $M$ 在给定上下文 $C$ 下,从其输出分布 $D$ 中采样一个更受约束且更理想的区域。该过程可以抽象地表示为最大化期望输出序列 $O$ 的条件概率:
$O^* = \arg\max_{O} P(O | C, P, M)$
其中,模糊的提示词会增加 $D$ 的熵,导致通用输出;而带有约束(角色、格式、风格)的具体提示词会降低熵,引导 $M$ 朝向更具针对性的 $O^*$。学生的路径有效地代表了通过自然语言指令操纵这种条件概率的不同策略。
分析框架示例
场景: 一名学生希望ChatGPT帮助写一段关于回收利用的说服性段落。
- 弱提示词(高熵): “写关于回收利用。”
分析: 模型受到的约束极小,很可能生成一个宽泛的、百科全书式的概述。 - 强提示词(低熵): “扮演一位环保倡导者。写一段针对青少年的、说服他们回收塑料瓶的80词说服性段落。使用直接且紧迫的语气,并包含一个统计数据。”
分析: 此提示词明确了角色(倡导者)、受众(青少年)、目标(说服)、内容焦点(塑料瓶)、长度(80词)、语气(直接、紧迫)和元素(统计数据)。它极大地缩小了模型的输出分布。
7. 未来应用与研究展望
研究结果为未来的工作开辟了若干方向:
- 自适应提示辅导系统: 开发能够分析学生提示词并提供实时改进反馈(例如,“尝试指定你的受众”)的人工智能辅导系统。
- 纵向研究: 追踪学生在有或没有正式指导的情况下,其提示工程技能如何随时间演变。
- 跨文化与语言比较: 调查不同语言和文化教育背景下,提示工程策略是否存在差异。
- 与写作教学法的整合: 研究如何将提示工程框架融入现有的写作过程模型(预写、起草、修改)。
- 伦理与批判性维度: 将人工智能素养从效率层面扩展到包括对人工智能输出的批判性评估、偏见检测和伦理使用。
8. 参考文献
- Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscript in preparation.
- Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
- Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
- OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
- Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
- The Stanford Center for AI Safety. (n.d.). AI Literacy. Retrieved from https://aisafety.stanford.edu/ai-literacy
分析师视角:解构提示工程的必要性
核心见解: 这项研究不仅仅是关于学生和ChatGPT;它是后ChatGPT时代人机交互基本挑战的一个缩影。核心见解在于,“提示”就是新的编程。这四种路径(极简主义者、迭代优化者、结构化规划者、探索性测试者)不仅仅是学习风格;它们是用户原型的雏形,将定义人工智能增强型劳动力中的生产力和创造力差距。该论文正确地指出,如果没有结构化教育,大多数用户将默认采用低效的极简主义或试错迭代路径,从而使得像GPT-4(如其技术报告所述)这类工具的潜力无法得到充分发挥。
逻辑脉络与优势: 本文的优势在于其基于实证的、脚踏实地的研究方法。通过使用屏幕录像,它捕捉了新手用户原始、未经修饰的挣扎过程。这将讨论从人工智能素养的理论框架(如Long & Magerko的研究)推进到了可观察的实践层面。将结构化规划者识别为高效路径至关重要。它验证了业界的一个假设,即有效的提示类似于一份规范文档——清晰、有约束、情境化。这与关于大型语言模型如何作为由条件概率分布引导的“随机鹦鹉”的研究相一致;正如Zhao等人的综述所讨论的,一个精确的提示词在数学上缩小了输出空间。
缺陷与盲点: 本研究的主要缺陷在于其范围有限——仅针对首次用户完成单一任务。它未能展示探索性测试者(可以说展现了最高的内在好奇心和系统探索性)是否可能随着时间的推移发展成为最熟练的用户。此外,它回避了关键的伦理和批判性素养维度。一个学生可能是一个出色的结构化规划者,能用ChatGPT产出一篇完美、有说服力的文章,但却对输出中的偏见、事实错误或缺乏原创思想完全不加批判。正如斯坦福人工智能安全中心等机构所强调的,真正的人工智能素养必须包含评估能力,而不仅仅是生成能力。
可操作的见解: 对于教育工作者和政策制定者而言,结论是明确的:提示工程必须成为数字素养课程的核心评估组成部分,从现在开始。 这不是可选项。本研究提供了一个蓝图:引导学生从人工智能产出的被动消费者(极简主义者)转变为主动的、策略性的指挥者(结构化规划者)。课程计划应明确教授提示框架——角色、受众、格式、语气、示例。对于技术开发者而言,启示在于将“提示脚手架”直接构建到教育界面中——交互式模板、建议引擎以及元认知提示,询问用户“您是否考虑过指定……?”未来属于那些能够精确且批判性地指挥人工智能的人,而不仅仅是能够使用它的人。