Кейс-стади: Стратегии инженерии промптов у учащихся средней школы, изучающих английский как иностранный, при работе с ChatGPT для выполнения письменных заданий

1. Введение

Появление передовых (SOTA) генеративных ИИ-чатботов, таких как ChatGPT, создаёт как возможности, так и вызовы для образования, особенно в области изучения языков. В данной статье исследуется, как учащиеся средней школы, изучающие английский как иностранный (EFL), в качестве начинающих пользователей занимаются инженерией промптов — навыком формулирования инструкций для ИИ — для выполнения письменного задания. Основная проблема заключается в том, что эффективное сотрудничество с ChatGPT не является интуитивным; оно требует приобретённого навыка, которого многим учащимся не хватает, что приводит к неэффективным процессам проб и ошибок. Цель данного исследования — наметить различные стратегии, которые используют учащиеся, проанализировать содержание, качество и эволюцию их промптов, чтобы информировать педагогические стратегии по интеграции AI-грамотности в класс EFL-письма.

2. Методология

В данном исследовании используется качественный подход кейс-стади. Данные были собраны из записей экранов iPad учащихся средней школы EFL в Гонконге, которые впервые использовали ChatGPT и подобные SOTA-чатботы для выполнения стандартизированного письменного задания. Анализ был сосредоточен на детальном изучении промптов, сгенерированных учащимися, их последовательностей (стратегий) и соответствующих выводов ИИ. Исследование выявило четыре различных архетипических стратегии на основе паттернов взаимодействия, сложности промптов и стратегического подхода.

3. Кейс-стади: Четыре стратегии инженерии промптов

Анализ выявил четыре основных паттерна взаимодействия, представляющих различные уровни вовлечённости и стратегического мышления.

4. Результаты и анализ

5. Обсуждение: Значение для обучения AI-грамотности

Исследование подчёркивает, что эффективное использование ChatGPT — это приобретённый навык, а не врождённая способность. Распространённость минималистских и неэффективных итеративных стратегий среди новичков указывает на критический пробел в современном образовании. Авторы выступают за явное обучение инженерии промптов, которое должно быть интегрировано в учебные программы EFL. Это позволит учащимся выйти за рамки проб и ошибок, вооружив их структурами для формулирования чётких инструкций, назначения ролей, спецификации форматов и итеративного улучшения результатов — превращая ИИ из «чёрного ящика»-оракула в инструмент для сотрудничества.

6. Техническая структура и анализ

С технической точки зрения, инженерия промптов взаимодействует с вероятностными функциями базовой языковой модели. Хорошо составленный промпт $P$ направляет модель $M$ на выборку из более ограниченной и желательной области её распределения вывода $D$ для данного контекста $C$. Этот процесс можно абстрактно представить как максимизацию условной вероятности желаемой выходной последовательности $O$:

$O^* = \arg\max_{O} P(O | C, P, M)$

Если расплывчатый промпт увеличивает энтропию в $D$, приводя к общим выводам, то конкретный промпт с ограничениями (роль, формат, стиль) уменьшает энтропию, направляя $M$ к более целевому $O^*$. Стратегии учащихся эффективно представляют различные подходы к манипулированию этой условной вероятностью с помощью инструкций на естественном языке.

Пример аналитической структуры

Сценарий: Учащийся хочет, чтобы ChatGPT помог написать убедительный абзац о переработке отходов.

• Слабый промпт (Высокая энтропия): «Напиши о переработке отходов.»
  Анализ: У модели минимальные ограничения, вероятно, она сгенерирует широкий обзор в энциклопедическом стиле.
• Сильный промпт (Низкая энтропия): «Выступай в роли защитника окружающей среды. Напиши убедительный абзац объёмом 80 слов, адресованный подросткам, убеждая их перерабатывать пластиковые бутылки. Используй прямой и срочный тон и включи одну статистику.»
  Анализ: Этот промпт определяет роль (защитник), аудиторию (подростки), цель (убедить), фокус содержания (пластиковые бутылки), длину (80 слов), тон (прямой, срочный) и элемент (статистика). Это резко сужает распределение вывода модели.

7. Будущие применения и направления исследований

Результаты открывают несколько направлений для будущей работы:

• Адаптивные репетиторы по промптам: Разработка репетиторов на основе ИИ, которые анализируют промпт учащегося и дают обратную связь в реальном времени о том, как его улучшить (например, «Попробуй указать свою аудиторию»).
• Лонгитюдные исследования: Отслеживание того, как навыки инженерии промптов у учащихся развиваются со временем при наличии и отсутствии формального обучения.
• Кросс-культурные и лингвистические сравнения: Исследование того, различаются ли стратегии инженерии промптов в разных языках и культурных образовательных контекстах.
• Интеграция с педагогикой письма: Исследование того, как структуры инженерии промптов могут быть вплетены в существующие модели процесса письма (предварительное написание, черновик, редактирование).
• Этические и критические аспекты: Расширение AI-грамотности за пределы эффективности, включив критическую оценку выводов ИИ, обнаружение смещений и этичное использование.

8. Список литературы

1. Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscript in preparation.
2. Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
3. Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
4. OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
5. Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
6. The Stanford Center for AI Safety. (n.d.). AI Literacy. Retrieved from https://aisafety.stanford.edu/ai-literacy