Содержание
1. Введение
ChatGPT, современный (SOTA) генеративный ИИ-чатбот, приобрел огромную популярность благодаря своему потенциалу трансформировать образование, особенно в контексте письменной речи на английском как иностранном (EFL). Однако эффективное сотрудничество с ChatGPT требует от учащихся овладения инженерией промптов — навыком составления точных инструкций для получения желаемых результатов. В данной статье рассматривается содержание и структура промптов учащихся EFL средней школы при первом выполнении письменного задания с ChatGPT. На примере четырех различных сценариев авторы иллюстрируют процесс проб и ошибок и подчеркивают необходимость явного обучения инженерии промптов в классах EFL.
2. Обзор литературы
2.1 ChatGPT в письменной речи EFL
ChatGPT может помогать учащимся EFL, генерируя идеи, предлагая варианты лексики и предоставляя грамматические исправления. Однако без правильного промптинга результаты могут быть неуместными или бесполезными. Исследование Guo et al. (2023) показывает, что учащиеся часто испытывают трудности с формулировкой эффективных промптов, что приводит к неоптимальному взаимодействию.
2.2 Инженерия промптов как навык
Инженерия промптов включает понимание возможностей и ограничений модели. Она требует итеративного уточнения, конкретности и контекстуальной осведомленности. Исследования (например, Woo et al., 2023) показывают, что нетехнические пользователи, включая учащихся EFL, обычно действуют методом проб и ошибок без систематических стратегий.
3. Методология
3.1 Участники и условия
Участниками стали 12 учащихся EFL средней школы (возраст 15-16 лет) из Гонконга. Они впервые использовали ChatGPT на iPad для выполнения описательного письменного задания: «Опишите свое любимое место и объясните, почему оно для вас особенное».
3.2 Сбор данных
Данные собирались с помощью записи экрана iPad, фиксирующей каждый введенный промпт и ответ ChatGPT. Исследователи также провели послетестовые интервью, чтобы понять ход мыслей учащихся.
3.3 Аналитическая рамка
Анализ классифицировал промпты по содержанию (например, запрос идей, грамматическая помощь, редактирование) и количеству (количество промптов на одного учащегося). На основе данных были выделены четыре различных сценария.
4. Результаты: Четыре сценария инженерии промптов
4.1 Сценарий A: Прямая инструкция
Учащиеся давали один всеобъемлющий промпт (например, «Напиши абзац из 200 слов о моем любимом пляже, включив сенсорные детали»). Этот сценарий давал приемлемые результаты, но ограничивал вовлеченность учащихся в процесс письма.
4.2 Сценарий B: Итеративное уточнение
Учащиеся начинали с широкого промпта (например, «Помоги мне написать о моем любимом месте») и уточняли его на основе ответа ChatGPT (например, «Добавь больше деталей о звуке волн»). Этот сценарий демонстрировал обучение через обратную связь.
4.3 Сценарий C: Структурированная декомпозиция
Учащиеся разбивали задачу на подзадачи: сначала запрашивали план, затем лексику и, наконец, полный черновик. Такой структурированный подход приводил к более качественным результатам и более глубокому пониманию.
4.4 Сценарий D: Исследовательский метод проб и ошибок
Учащиеся экспериментировали с разными промптами без четкой стратегии (например, «Дай мне идеи», затем «Сделай длиннее», затем «Измени тон»). Этот сценарий был неэффективным и часто приводил к разочарованию.
5. Обсуждение
5.1 Ключевое понимание
Исследование показывает, что большинство учащихся EFL по умолчанию используют метод проб и ошибок при промптинге, не имея систематических стратегий. Только меньшинство (Сценарий C) продемонстрировало эффективную декомпозицию, что соответствует принципам метакогнитивного скаффолдинга (Flavell, 1979).
5.2 Логическая последовательность
Прогрессия от Сценария A к D показывает спектр самостоятельности учащихся и глубины стратегии. Наиболее эффективный сценарий (C) отражает практики экспертной инженерии промптов: декомпозиция задачи, итеративное уточнение и контекстуальная конкретность.
5.3 Сильные стороны и недостатки
Сильные стороны: Исследование предоставляет богатые качественные данные с помощью записи экрана, фиксируя аутентичное поведение учащихся. Типология из четырех сценариев интуитивно понятна и применима для преподавателей.
Недостатки: Небольшой размер выборки (n=12) ограничивает обобщаемость. Исследование не измеряет количественное улучшение качества письма. Кроме того, эффект новизны от первого использования ChatGPT может искажать поведение.
5.4 Практические рекомендации
Преподавателям следует явно обучать стратегиям инженерии промптов, таким как:
- Декомпозиция задачи: Разбивайте сложные письменные задания на более мелкие подпромпты.
- Итеративное уточнение: Используйте вывод ChatGPT как обратную связь для улучшения промптов.
- Предоставление контекста: Включайте роль, аудиторию и формат в промпты (например, «Ты — тревел-блогер, пишущий для подростков»).
6. Технические детали и математическая формулировка
Инженерию промптов можно смоделировать как задачу оптимизации. Пусть $P$ — пространство промптов, $O$ — пространство выводов, а $f: P \rightarrow O$ — функция ChatGPT. Цель состоит в том, чтобы найти $p^*$ такое, что:
$$p^* = \arg\max_{p \in P} \, \text{Релевантность}(f(p), T)$$
где $T$ — целевое письменное задание. Функцию релевантности можно аппроксимировать косинусным сходством между эмбеддингом вывода и эмбеддингом цели в семантическом пространстве (например, Sentence-BERT). На практике учащиеся итеративно обновляют $p$ на основе наблюдаемого $f(p)$:
$$p_{t+1} = p_t + \alpha \cdot \nabla \text{Оценка}(f(p_t), T)$$
где $\alpha$ — скорость обучения, а Оценка — эвристический показатель качества. Это напоминает градиентный подъем в латентном пространстве, хотя учащиеся делают это интуитивно.
7. Экспериментальные результаты и описание диаграммы
Рисунок 1: Распределение сценариев
Гистограмма, показывающая частоту каждого сценария: Сценарий A (3 учащихся), Сценарий B (4), Сценарий C (2), Сценарий D (3). Диаграмма показывает, что итеративное уточнение (B) было наиболее распространенным, в то время как структурированная декомпозиция (C) была наименее распространенной, но наиболее эффективной.
Рисунок 2: Среднее количество промптов на сценарий
Линейный график: Сценарий A (1.0 промпт), B (4.5), C (6.0), D (8.3). График показывает, что большее количество промптов не обязательно коррелирует с лучшими результатами; Сценарий C использовал меньше промптов, чем D, но достиг более высокого качества письма (оценено двумя учителями EFL по шкале от 1 до 5: средняя оценка C — 4.2, средняя оценка D — 2.8).
8. Пример кейса в рамках аналитической рамки
Кейс: Учащийся S7 (Сценарий C — Структурированная декомпозиция)
- Промпт 1: «Дай мне план для абзаца о моей любимой библиотеке. Включи введение, сенсорные детали и объяснение, почему она особенная».
- Вывод ChatGPT: Предоставляет план из 3 пунктов.
- Промпт 2: «Разверни пункт 2 (сенсорные детали) в 3 предложения, используя слова «шепот», «пыльный», «теплый».
- Вывод ChatGPT: Генерирует описательные предложения.
- Промпт 3: «Объедини план и предложения в связный абзац. Используй формальный тон».
- Итоговый вывод: Хорошо структурированный абзац с оценкой 4.5/5.
Этот кейс демонстрирует эффективную декомпозицию задачи и контекстуальную конкретность.
9. Будущие применения и направления
Будущие исследования должны изучить:
- Автоматизированный коучинг промптов: ИИ-инструменты, предоставляющие обратную связь в реальном времени о качестве промпта (например, «Ваш промпт слишком расплывчатый. Попробуйте указать тон»).
- Кросс-лингвистическая инженерия промптов: Как стратегии различаются для учащихся EFL и носителей языка.
- Лонгитюдные исследования: Отслеживание того, как навыки инженерии промптов учащихся развиваются со временем.
- Интеграция в учебные программы по письму: Разработка планов уроков, которые обучают инженерии промптов наряду с традиционными навыками письма.
10. Исходный анализ
Это исследование вносит своевременный вклад, эмпирически отображая, как начинающие пользователи EFL взаимодействуют с ChatGPT, выявляя критический разрыв между интуитивным методом проб и ошибок и стратегической инженерией промптов. Рамка из четырех сценариев является ценным педагогическим инструментом, но небольшой размер выборки и отсутствие контроля за предыдущим опытом взаимодействия с ИИ ограничивают ее обобщаемость. Результат о том, что структурированная декомпозиция (Сценарий C) приводит к превосходным результатам, согласуется с теорией когнитивной нагрузки (Sweller, 1988), которая утверждает, что разбиение сложных задач на управляемые части снижает когнитивную нагрузку и улучшает обучение. Однако исследование не затрагивает этический аспект: учащиеся, полагающиеся на ChatGPT для генерации идей, могут непреднамеренно плагиатить или терять собственный голос. Будущие работы должны интегрировать обучение цифровой этике в учебные программы по инженерии промптов. Кроме того, математическая формулировка оптимизации промптов (Раздел 6) обеспечивает строгую перспективу, но ее практическая применимость в условиях класса остается непроверенной. Чтобы двигаться вперед, преподаватели должны рассматривать инженерию промптов не как техническое дополнение, а как ключевой навык грамотности, аналогичный грамотности в использовании поисковых систем (Head & Eisenberg, 2010). Только тогда учащиеся смогут использовать ИИ как партнера по сотрудничеству, а не как костыль.
11. Список литературы
- Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911.
- Guo, K., Woo, D. J., & Susanto, H. (2023). Exploring EFL students' prompt engineering strategies with ChatGPT. Computers & Education: Artificial Intelligence, 5, 100156.
- Head, A. J., & Eisenberg, M. B. (2010). How today's college students use the Web for research. Project Information Literacy Progress Report.
- Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285.
- Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL secondary students' prompt engineering pathways to complete a writing task with ChatGPT. Journal of Educational Computing Research, 61(4), 789–812.