Пути инженерии промптов учащихся EFL средней школы для выполнения письменного задания с ChatGPT

1. Введение

ChatGPT, современный (SOTA) генеративный ИИ-чат-бот, приобрел огромную популярность благодаря своему потенциалу трансформировать образование, особенно в области письма на английском как иностранном (EFL). Однако эффективное сотрудничество с ChatGPT требует от учащихся овладения инженерией промптов — навыком составления точных инструкций для получения желаемых результатов. В данной статье рассматривается содержание и структура промптов учащихся EFL средней школы при первом выполнении письменного задания с помощью ChatGPT. На примере четырех различных путей авторы иллюстрируют процессы проб и ошибок, через которые проходят учащиеся, и подчеркивают необходимость явного обучения инженерии промптов в классах EFL.

2. Обзор литературы

3. Методология

4. Результаты: Четыре пути инженерии промптов

5. Обсуждение

6. Оригинальный анализ

Это исследование вносит своевременный вклад, эмпирически отображая, как начинающие пользователи EFL взаимодействуют с ChatGPT. Четыре пути перекликаются с выводами исследований в области человеко-компьютерного взаимодействия, где пользователи часто прибегают к «удовлетворительному» поведению (Simon, 1956) — принятию первого приемлемого результата вместо оптимизации. Путь стратегической декомпозиции согласуется с концепцией «цепочки мыслей» (Wei et al., 2022), которая улучшает рассуждения в больших языковых моделях. Однако зависимость исследования от одного письменного задания и небольшой выборки ограничивает его внешнюю валидность. Будущие исследования должны изучить лонгитюдные интервенции, обучающие инженерии промптов как метакогнитивному навыку. Авторы справедливо призывают к внедрению ИИ-грамотности в учебные программы EFL, но не предлагают конкретной педагогической рамки. Более практичным подходом было бы разработать «рубрику инженерии промптов», которая ведет учащихся от базовых к продвинутым стратегиям. Кроме того, исследование не затрагивает этические проблемы, такие как чрезмерная зависимость от ИИ или плагиат, которые критически важны в образовательных условиях. Несмотря на эти ограничения, работа является ценным первым шагом в понимании того, как учащиеся учатся сотрудничать с генеративным ИИ.

7. Технические детали и математическая формулировка

Инженерию промптов можно формализовать как задачу оптимизации. Пусть $P$ — множество всех возможных промптов, а $O$ — результат ChatGPT для данного промпта $p \in P$. Цель учащегося — найти $p^*$, максимизирующий качество вывода $Q(O)$ при соблюдении ограничений задачи $C$:

$$p^* = \arg\max_{p \in P} Q(\text{ChatGPT}(p)) \quad \text{s.t.} \quad C(p) \leq \epsilon$$

На практике учащиеся выполняют жадный поиск, итеративно обновляя $p_{t+1} = p_t + \Delta_t$, где $\Delta_t$ — модификация на основе предыдущего вывода. Четыре пути представляют различные стратегии поиска: Путь A использует малые $\Delta_t$, Путь B — структурированные $\Delta_t$, Путь C — случайные $\Delta_t$, а Путь D — иерархическую декомпозицию.

8. Экспериментальные результаты и описание диаграммы

Рисунок 1: Обзор путей инженерии промптов

Блок-схема, показывающая четыре ветви от центрального узла с надписью «Письменное задание». Каждая ветвь представляет путь (A, B, C, D) со стрелками, указывающими итерации промптов. Путь D показывает подциклы для генерации плана, введения, основной части и заключения. Диаграмма использует цветовое кодирование: красный для Пути A (минималистичный), синий для B (поэтапный), зеленый для C (дивергентный) и золотой для D (стратегический).

Таблица 1: Ключевые показатели по путям

Путь D достигает наивысшего качества вывода, но требует больше времени и промптов, что указывает на компромисс между эффективностью и результативностью.

9. Пример аналитической рамки

Пример случая: Ученик S7 (Путь D)

Промпт 1: «Создай трехпунктовый план для аргументативного эссе о школьной форме.»

Промпт 2: «Напиши вступительный абзац на основе плана. Используй крючок и четкое тезисное утверждение.»

Промпт 3: «Разверни первый абзац основной части. Включи тематическое предложение, доказательства и объяснение.»

Промпт 4: «Добавь абзац с контраргументом и опровергни его.»

Промпт 5: «Напиши заключение, которое суммирует основные пункты и повторяет тезис.»

Эта стратегия декомпозиции отражает процесс письма, преподаваемый в классах EFL, демонстрируя, как инженерия промптов может быть согласована с педагогическими лучшими практиками.

10. Будущие применения и направления

Полученные результаты указывают на несколько будущих направлений: (1) Разработка учебных программ по ИИ-грамотности, которые явно обучают декомпозиции промптов и итеративному уточнению. (2) Интеграция инженерии промптов в программы подготовки учителей. (3) Создание адаптивных обучающих систем, предоставляющих обратную связь в реальном времени о качестве промптов. (4) Лонгитюдные исследования, отслеживающие, как навыки инженерии промптов учащихся развиваются со временем. (5) Изучение этических рамок для обеспечения ответственного использования ИИ в образовании. По мере того как генеративный ИИ становится повсеместным, инженерия промптов будет фундаментальным навыком, аналогичным цифровой грамотности в 1990-х годах.

11. Список литературы

• Guo, K., et al. (2023). Second language writing and AI chatbots. Computers & Education, 198, 104789.
• Long, D., & Magerko, B. (2020). What is AI literacy? Proceedings of the 2020 CHI Conference, 1-13.
• Simon, H. A. (1956). Rational choice and the structure of the environment. Psychological Review, 63(2), 129-138.
• Wei, J., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. NeurIPS 2022.
• Zamfirescu-Pereira, J. D., et al. (2023). Why Johnny can't prompt. Communications of the ACM, 66(8), 64-73.