Появление передовых (SOTA) генеративных ИИ-чатботов, таких как ChatGPT, привело к смене парадигмы в изучении языков и поддержке письменной речи. В отличие от основанных на правилах предшественников, эти модели, построенные на архитектурах нейронных сетей, таких как Transformer, способны генерировать связный и контекстуально релевантный текст. Для изучающих английский как иностранный (EFL) это представляет собой мощный, но сложный инструмент. Основная проблема, выявленная в данном исследовании, — это инженерия промтов — навык составления эффективных инструкций для получения желаемых результатов от ИИ. Без этого навыка пользователи, особенно неискушённые студенты, обречены на утомительный процесс проб и ошибок, что ограничивает педагогический потенциал инструмента.
В данной статье исследуются зарождающиеся стратегии инженерии промтов у учащихся средней школы, изучающих английский как иностранный, которые впервые используют ChatGPT для выполнения письменного задания. Она выходит за рамки теоретических дискуссий, представляя эмпирические качественные кейс-стади, которые описывают различные пользовательские стратегии.
Исследование использует качественный подход кейс-стади, анализируя данные о взаимодействии реальных пользователей-новичков.
Участниками были учащиеся средней школы, изучающие английский как иностранный, без предшествующего формального опыта использования передовых чат-ботов, таких как ChatGPT. Исследование фиксировало их процесс с помощью записей экрана iPad, пока они взаимодействовали с ИИ для выполнения определённого письменного задания. Эта методология даёт необработанный, нефильтрованный взгляд на процесс сотрудничества человека и ИИ.
Записи экрана были расшифрованы и проанализированы для кодирования по следующим параметрам:
На основе этого анализа были выявлены четыре архетипичные пользовательские стратегии, которые были детализированы в кейс-стади.
Анализ выявил четыре различные модели поведения, представляющие спектр от простых к сложным стратегиям инженерии промтов.
Этот студент использовал очень мало промтов (например, 1-2). Первоначальный промт часто представлял собой простое, прямое переложение инструкции к заданию (например, «Напиши эссе об изменении климата»). Он демонстрировал минимальное взаимодействие с выводом ИИ, принимая первый результат практически без доработки. Эта стратегия подчёркивает заблуждение «инструмент как оракул», когда ИИ воспринимается как источник готового, окончательного ответа, а не как партнёр по сотрудничеству.
Этот студент использовал умеренное количество промтов в линейной, итеративной последовательности. Он начинал с базового промта, просматривал вывод и давал последующие команды для конкретных улучшений (например, «Сделай длиннее», «Используй более простые слова»). Эта стратегия демонстрирует зарождающееся понимание отзывчивости ИИ на инструкции, но остаётся в рамках базовой схемы «запрос на доработку».
Этот студент использовал большее количество промтов со стратегическим, многоэтапным подходом. Он мог сначала попросить ИИ «придумать три идеи для эссе на тему X», затем выбрать одну, затем попросить план и, наконец, запросить черновик на основе этого плана. Эта стратегия отражает более сложную метакогнитивную стратегию, разбивая процесс письма и используя ИИ для структурированной поддержки на каждом этапе.
Этот студент использовал большое количество промтов со значительными вариациями, но без видимой стратегии. Промты резко менялись по фокусу и стилю (например, от формального к разговорному, от широкого к узкому) без чёткой прогрессии. Эта стратегия воплощает неструктурированный эксперимент, характерный для опыта новичка, часто приводящий к путанице и неэффективному использованию времени, хотя иногда может давать креативные результаты.
Исследование не обнаружило простой корреляции между количеством промтов и качеством итогового результата. Стратегия C (Структурированный исследователь) часто давала текст, наиболее соответствующий задаче, не обязательно за счёт большего количества промтов, а за счёт наиболее стратегических и качественных промтов. Качество определялось конкретностью, предоставлением контекста и декомпозицией задачи. Один хорошо составленный промт (например, «Напиши убедительное эссе объёмом 300 слов для школьного журнала в защиту установки большего количества урн для переработки на территории кампуса, используя две статистики и призыв к действию») мог превзойти дюжину расплывчатых.
Стратегия C (Структурированная) неизменно давала итоговые черновики с наивысшими оценками независимых экспертов, несмотря на то что не всегда использовалось больше всего шагов взаимодействия. Стратегия D (Метод проб и ошибок) показала наибольший разброс в качестве результатов.
Стратегии наглядно иллюстрируют различные уровни неявной грамотности в области ИИ. Студенты, следующие стратегиям A и D, не имели функциональной ментальной модели того, как ChatGPT обрабатывает запросы. В отличие от них, студенты стратегий B и C демонстрировали зарождающееся понимание ИИ как стохастической системы, следующей инструкциям. Они интуитивно понимали, что более чёткие, структурированные входные данные приводят к более предсказуемым и полезным результатам. Этот вывод напрямую поддерживает призывы таких организаций, как Международное общество технологий в образовании (ISTE), интегрировать основы грамотности в области ИИ в учебные программы для школьников.
Для понимания этих стратегий необходим технический взгляд. ChatGPT и подобные модели основаны на архитектуре Transformer и по своей сути являются предсказателями следующего токена. Вероятность генерации конкретной выходной последовательности $O$ при заданном входном промте $P$ моделируется как: $$P(O|P) = \prod_{t=1}^{|O|} P(o_t | P, o_1, ..., o_{t-1})$$ где $o_t$ — токен на позиции $t$. Промт студента $P$ задаёт начальный контекст и распределение вероятностей для вывода.
Пример структуры анализа: Мы можем смоделировать сессию инженерии промтов студента как конечный автомат. Пусть Состояние (S) будет текущим контекстным окном разговора (последние $k$ токенов). Действие (A) — это следующий промт студента. Вознаграждение (R) — это воспринимаемая полезность ответа ИИ (например, субъективная оценка от 1 до 5). Цель студента — изучить политику $\pi$, которая отображает состояния в действия для максимизации совокупного вознаграждения. Четыре стратегии представляют различные, часто неоптимальные, политики исследования для этой проблемы обучения с подкреплением, с которой сталкивается пользователь-человек.
Описание диаграммы: Концептуальная диаграмма отображала бы Конкретность промта (ось X) в зависимости от Декомпозиции задачи (ось Y). Стратегия A (Минималист) группировалась бы в квадранте низких значений. Стратегия D (Метод проб и ошибок) показала бы разбросанное облако точек по всему графику. Стратегия B (Итеративный шлифовщик) показала бы горизонтальное движение вправо (увеличение конкретности). Стратегия C (Структурированный исследователь) занимала бы квадрант высоких значений, демонстрируя как высокую конкретность, так и активное использование декомпозиции задачи в своих промтах.
Ключевое следствие: Предоставление студентам возможности самостоятельно открывать для себя инженерию промтов методом проб и ошибок педагогически неэффективно и несправедливо. Это благоприятствует студентам, которые естественным образом развивают стратегическое мышление (Стратегия C), и ставит в невыгодное положение остальных.
Практическая стратегия: Явное, структурированное обучение инженерии промтов должно быть интегрировано в педагогику письма для изучающих английский как иностранный. Это включает:
Будущие исследования и разработки:
Ключевая идея: Это исследование на самом деле не о ChatGPT; это яркое откровение о неподготовленном человеке в цикле обратной связи «человек-ИИ». Инструмент экспоненциально более способен, чем умение пользователя им управлять. Четыре стратегии — это не просто модели поведения; это диагностические маркеры новой формы цифровой неграмотности. Настоящий пробел на рынке — не в лучшей языковой модели, а в лучшем интерфейсном слое для человека, который обучает стратегии взаимодействия в реальном времени.
Логика изложения: Статья правильно определяет проблему (метод проб и ошибок является стандартным) и предоставляет элегантные эмпирические доказательства через таксономию стратегий. Логический скачок, который она делает — и это крайне важно — заключается в том, что эти модели поведения новичков не являются временной фазой. Без вмешательства стратегии Минималиста и Исследователя методом проб и ошибок могут закрепиться как постоянные, неоптимальные модели использования, закрепляя асимметрию власти, при которой пользователь следует настройкам инструмента по умолчанию, а не управляет им. Это согласуется с более широкими проблемами в исследованиях HCI, такими как обсуждение «предвзятости автоматизации» и «угасания навыков» в высокоавтоматизированных системах.
Сильные и слабые стороны: Сильная сторона — это её обоснованная, наблюдательная методология. Записи экрана не лгут. Главный недостаток, косвенно признанный, — это масштаб. Четыре стратегии, выявленные на ограниченной выборке, являются убедительными архетипами, а не окончательными категориями. Исследование также обходит стороной очевидную проблему: оценку. Если Минималист получает проходной балл от перегруженного учителя за эссе, сгенерированное ИИ, какой у него стимул изучать инженерию промтов? Рекомендации статьи в области образования зависят от системы, которая ценит процесс больше, чем результат, чего нет в большинстве современных систем образовательной оценки.
Практические выводы: Для инвесторов и разработчиков в сфере EdTech вывод очевиден: следующая волна создания ценности — в структурировании инженерии промтов. Представьте себе Grammarly для промтов — надстройку, которая анализирует первоначальную расплывчатую команду студента и предлагает: «Попробуйте добавить целевую аудиторию и количество слов. Нажмите здесь, чтобы увидеть пример». Для администраторов школ задача состоит в том, чтобы финансировать профессиональное развитие не только по использованию ИИ, но и по обучению педагогике взаимодействия с ИИ. Это исследование предоставляет идеальные доказательства для обоснования этой статьи бюджета. Наконец, для исследователей структура стратегий — это воспроизводимая линза. Примените её к профессионалам, использующим ИИ для программирования (GitHub Copilot), дизайна или юридических исследований. Я предсказываю, что вы обнаружите те же четыре архетипа, доказывая, что это фундаментальная проблема взаимодействия человека и компьютера, а не только вопрос изучения английского как иностранного.