Étude de cas : Les parcours d'ingénierie des prompts avec ChatGPT chez des lycéens EFL pour des tâches d'écriture

1. Introduction

L'avènement de chatbots d'IA générative de pointe (SOTA) comme ChatGPT présente à la fois des opportunités et des défis pour l'éducation, en particulier dans l'apprentissage des langues. Cet article étudie comment des lycéens apprenant l'anglais langue étrangère (EFL), en tant qu'utilisateurs novices, s'engagent dans l'ingénierie des prompts — la compétence consistant à formuler des instructions pour l'IA — afin d'accomplir une tâche d'écriture. Le problème central est qu'une collaboration efficace avec ChatGPT n'est pas intuitive ; elle nécessite une compétence acquise que de nombreux élèves ne possèdent pas, conduisant à des processus d'essai-erreur inefficaces. Cette étude vise à cartographier les divers parcours empruntés par les élèves, en analysant le contenu, la qualité et l'évolution de leurs prompts, afin d'éclairer les stratégies pédagogiques pour intégrer la littératie IA dans la classe d'écriture EFL.

2. Méthodologie

Cette recherche utilise une approche qualitative par étude de cas. Les données ont été collectées à partir d'enregistrements d'écran d'iPad de lycéens EFL à Hong Kong utilisant ChatGPT et des chatbots SOTA similaires pour la première fois afin d'accomplir une tâche d'écriture standardisée. L'analyse s'est concentrée sur un examen détaillé des prompts générés par les élèves, leurs séquences (parcours) et les sorties d'IA correspondantes. L'étude a identifié quatre parcours archétypaux distincts basés sur les schémas d'interaction, la sophistication des prompts et l'approche stratégique.

3. Études de cas : Quatre parcours d'ingénierie des prompts

L'analyse a révélé quatre schémas d'interaction principaux, représentant différents niveaux d'engagement et de réflexion stratégique.

3.1. Parcours A : Le Minimaliste

Les élèves de ce parcours utilisaient très peu de prompts, souvent vagues (par exemple, "Écris une dissertation sur la pollution"). Ils montraient un faible engagement métacognitif, acceptant la première sortie de l'IA avec un minimum de révision ou de spécification. Ce parcours met en lumière un manque fondamental de compréhension des capacités de l'IA et du besoin d'instructions précises.

3.2. Parcours B : Le Raffineur Itératif

Ces élèves commençaient par un prompt basique mais s'engageaient dans un processus de raffinement séquentiel. Sur la base de la sortie initiale de l'IA, ils émettaient des commandes de suivi comme "rends-le plus long", "utilise des mots plus simples" ou "ajoute un exemple". Ce parcours montre une compréhension émergente de la nature interactive et itérative de la collaboration humain-IA.

3.3. Parcours C : Le Planificateur Structuré

Un parcours plus avancé où les élèves tentaient de structurer la tâche pour l'IA dès le départ. Les prompts incluaient des éléments comme le jeu de rôle ("Tu es un tuteur en écriture"), des instructions étape par étape ("D'abord, donne-moi trois idées. Ensuite, fais le plan de la première idée") et des contraintes explicites ("Écris 150 mots au passé"). Cette approche démontre une planification stratégique et un modèle plus clair de la façon de "programmer" l'IA par le langage.

3.4. Parcours D : Le Testeur Exploratoire

Ces élèves utilisaient un grand nombre de prompts divers, souvent expérimentaux. Ils testaient les limites de l'IA avec des demandes créatives, hors-sujet ou complexes pour comprendre son fonctionnement avant de l'appliquer à la tâche principale. Ce parcours reflète un état d'esprit exploratoire et technophile mais ne conduit pas toujours efficacement à l'objectif de la tâche.

4. Résultats & Analyse

4.1. Modèles de qualité et de quantité des prompts

Une corrélation claire a été observée entre la sophistication des prompts et la qualité de la sortie finale. Le Parcours C (Planificateur Structuré) produisait systématiquement les textes les plus cohérents, adaptés à la tâche et linguistiquement riches. Les sorties du Parcours A (Minimaliste) étaient génériques et souvent hors-cible. La quantité de prompts seule (élevée dans le Parcours D) ne garantissait pas la qualité ; la qualité stratégique (Parcours C) était le facteur différenciant clé.

Résumé des interactions par prompt

Parcours A (Minimaliste) : Moy. 2-3 prompts ; Faible spécificité.
Parcours B (Raffineur Itératif) : Moy. 5-8 prompts ; Raffinement réactif.
Parcours C (Planificateur Structuré) : Moy. 4-6 prompts ; Pré-planification élevée.
Parcours D (Testeur Exploratoire) : Moy. 10+ prompts ; Grande variété, pertinence mixte.

4.2. Impact sur la production écrite

Les productions écrites finales variaient significativement. Les prompts structurés conduisaient à des sorties qui répondaient mieux aux exigences de la tâche, utilisaient un vocabulaire plus approprié et démontraient une organisation plus claire. Les prompts minimalistes aboutissaient à des textes qui, bien que grammaticalement corrects, manquaient de profondeur et de personnalisation, ressemblant à du contenu web générique.

5. Discussion : Implications pour l'éducation à la littératie IA

L'étude souligne qu'utiliser ChatGPT efficacement est une compétence acquise, et non une capacité innée. La prévalence des parcours minimalistes et itératifs inefficaces chez les novices signale un fossé critique dans l'éducation actuelle. Les auteurs plaident pour une éducation explicite à l'ingénierie des prompts à intégrer dans les programmes EFL. Cela permettrait aux élèves de dépasser l'essai-erreur, en les dotant de cadres pour formuler des instructions claires, attribuer des rôles, spécifier des formats et raffiner les sorties de manière itérative — transformant ainsi l'IA d'un oracle boîte noire en un outil collaboratif.

Principales observations

L'ingénierie des prompts est une nouvelle forme de littératie numérique essentielle à l'ère de l'IA.
Les approches des élèves face à l'IA sont hétérogènes, nécessitant un enseignement différencié.
La qualité de l'instruction (prompt) dicte directement la qualité de la sortie assistée par l'IA.
Sans guidance, les élèves risquent de développer des habitudes d'interaction passives ou inefficaces avec l'IA.

6. Cadre technique & Analyse

D'un point de vue technique, l'ingénierie des prompts interagit avec les fonctions de probabilité du modèle de langage sous-jacent. Un prompt bien conçu $P$ guide le modèle $M$ pour qu'il échantillonne à partir d'une région plus contrainte et souhaitable de sa distribution de sortie $D$ pour un contexte donné $C$. Le processus peut être représenté abstraitement comme la maximisation de la probabilité conditionnelle d'une séquence de sortie souhaitée $O$ :

$O^* = \arg\max_{O} P(O | C, P, M)$

Là où un prompt vague augmente l'entropie dans $D$, conduisant à des sorties génériques, un prompt spécifique avec des contraintes (rôle, format, style) réduit l'entropie, orientant $M$ vers un $O^*$ plus ciblé. Les parcours des élèves représentent effectivement différentes stratégies pour manipuler cette probabilité conditionnelle via des instructions en langage naturel.

Exemple de cadre d'analyse

Scénario : Un élève veut que ChatGPT l'aide à écrire un paragraphe persuasif sur le recyclage.

Prompt faible (Haute entropie) : "Écris sur le recyclage."
Analyse : Le modèle a des contraintes minimales, générant probablement un aperçu large de style encyclopédique.
Prompt fort (Basse entropie) : "Agis en tant que défenseur de l'environnement. Écris un paragraphe persuasif de 80 mots destiné aux adolescents, les convainquant de recycler les bouteilles en plastique. Utilise un ton direct et urgent, et inclus une statistique."
Analyse : Ce prompt spécifie le rôle (défenseur), le public (adolescents), l'objectif (persuader), le contenu ciblé (bouteilles en plastique), la longueur (80 mots), le ton (direct, urgent) et un élément (statistique). Il réduit considérablement la distribution de sortie du modèle.

7. Applications futures & Directions de recherche

Les résultats ouvrent plusieurs pistes pour des travaux futurs :

Tuteurs de prompting adaptatifs : Développement de tuteurs alimentés par l'IA qui analysent le prompt d'un élève et fournissent un retour en temps réel sur la façon de l'améliorer (par exemple, "Essaie de spécifier ton public").
Études longitudinales : Suivi de l'évolution des compétences en ingénierie des prompts des élèves au fil du temps, avec et sans enseignement formel.
Comparaisons interculturelles & linguistiques : Étude pour savoir si les stratégies d'ingénierie des prompts diffèrent selon les langues et les contextes éducatifs culturels.
Intégration à la pédagogie de l'écriture : Recherche sur la façon dont les cadres d'ingénierie des prompts peuvent être intégrés aux modèles existants du processus d'écriture (pré-écriture, rédaction, révision).
Dimensions éthiques & critiques : Élargir la littératie IA au-delà de l'efficacité pour inclure l'évaluation critique des sorties de l'IA, la détection des biais et l'utilisation éthique.

8. Références

Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscrit en préparation.
Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
The Stanford Center for AI Safety. (n.d.). AI Literacy. Récupéré de https://aisafety.stanford.edu/ai-literacy

Perspective de l'analyste : Déconstruire l'impératif de l'ingénierie des prompts

Observation centrale : Cette étude ne concerne pas seulement les élèves et ChatGPT ; c'est un microcosme du défi fondamental de l'interaction humain-IA dans l'ère post-ChatGPT. L'observation centrale est que le "prompting" est la nouvelle programmation. Les quatre parcours (Minimaliste, Raffineur Itératif, Planificateur Structuré, Testeur Exploratoire) ne sont pas seulement des styles d'apprentissage ; ce sont des prototypes d'archétypes d'utilisateurs qui définiront les écarts de productivité et de créativité dans la main-d'œuvre augmentée par l'IA. L'article identifie correctement que sans éducation structurée, la plupart des utilisateurs adopteront par défaut les parcours inefficaces du Minimaliste ou de l'essai-erreur du Raffineur Itératif, laissant un potentiel considérable d'outils comme GPT-4, tel que détaillé dans son rapport technique, inexploité.

Flux logique & Forces : La force de l'article réside dans son approche empirique et ancrée. En utilisant des enregistrements d'écran, il capture la lutte brute et non filtrée du novice. Cela fait évoluer le discours au-delà des cadres théoriques de la littératie IA (comme ceux de Long & Magerko) vers la pratique observable. L'identification du Planificateur Structuré comme le parcours performant est cruciale. Elle valide l'hypothèse de l'industrie selon laquelle un prompt efficace ressemble à un document de spécification — clair, contraint et contextualisé. Cela s'aligne avec la recherche sur le fonctionnement des grands modèles de langage (LLM) comme des "perroquets stochastiques" guidés par des distributions de probabilité conditionnelle ; un prompt précis réduit mathématiquement l'espace de sortie, comme discuté dans des études complètes comme celle de Zhao et al.

Faiblesses & Angles morts : La principale faiblesse de l'étude est sa portée limitée — une seule tâche avec des utilisateurs novices. Elle ne montre pas si le Testeur Exploratoire, démontrant sans doute la plus grande curiosité intrinsèque et l'exploration du système, pourrait devenir l'utilisateur le plus compétent avec le temps. De plus, elle évite la dimension critique de la littératie éthique et critique. Un élève peut être un brillant Planificateur Structuré, produisant une dissertation persuasive impeccable avec ChatGPT, mais rester complètement non critique face aux biais, aux inexactitudes factuelles ou au manque de pensée originale dans la sortie. Comme le soulignent des institutions comme le Stanford Center for AI Safety, une véritable littératie IA doit englober l'évaluation, pas seulement la génération.

Observations actionnables : Pour les éducateurs et les décideurs politiques, la conclusion est non négociable : L'ingénierie des prompts doit être un élément central et évalué des programmes de littératie numérique, dès maintenant. Ce n'est pas facultatif. L'étude fournit un plan : faire passer les élèves du statut de consommateurs passifs de la sortie de l'IA (Minimaliste) à celui de directeurs actifs et stratégiques (Planificateur Structuré). Les plans de cours doivent explicitement enseigner des cadres de prompts — rôle, public, format, ton, exemples (RAFTE). Pour les développeurs technologiques, l'observation est d'intégrer directement un "échafaudage de prompts" dans les interfaces éducatives — modèles interactifs, moteurs de suggestions et prompts métacognitifs qui demandent aux utilisateurs : "Avez-vous pensé à spécifier... ?" L'avenir n'appartient pas à ceux qui peuvent utiliser l'IA, mais à ceux qui peuvent la commander avec précision et esprit critique.