Table des matières
1. Introduction
ChatGPT, un chatbot d'IA générative de pointe (SOTA), a gagné une immense popularité pour son potentiel à transformer l'éducation, en particulier dans la rédaction en anglais langue étrangère (EFL). Cependant, une collaboration efficace avec ChatGPT exige que les élèves maîtrisent l'ingénierie de prompts — la compétence consistant à formuler des instructions précises pour obtenir les résultats souhaités. Cet article examine le contenu et les schémas des prompts d'élèves EFL du secondaire lorsqu'ils accomplissent une tâche d'écriture avec ChatGPT pour la première fois. À travers une étude de cas de quatre parcours distincts, les auteurs illustrent les processus d'essais-erreurs que les élèves traversent et soulignent la nécessité d'un enseignement explicite de l'ingénierie de prompts dans les classes d'EFL.
2. Revue de la littérature
2.1 Ingénierie de prompts dans l'éducation
L'ingénierie de prompts est une compétence essentielle en matière de littératie en IA (Long & Magerko, 2020). Les utilisateurs non techniques ont souvent du mal à formuler des prompts efficaces, ce qui entraîne des cycles d'essais-erreurs. La recherche montre qu'un encadrement structuré peut améliorer la qualité des prompts et la pertinence des résultats (Zamfirescu-Pereira et al., 2023).
2.2 Rédaction en EFL avec des chatbots
Les chatbots comme ChatGPT peuvent soutenir la rédaction en EFL en fournissant des commentaires en temps réel, en générant des idées et en modélisant des structures linguistiques. Cependant, les élèves doivent apprendre à affiner itérativement leurs prompts pour les aligner sur les objectifs de la tâche (Guo et al., 2023).
3. Méthodologie
3.1 Participants et cadre
Les participants étaient 20 élèves EFL du secondaire à Hong Kong, âgés de 14 à 16 ans, avec un niveau d'anglais intermédiaire. Ils ont utilisé ChatGPT sur des iPads pour la première fois afin de rédiger un essai argumentatif de 300 mots.
3.2 Collecte de données
Les données ont été collectées via des enregistrements d'écran des iPads, capturant tous les prompts et les réponses de ChatGPT. Les chercheurs ont également mené des entretiens post-tâche pour comprendre le raisonnement des élèves.
3.3 Cadre analytique
L'analyse a utilisé une approche de théorisation ancrée pour catégoriser les prompts par contenu (par exemple, instruction, contexte, format) et par quantité (nombre de prompts par tâche). Quatre parcours distincts ont émergé des données.
4. Résultats : Quatre parcours d'ingénierie de prompts
4.1 Parcours A : Itération minimaliste
Les élèves ont utilisé 2 à 3 prompts courts (par exemple, « Rédige un essai sur la pollution »). Ils ont rarement révisé leurs prompts en fonction des résultats de ChatGPT, ce qui a donné des réponses génériques. Ce parcours reflète un faible engagement dans l'ingénierie de prompts.
4.2 Parcours B : Raffinement structuré
Les élèves ont commencé par un prompt large, puis ont ajouté des contraintes spécifiques (par exemple, « Inclus trois arguments et un contre-argument »). Ils ont utilisé 4 à 6 prompts, montrant une amélioration itérative de la qualité des résultats.
4.3 Parcours C : Exploration divergente
Les élèves ont expérimenté différents styles de prompts (par exemple, jeu de rôle, changements de format). Ils ont utilisé 7 à 10 prompts mais manquaient d'une stratégie claire, ce qui a conduit à des résultats incohérents.
4.4 Parcours D : Décomposition stratégique
Les élèves ont divisé la tâche en sous-tâches (par exemple, « Génère d'abord un plan, puis rédige l'introduction »). Ils ont utilisé 8 à 12 prompts avec une grande spécificité, obtenant les essais les plus cohérents et pertinents.
5. Discussion
5.1 Aperçu principal
L'étude révèle que l'ingénierie de prompts des élèves EFL est très variable. La décomposition stratégique (Parcours D) donne les meilleurs résultats, mais la plupart des élèves adoptent par défaut des approches minimalistes ou divergentes. Cela souligne une lacune critique dans l'éducation à la littératie en IA.
5.2 Logique de progression
La progression du Parcours A au D montre une corrélation claire entre la sophistication des prompts et la qualité des résultats. Cependant, l'absence d'instruction explicite signifie que les élèves atteignent rarement le Parcours D sans guidance.
5.3 Forces et faiblesses
Forces : L'étude fournit des données qualitatives riches issues de contextes de classe réels, offrant des aperçus authentiques du comportement des élèves. Faiblesses : La petite taille de l'échantillon (n=20) limite la généralisabilité. L'étude ne contrôle pas non plus l'exposition préalable à l'IA.
5.4 Recommandations pratiques
Les éducateurs devraient intégrer l'ingénierie de prompts dans les programmes d'EFL, en apprenant aux élèves à décomposer les tâches, à utiliser des contraintes spécifiques et à affiner itérativement leurs prompts. Les écoles devraient fournir un encadrement structuré, comme des modèles de prompts et une révision par les pairs des prompts.
6. Analyse originale
Cette étude apporte une contribution opportune en cartographiant empiriquement la manière dont les utilisateurs novices d'EFL interagissent avec ChatGPT. Les quatre parcours font écho aux résultats de la recherche en interaction homme-machine, où les utilisateurs tombent souvent dans des comportements de « satisficing » (Simon, 1956) — accepter le premier résultat acceptable plutôt que d'optimiser. Le parcours de décomposition stratégique s'aligne sur le concept de « chain-of-thought prompting » (Wei et al., 2022), qui améliore le raisonnement dans les grands modèles de langage. Cependant, la dépendance de l'étude à une seule tâche d'écriture et à un petit échantillon limite sa validité externe. Les recherches futures devraient explorer des interventions longitudinales qui enseignent l'ingénierie de prompts comme une compétence métacognitive. Les auteurs appellent à juste titre à intégrer la littératie en IA dans les programmes d'EFL, mais ils ne fournissent pas de cadre pédagogique concret. Une approche plus actionnable serait de développer une « grille d'évaluation de l'ingénierie de prompts » qui guide les élèves des stratégies de base aux stratégies avancées. De plus, l'étude n'aborde pas les préoccupations éthiques, telles que la dépendance excessive à l'IA ou le plagiat, qui sont cruciales dans les contextes éducatifs. Malgré ces limites, le travail est une première étape précieuse pour comprendre comment les élèves apprennent à collaborer avec l'IA générative.
7. Détails techniques et formulation mathématique
L'ingénierie de prompts peut être formalisée comme un problème d'optimisation. Soit $P$ l'ensemble de tous les prompts possibles, et $O$ le résultat de ChatGPT pour un prompt $p \in P$. L'objectif de l'élève est de trouver $p^*$ qui maximise la qualité du résultat $Q(O)$ sous les contraintes de la tâche $C$ :
$$p^* = \arg\max_{p \in P} Q(\text{ChatGPT}(p)) \quad \text{s.t.} \quad C(p) \leq \epsilon$$
En pratique, les élèves effectuent une recherche gloutonne, mettant à jour itérativement $p_{t+1} = p_t + \Delta_t$, où $\Delta_t$ est une modification basée sur le résultat précédent. Les quatre parcours représentent différentes stratégies de recherche : le Parcours A utilise un petit $\Delta_t$, le Parcours B utilise un $\Delta_t$ structuré, le Parcours C utilise un $\Delta_t$ aléatoire, et le Parcours D utilise une décomposition hiérarchique.
8. Résultats expérimentaux et description du diagramme
Figure 1 : Aperçu des parcours d'ingénierie de prompts
Un diagramme de flux montrant quatre branches partant d'un nœud central intitulé « Tâche d'écriture ». Chaque branche représente un parcours (A, B, C, D) avec des flèches indiquant les itérations de prompts. Le Parcours D montre des sous-boucles pour la génération du plan, de l'introduction, du corps et de la conclusion. Le diagramme utilise un code couleur : rouge pour le Parcours A (minimaliste), bleu pour le B (structuré), vert pour le C (divergent) et or pour le D (stratégique).
Tableau 1 : Indicateurs clés par parcours
| Parcours | Prompts moyens | Qualité du résultat (1-5) | Temps (min) |
|---|---|---|---|
| A | 2,5 | 2,1 | 8 |
| B | 5,0 | 3,4 | 15 |
| C | 8,5 | 2,8 | 22 |
| D | 10,0 | 4,2 | 28 |
Le Parcours D atteint la qualité de résultat la plus élevée mais nécessite plus de temps et de prompts, suggérant un compromis entre efficience et efficacité.
9. Exemple de cadre analytique
Exemple de cas : Élève S7 (Parcours D)
Prompt 1 : « Génère un plan en trois points pour un essai argumentatif sur les uniformes scolaires. »
Prompt 2 : « Rédige un paragraphe d'introduction basé sur le plan. Utilise une accroche et un énoncé de thèse clair. »
Prompt 3 : « Développe le premier paragraphe du corps. Inclus une phrase de sujet, des preuves et une explication. »
Prompt 4 : « Ajoute un paragraphe de contre-argument et réfute-le. »
Prompt 5 : « Rédige une conclusion qui résume les points principaux et reformule la thèse. »
Cette stratégie de décomposition reflète le processus d'écriture enseigné dans les classes d'EFL, démontrant comment l'ingénierie de prompts peut être alignée sur les meilleures pratiques pédagogiques.
10. Applications et orientations futures
Les résultats suggèrent plusieurs orientations futures : (1) Développement de programmes de littératie en IA qui enseignent explicitement la décomposition des prompts et le raffinement itératif. (2) Intégration de l'ingénierie de prompts dans les programmes de formation des enseignants. (3) Conception de systèmes de tutorat adaptatifs fournissant des commentaires en temps réel sur la qualité des prompts. (4) Études longitudinales suivant l'évolution des compétences en ingénierie de prompts des élèves au fil du temps. (5) Exploration de cadres éthiques pour garantir une utilisation responsable de l'IA dans l'éducation. Alors que l'IA générative devient omniprésente, l'ingénierie de prompts sera une compétence fondamentale, comparable à la littératie numérique dans les années 1990.
11. Références
- Guo, K., et al. (2023). Second language writing and AI chatbots. Computers & Education, 198, 104789.
- Long, D., & Magerko, B. (2020). What is AI literacy? Proceedings of the 2020 CHI Conference, 1-13.
- Simon, H. A. (1956). Rational choice and the structure of the environment. Psychological Review, 63(2), 129-138.
- Wei, J., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. NeurIPS 2022.
- Zamfirescu-Pereira, J. D., et al. (2023). Why Johnny can't prompt. Communications of the ACM, 66(8), 64-73.