Table des matières
1. Introduction
ChatGPT, un chatbot d'IA générative de pointe (SOTA), a gagné une immense popularité pour son potentiel à transformer l'éducation, en particulier dans les contextes d'écriture en anglais langue étrangère (EFL). Cependant, une collaboration efficace avec ChatGPT exige que les élèves maîtrisent l'ingénierie de prompts — la compétence consistant à formuler des instructions précises pour obtenir les résultats souhaités. Cet article examine le contenu et les schémas des prompts d'élèves EFL du secondaire lorsqu'ils accomplissent une tâche d'écriture avec ChatGPT pour la première fois. À travers une étude de cas de quatre parcours distincts, les auteurs illustrent le processus d'essais-erreurs et soulignent la nécessité d'un enseignement explicite de l'ingénierie de prompts dans les classes d'EFL.
2. Revue de la littérature
2.1 ChatGPT dans l'écriture en EFL
ChatGPT peut aider les élèves EFL en générant des idées, en fournissant des suggestions de vocabulaire et en offrant des corrections grammaticales. Cependant, sans un prompt approprié, les résultats peuvent être non pertinents ou inutiles. Les recherches de Guo et al. (2023) indiquent que les élèves ont souvent du mal à formuler des prompts efficaces, ce qui conduit à des interactions sous-optimales.
2.2 L'ingénierie de prompts en tant que compétence
L'ingénierie de prompts implique de comprendre les capacités et les limites du modèle. Elle nécessite un raffinement itératif, une spécificité et une conscience contextuelle. Des études (par exemple, Woo et al., 2023) montrent que les utilisateurs non techniques, y compris les élèves EFL, ont tendance à procéder par essais-erreurs sans stratégies systématiques.
3. Méthodologie
3.1 Participants et cadre
Les participants étaient 12 élèves EFL du secondaire (âgés de 15 à 16 ans) de Hong Kong. Ils ont utilisé ChatGPT sur des iPads pour la première fois pour accomplir une tâche d'écriture descriptive : « Décrivez votre endroit préféré et expliquez pourquoi il est spécial pour vous. »
3.2 Collecte de données
Les données ont été collectées via des enregistrements d'écran des iPads, capturant chaque prompt tapé et la réponse de ChatGPT. Les chercheurs ont également mené des entretiens post-tâche pour comprendre le raisonnement des élèves.
3.3 Cadre d'analyse
L'analyse a catégorisé les prompts par contenu (par exemple, demande d'idées, aide grammaticale, révision) et par quantité (nombre de prompts par élève). Quatre parcours distincts ont émergé des données.
4. Résultats : Quatre parcours d'ingénierie de prompts
4.1 Parcours A : Instruction directe
Les élèves ont émis un seul prompt complet (par exemple, « Écris un paragraphe de 200 mots sur ma plage préférée, incluant des détails sensoriels »). Ce parcours a donné des résultats acceptables mais a limité l'engagement des élèves dans le processus d'écriture.
4.2 Parcours B : Raffinement itératif
Les élèves ont commencé par un prompt large (par exemple, « Aide-moi à écrire sur mon endroit préféré ») et l'ont affiné en fonction de la sortie de ChatGPT (par exemple, « Ajoute plus de détails sur le bruit des vagues »). Ce parcours a démontré un apprentissage par le feedback.
4.3 Parcours C : Décomposition étayée
Les élèves ont divisé la tâche en sous-tâches : d'abord demander un plan, puis demander du vocabulaire, et enfin demander un brouillon complet. Cette approche structurée a donné des résultats de meilleure qualité et une compréhension plus approfondie.
4.4 Parcours D : Exploration par essais-erreurs
Les élèves ont expérimenté avec des prompts variés sans stratégie claire (par exemple, « Donne-moi des idées », puis « Rends-le plus long », puis « Change le ton »). Ce parcours était inefficace et a souvent conduit à de la frustration.
5. Discussion
5.1 Aperçu central
L'étude révèle que la plupart des élèves EFL recourent par défaut à des prompts par essais-erreurs, manquant de stratégies systématiques. Seule une minorité (Parcours C) a démontré une décomposition efficace, ce qui s'aligne sur les principes de l'étayage métacognitif (Flavell, 1979).
5.2 Logique de progression
La progression du Parcours A au D montre un spectre d'autonomie et de profondeur stratégique chez les élèves. Le parcours le plus efficace (C) reflète les pratiques expertes d'ingénierie de prompts : décomposition de tâche, raffinement itératif et spécificité contextuelle.
5.3 Forces et faiblesses
Forces : L'étude fournit des données qualitatives riches grâce aux enregistrements d'écran, capturant le comportement authentique des élèves. La typologie en quatre parcours est intuitive et exploitable pour les éducateurs.
Faiblesses : La petite taille de l'échantillon (n=12) limite la généralisabilité. L'étude ne mesure pas quantitativement l'amélioration de la qualité de l'écriture. De plus, l'effet de nouveauté lié à la première utilisation de ChatGPT peut biaiser le comportement.
5.4 Perspectives exploitables
Les éducateurs devraient enseigner explicitement les stratégies d'ingénierie de prompts, telles que :
- Décomposition de tâche : Diviser les tâches d'écriture complexes en sous-prompts plus petits.
- Raffinement itératif : Utiliser la sortie de ChatGPT comme feedback pour améliorer les prompts.
- Fourniture de contexte : Inclure le rôle, le public et le format dans les prompts (par exemple, « Tu es un blogueur voyage qui écrit pour des adolescents »).
6. Détails techniques et formulation mathématique
L'ingénierie de prompts peut être modélisée comme un problème d'optimisation. Soit $P$ l'espace des prompts, $O$ l'espace des sorties, et $f: P \rightarrow O$ la fonction ChatGPT. L'objectif est de trouver $p^*$ tel que :
$$p^* = \arg\max_{p \in P} \, \text{Pertinence}(f(p), T)$$
où $T$ est la tâche d'écriture cible. La fonction de pertinence peut être approximée par la similarité cosinus entre le plongement de la sortie et le plongement de la cible dans un espace sémantique (par exemple, Sentence-BERT). En pratique, les élèves mettent à jour itérativement $p$ en fonction de $f(p)$ observé :
$$p_{t+1} = p_t + \alpha \cdot \nabla \text{Score}(f(p_t), T)$$
où $\alpha$ est un taux d'apprentissage et Score est une métrique de qualité heuristique. Cela reflète une ascension de gradient dans l'espace latent, bien que les élèves le fassent intuitivement.
7. Résultats expérimentaux et description du diagramme
Figure 1 : Distribution des parcours
Un diagramme à barres montrant la fréquence de chaque parcours : Parcours A (3 élèves), Parcours B (4), Parcours C (2), Parcours D (3). Le diagramme indique que le raffinement itératif (B) était le plus courant, tandis que la décomposition étayée (C) était la moins courante mais la plus efficace.
Figure 2 : Nombre moyen de prompts par parcours
Un graphique linéaire : Parcours A (1,0 prompt), B (4,5), C (6,0), D (8,3). Le graphique montre qu'un plus grand nombre de prompts n'est pas nécessairement corrélé à de meilleurs résultats ; le Parcours C a utilisé moins de prompts que D mais a obtenu une qualité d'écriture supérieure (évaluée par deux enseignants d'EFL sur une échelle de 1 à 5 : moyenne C 4,2, moyenne D 2,8).
8. Cas d'exemple du cadre d'analyse
Cas : Élève S7 (Parcours C - Décomposition étayée)
- Prompt 1 : « Donne-moi un plan pour un paragraphe sur ma bibliothèque préférée. Inclus une introduction, des détails sensoriels et pourquoi elle est spéciale. »
- Sortie ChatGPT : Fournit un plan en 3 points.
- Prompt 2 : « Développe le point 2 (détails sensoriels) en 3 phrases en utilisant des mots comme 'chuchotement', 'poussiéreux', 'chaud'. »
- Sortie ChatGPT : Génère des phrases descriptives.
- Prompt 3 : « Combine le plan et les phrases en un paragraphe cohérent. Utilise un ton formel. »
- Sortie finale : Un paragraphe bien structuré noté 4,5/5.
Ce cas démontre une décomposition de tâche efficace et une spécificité contextuelle.
9. Applications et orientations futures
Les recherches futures devraient explorer :
- Coaching automatisé de prompts : Des outils d'IA qui fournissent un feedback en temps réel sur la qualité des prompts (par exemple, « Ton prompt est trop vague. Essaie de spécifier le ton. »)
- Ingénierie de prompts cross-linguistique : Comment les stratégies diffèrent pour les apprenants EFL par rapport aux locuteurs natifs.
- Études longitudinales : Suivre l'évolution des compétences en ingénierie de prompts des élèves au fil du temps.
- Intégration dans les programmes d'écriture : Développer des plans de cours qui enseignent l'ingénierie de prompts parallèlement aux compétences d'écriture traditionnelles.
10. Analyse originale
Cette étude apporte une contribution opportune en cartographiant empiriquement comment les apprenants EFL novices interagissent avec ChatGPT, révélant un écart critique entre les essais-erreurs intuitifs et l'ingénierie de prompts stratégique. Le cadre en quatre parcours est un outil pédagogique précieux, mais la petite taille de l'échantillon et l'absence de contrôle pour l'exposition préalable à l'IA limitent sa généralisabilité. La constatation que la décomposition étayée (Parcours C) donne des résultats supérieurs s'aligne sur la théorie de la charge cognitive (Sweller, 1988), qui postule que la division de tâches complexes en blocs gérables réduit la charge cognitive et améliore l'apprentissage. Cependant, l'étude n'aborde pas la dimension éthique : les élèves qui comptent sur ChatGPT pour la génération d'idées peuvent par inadvertance plagier ou perdre leur propre voix. Les travaux futurs devraient intégrer la formation à l'éthique numérique dans les programmes d'ingénierie de prompts. De plus, la formulation mathématique de l'optimisation des prompts (Section 6) fournit un cadre rigoureux, mais son applicabilité pratique en classe reste non validée. Pour avancer, les éducateurs doivent traiter l'ingénierie de prompts non comme un ajout technique, mais comme une compétence de littératie fondamentale, analogue à la littératie des moteurs de recherche (Head & Eisenberg, 2010). Ce n'est qu'ainsi que les élèves pourront exploiter l'IA comme un partenaire collaboratif plutôt que comme une béquille.
11. Références
- Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911.
- Guo, K., Woo, D. J., & Susanto, H. (2023). Exploring EFL students' prompt engineering strategies with ChatGPT. Computers & Education: Artificial Intelligence, 5, 100156.
- Head, A. J., & Eisenberg, M. B. (2010). How today's college students use the Web for research. Project Information Literacy Progress Report.
- Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285.
- Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL secondary students' prompt engineering pathways to complete a writing task with ChatGPT. Journal of Educational Computing Research, 61(4), 789–812.