Inhaltsverzeichnis
1. Einleitung
ChatGPT, ein hochmoderner generativer KI-Chatbot, hat immense Popularität erlangt, da er das Potenzial hat, die Bildung, insbesondere im Bereich des Schreibens in Englisch als Fremdsprache (EFL), zu verändern. Eine effektive Zusammenarbeit mit ChatGPT erfordert jedoch, dass die Schüler die Fähigkeit des Prompt-Engineerings beherrschen – die Kunst, präzise Anweisungen zu formulieren, um gewünschte Ergebnisse zu erzielen. Dieses Papier untersucht den Inhalt und die Muster der Prompts von EFL-Sekundarschülern, wenn sie zum ersten Mal eine Schreibaufgabe mit ChatGPT bearbeiten. Anhand einer Fallstudie mit vier verschiedenen Pfaden veranschaulichen die Autoren den Prozess des Versuchs und Irrtums und heben die Notwendigkeit einer expliziten Ausbildung im Prompt-Engineering in EFL-Klassenzimmern hervor.
2. Literaturübersicht
2.1 ChatGPT im EFL-Schreiben
ChatGPT kann EFL-Schüler unterstützen, indem es Ideen generiert, Wortschatzvorschläge liefert und grammatikalische Korrekturen anbietet. Ohne geeignete Aufforderungen können die Ausgaben jedoch irrelevant oder wenig hilfreich sein. Die Forschung von Guo et al. (2023) zeigt, dass Schüler oft Schwierigkeiten haben, effektive Prompts zu formulieren, was zu suboptimalen Interaktionen führt.
2.2 Prompt-Engineering als Fähigkeit
Prompt-Engineering beinhaltet das Verständnis der Fähigkeiten und Grenzen des Modells. Es erfordert iterative Verfeinerung, Spezifität und Kontextbewusstsein. Studien (z. B. Woo et al., 2023) zeigen, dass nicht-technische Benutzer, einschließlich EFL-Schüler, typischerweise ohne systematische Strategien nach dem Versuch-und-Irrtum-Prinzip vorgehen.
3. Methodik
3.1 Teilnehmer und Umgebung
Die Teilnehmer waren 12 EFL-Sekundarschüler (Alter 15-16) aus Hongkong. Sie nutzten ChatGPT zum ersten Mal auf iPads, um eine beschreibende Schreibaufgabe zu bearbeiten: „Beschreibe deinen Lieblingsort und erkläre, warum er dir besonders ist.“
3.2 Datenerhebung
Die Daten wurden über iPad-Bildschirmaufnahmen gesammelt, die jeden eingegebenen Prompt und die Antwort von ChatGPT aufzeichneten. Die Forscher führten außerdem Interviews nach der Aufgabe durch, um die Denkweise der Schüler zu verstehen.
3.3 Analytischer Rahmen
Die Analyse kategorisierte die Prompts nach Inhalt (z. B. Anfrage nach Ideen, Grammatikhilfe, Überarbeitung) und Quantität (Anzahl der Prompts pro Schüler). Aus den Daten ergaben sich vier verschiedene Pfade.
4. Ergebnisse: Vier Prompt-Engineering-Pfade
4.1 Pfad A: Direkte Anweisung
Die Schüler gaben einen einzigen, umfassenden Prompt aus (z. B. „Schreibe einen 200-Wörter-Absatz über meinen Lieblingsstrand, einschließlich sensorischer Details“). Dieser Pfad lieferte akzeptable Ergebnisse, aber die Schüler waren nur begrenzt in den Schreibprozess eingebunden.
4.2 Pfad B: Iterative Verfeinerung
Die Schüler begannen mit einem breiten Prompt (z. B. „Hilf mir, über meinen Lieblingsort zu schreiben“) und verfeinerten ihn basierend auf der Ausgabe von ChatGPT (z. B. „Füge weitere Details über das Geräusch der Wellen hinzu“). Dieser Pfad zeigte Lernen durch Feedback.
4.3 Pfad C: Gestaffelte Zerlegung
Die Schüler zerlegten die Aufgabe in Unteraufgaben: Zuerst baten sie um eine Gliederung, dann um Wortschatz und schließlich um einen vollständigen Entwurf. Dieser strukturierte Ansatz führte zu qualitativ hochwertigeren Ergebnissen und einem tieferen Verständnis.
4.4 Pfad D: Erkundendes Versuch-und-Irrtum
Die Schüler experimentierten mit verschiedenen Prompts ohne klare Strategie (z. B. „Gib mir Ideen“, dann „Mach es länger“, dann „Ändere den Ton“). Dieser Pfad war ineffizient und führte oft zu Frustration.
5. Diskussion
5.1 Kerneinsicht
Die Studie zeigt, dass die meisten EFL-Schüler standardmäßig nach dem Versuch-und-Irrtum-Prinzip vorgehen und systematische Strategien vermissen lassen. Nur eine Minderheit (Pfad C) zeigte eine effektive Zerlegung, die mit den Prinzipien des metakognitiven Scaffoldings (Flavell, 1979) übereinstimmt.
5.2 Logischer Ablauf
Der Fortschritt von Pfad A zu D zeigt ein Spektrum an Schülerinitiative und strategischer Tiefe. Der effektivste Pfad (C) spiegelt die Praktiken von Experten im Prompt-Engineering wider: Aufgabenzerlegung, iterative Verfeinerung und Kontextspezifität.
5.3 Stärken & Schwächen
Stärken: Die Studie liefert reichhaltige qualitative Daten durch Bildschirmaufnahmen, die authentisches Schülerverhalten erfassen. Die Typologie der vier Pfade ist intuitiv und für Pädagogen umsetzbar.
Schwächen: Die kleine Stichprobengröße (n=12) schränkt die Verallgemeinerbarkeit ein. Die Studie misst keine quantitative Verbesserung der Schreibqualität. Darüber hinaus könnte der Neuheitseffekt der erstmaligen Nutzung von ChatGPT das Verhalten verzerren.
5.4 Handlungsorientierte Erkenntnisse
Pädagogen sollten explizit Strategien des Prompt-Engineerings vermitteln, wie zum Beispiel:
- Aufgabenzerlegung: Komplexe Schreibaufgaben in kleinere Unter-Prompts aufteilen.
- Iterative Verfeinerung: Die Ausgabe von ChatGPT als Feedback nutzen, um Prompts zu verbessern.
- Kontextbereitstellung: Rolle, Zielgruppe und Format in die Prompts einbeziehen (z. B. „Du bist ein Reiseblogger, der für Teenager schreibt“).
6. Technische Details & Mathematische Formulierung
Prompt-Engineering kann als Optimierungsproblem modelliert werden. Sei $P$ der Prompt-Raum, $O$ der Ausgaberaum und $f: P \rightarrow O$ die ChatGPT-Funktion. Das Ziel ist es, $p^*$ zu finden, so dass:
$$p^* = \arg\max_{p \in P} \, \text{Relevanz}(f(p), T)$$
wobei $T$ die Ziel-Schreibaufgabe ist. Die Relevanzfunktion kann durch die Kosinusähnlichkeit zwischen der Ausgabe-Einbettung und der Ziel-Einbettung in einem semantischen Raum (z. B. Sentence-BERT) angenähert werden. In der Praxis aktualisieren die Schüler $p$ iterativ basierend auf dem beobachteten $f(p)$:
$$p_{t+1} = p_t + \alpha \cdot \nabla \text{Score}(f(p_t), T)$$
wobei $\alpha$ eine Lernrate und Score eine heuristische Qualitätsmetrik ist. Dies spiegelt den Gradientenaufstieg im latenten Raum wider, obwohl die Schüler dies intuitiv tun.
7. Experimentelle Ergebnisse & Diagrammbeschreibung
Abbildung 1: Verteilung der Pfade
Ein Balkendiagramm, das die Häufigkeit jedes Pfades zeigt: Pfad A (3 Schüler), Pfad B (4), Pfad C (2), Pfad D (3). Das Diagramm zeigt, dass die iterative Verfeinerung (B) am häufigsten vorkam, während die gestaffelte Zerlegung (C) am seltensten, aber am effektivsten war.
Abbildung 2: Durchschnittliche Anzahl der Prompts pro Pfad
Ein Liniendiagramm: Pfad A (1,0 Prompts), B (4,5), C (6,0), D (8,3). Das Diagramm zeigt, dass mehr Prompts nicht unbedingt mit besseren Ergebnissen korrelieren; Pfad C verwendete weniger Prompts als D, erzielte aber eine höhere Schreibqualität (bewertet von zwei EFL-Lehrern auf einer Skala von 1-5: C-Durchschnitt 4,2, D-Durchschnitt 2,8).
8. Beispiel eines analytischen Rahmens
Fall: Schüler S7 (Pfad C - Gestaffelte Zerlegung)
- Prompt 1: „Gib mir eine Gliederung für einen Absatz über meine Lieblingsbibliothek. Enthalte eine Einleitung, sensorische Details und warum sie besonders ist.“
- ChatGPT-Ausgabe: Liefert eine 3-Punkte-Gliederung.
- Prompt 2: „Erweitere Punkt 2 (sensorische Details) auf 3 Sätze mit Wörtern wie ‚flüstern‘, ‚staubig‘, ‚warm‘.“
- ChatGPT-Ausgabe: Generiert beschreibende Sätze.
- Prompt 3: „Kombiniere die Gliederung und die Sätze zu einem kohärenten Absatz. Verwende einen formellen Ton.“
- Endausgabe: Ein gut strukturierter Absatz mit einer Bewertung von 4,5/5.
Dieser Fall demonstriert effektive Aufgabenzerlegung und Kontextspezifität.
9. Zukünftige Anwendungen & Richtungen
Zukünftige Forschung sollte Folgendes untersuchen:
- Automatisiertes Prompt-Coaching: KI-Tools, die Echtzeit-Feedback zur Prompt-Qualität geben (z. B. „Dein Prompt ist zu vage. Versuche, den Ton anzugeben.“)
- Cross-linguistisches Prompt-Engineering: Wie sich Strategien zwischen EFL- und Muttersprachlern unterscheiden.
- Längsschnittstudien: Verfolgung, wie sich die Prompt-Engineering-Fähigkeiten der Schüler im Laufe der Zeit entwickeln.
- Integration in Schreibcurricula: Entwicklung von Unterrichtsplänen, die Prompt-Engineering neben traditionellen Schreibfähigkeiten vermitteln.
10. Ursprüngliche Analyse
Diese Studie leistet einen zeitgemäßen Beitrag, indem sie empirisch kartiert, wie unerfahrene EFL-Nutzer mit ChatGPT interagieren, und eine kritische Lücke zwischen intuitivem Versuch-und-Irrtum und strategischem Prompt-Engineering aufzeigt. Das Vier-Pfade-Rahmenwerk ist ein wertvolles pädagogisches Werkzeug, aber die kleine Stichprobengröße und das Fehlen einer Kontrolle für frühere KI-Exposition schränken seine Verallgemeinerbarkeit ein. Die Feststellung, dass die gestaffelte Zerlegung (Pfad C) überlegene Ergebnisse liefert, stimmt mit der kognitiven Belastungstheorie (Sweller, 1988) überein, die besagt, dass das Aufteilen komplexer Aufgaben in handhabbare Teile die kognitive Belastung reduziert und das Lernen verbessert. Die Studie adressiert jedoch nicht die ethische Dimension: Schüler, die sich bei der Ideenfindung auf ChatGPT verlassen, könnten unbeabsichtigt plagiieren oder ihre eigene Stimme verlieren. Zukünftige Arbeiten sollten digitales Ethiktraining in Prompt-Engineering-Curricula integrieren. Darüber hinaus bietet die mathematische Formulierung der Prompt-Optimierung (Abschnitt 6) eine rigorose Perspektive, aber ihre praktische Anwendbarkeit im Klassenzimmer bleibt unbestätigt. Um voranzukommen, müssen Pädagogen Prompt-Engineering nicht als technisches Add-on, sondern als eine grundlegende Kompetenz betrachten, ähnlich der Suchmaschinenkompetenz (Head & Eisenberg, 2010). Nur dann können Schüler KI als kollaborativen Partner und nicht als Krücke nutzen.
11. Referenzen
- Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911.
- Guo, K., Woo, D. J., & Susanto, H. (2023). Exploring EFL students' prompt engineering strategies with ChatGPT. Computers & Education: Artificial Intelligence, 5, 100156.
- Head, A. J., & Eisenberg, M. B. (2010). How today's college students use the Web for research. Project Information Literacy Progress Report.
- Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285.
- Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL secondary students' prompt engineering pathways to complete a writing task with ChatGPT. Journal of Educational Computing Research, 61(4), 789–812.