Fallstudie: Prompt-Engineering-Pfade von EFL-Schülern der Sekundarstufe mit ChatGPT für Schreibaufgaben

1. Einleitung

Das Aufkommen modernster (State-of-the-Art, SOTA) generativer KI-Chatbots wie ChatGPT bietet sowohl Chancen als auch Herausforderungen für den Bildungsbereich, insbesondere im Sprachlernkontext. Diese Arbeit untersucht, wie Schüler der Sekundarstufe, die Englisch als Fremdsprache (EFL) lernen, als Anfänger Prompt Engineering betreiben – die Fähigkeit, Anweisungen für KI zu formulieren – um eine Schreibaufgabe zu bewältigen. Das Kernproblem besteht darin, dass eine effektive Zusammenarbeit mit ChatGPT nicht intuitiv ist; sie erfordert eine erlernbare Fähigkeit, die vielen Schülern fehlt, was zu ineffizienten Trial-and-Error-Prozessen führt. Ziel dieser Studie ist es, die unterschiedlichen Pfade der Schüler nachzuzeichnen, indem Inhalt, Qualität und Entwicklung ihrer Prompts analysiert werden, um pädagogische Strategien für die Integration von KI-Kompetenz in den EFL-Schreibunterricht zu informieren.

2. Methodik

Diese Forschung verwendet einen qualitativen Fallstudienansatz. Die Daten wurden aus iPad-Bildschirmaufzeichnungen von EFL-Schülern der Sekundarstufe in Hongkong gewonnen, die ChatGPT und ähnliche SOTA-Chatbots erstmals zur Bearbeitung einer standardisierten Schreibaufgabe nutzten. Die Analyse konzentrierte sich auf eine detaillierte Untersuchung der von den Schülern generierten Prompts, ihrer Sequenzen (Pfade) und der entsprechenden KI-Ausgaben. Basierend auf Interaktionsmustern, Prompt-Sophistikation und strategischem Vorgehen identifizierte die Studie vier distinkte archetypische Pfade.

3. Fallstudien: Vier Prompt-Engineering-Pfade

Die Analyse ergab vier primäre Interaktionsmuster, die unterschiedliche Grade der Auseinandersetzung und strategischen Denkweise repräsentieren.

3.1. Pfad A: Der Minimalist

Schüler auf diesem Pfad verwendeten sehr wenige, oft vage Prompts (z.B. „Schreibe einen Aufsatz über Umweltverschmutzung“). Sie zeigten ein geringes metakognitives Engagement und akzeptierten die erste KI-Ausgabe mit minimaler Überarbeitung oder Präzisierung. Dieser Pfad verdeutlicht ein grundlegendes Unverständnis der KI-Fähigkeiten und der Notwendigkeit präziser Anweisungen.

3.2. Pfad B: Der Iterative Verfeinerer

Diese Schüler begannen mit einem einfachen Prompt, beteiligten sich jedoch an einem sequenziellen Verfeinerungsprozess. Basierend auf der ersten KI-Ausgabe gaben sie Folgeanweisungen wie „mach es länger“, „verwende einfachere Wörter“ oder „füge ein Beispiel hinzu“. Dieser Pfad zeigt ein wachsendes Verständnis der interaktiven und iterativen Natur der Mensch-KI-Kollaboration.

3.3. Pfad C: Der Strukturierte Planer

Ein fortgeschrittenerer Pfad, bei dem Schüler versuchten, die Aufgabe für die KI von Anfang an zu strukturieren. Prompts beinhalteten Elemente wie Rollenspiel („Du bist ein Schreibtutor“), Schritt-für-Schritt-Anweisungen („Gib mir zuerst drei Ideen. Erstelle dann eine Gliederung für die erste Idee“) und explizite Vorgaben („Schreibe 150 Wörter im Präteritum“). Dieser Ansatz demonstriert strategische Planung und ein klareres Modell davon, wie man die KI durch Sprache „programmiert“.

3.4. Pfad D: Der Explorative Tester

Diese Schüler verwendeten eine große Anzahl verschiedener, oft experimenteller Prompts. Sie testeten die Grenzen der KI mit kreativen, themenfremden oder komplexen Anfragen, um deren Funktionalität zu verstehen, bevor sie sie auf die Kernaufgabe anwendeten. Dieser Pfad spiegelt eine explorative, technikaffine Denkweise wider, führt aber nicht immer effizient zum Aufgaben-Ziel.

4. Ergebnisse & Analyse

4.1. Muster von Prompt-Qualität und -Quantität

Es wurde eine klare Korrelation zwischen der Ausgereiftheit der Prompts und der Qualität des Endergebnisses beobachtet. Pfad C (Strukturierter Planer) erbrachte durchweg die kohärentesten, aufgabenadäquatesten und sprachlich reichhaltigsten Texte. Die Ausgaben von Pfad A (Minimalist) waren generisch und oft am Ziel vorbei. Die reine Anzahl der Prompts (hoch in Pfad D) garantierte keine Qualität; strategische Qualität (Pfad C) war der entscheidende Unterschied.

Zusammenfassung der Prompt-Interaktion

Pfad A (Minimalist): Durchschn. 2-3 Prompts; Geringe Spezifität.
Pfad B (Iterative Verfeinerer): Durchschn. 5-8 Prompts; Reaktive Verfeinerung.
Pfad C (Strukturierte Planer): Durchschn. 4-6 Prompts; Hohe Vorplanung.
Pfad D (Explorative Tester): Durchschn. 10+ Prompts; Hohe Vielfalt, gemischte Relevanz.

4.2. Auswirkungen auf den Schreiboutput

Die endgültigen Schreibprodukte unterschieden sich erheblich. Strukturierte Prompts führten zu Ausgaben, die die Aufgabenanforderungen besser erfüllten, angemesseneren Wortschatz verwendeten und eine klarere Organisation aufwiesen. Minimalistische Prompts resultierten in Texten, die, obwohl grammatikalisch korrekt, an Tiefe und Personalisierung mangelten und generischen Webinhalten ähnelten.

5. Diskussion: Implikationen für die KI-Kompetenzvermittlung

Die Studie unterstreicht, dass die effektive Nutzung von ChatGPT eine erlernbare Fähigkeit und keine angeborene Begabung ist. Die Verbreitung minimalistischer und ineffizienter iterativer Pfade unter Anfängern signalisiert eine kritische Lücke in der aktuellen Bildung. Die Autoren plädieren für eine explizite Prompt-Engineering-Ausbildung, die in die EFL-Lehrpläne integriert werden sollte. Dies würde Schüler über das Trial-and-Error-Verfahren hinausführen und ihnen Rahmenbedingungen vermitteln, um klare Anweisungen zu formulieren, Rollen zuzuweisen, Formate zu spezifizieren und Ausgaben iterativ zu verfeinern – und so die KI von einer Black-Box-Orakel in ein kollaboratives Werkzeug zu verwandeln.

Wesentliche Erkenntnisse

Prompt Engineering ist eine neue Form der digitalen Kompetenz, die im KI-Zeitalter unerlässlich ist.
Die Herangehensweisen von Schülern an KI sind heterogen und erfordern differenzierten Unterricht.
Die Qualität der Anweisung (Prompt) bestimmt direkt die Qualität der KI-gestützten Ausgabe.
Ohne Anleitung riskieren Schüler, passive oder ineffiziente Interaktionsgewohnheiten mit KI zu entwickeln.

6. Technischer Rahmen & Analyse

Aus technischer Perspektive interagiert Prompt Engineering mit den zugrundeliegenden Wahrscheinlichkeitsfunktionen des Sprachmodells. Ein gut gestalteter Prompt $P$ leitet das Modell $M$ an, für einen gegebenen Kontext $C$ aus einem stärker eingeschränkten und wünschenswerten Bereich seiner Ausgabeverteilung $D$ zu sampeln. Der Prozess kann abstrakt als Maximierung der bedingten Wahrscheinlichkeit einer gewünschten Ausgabesequenz $O$ dargestellt werden:

$O^* = \arg\max_{O} P(O | C, P, M)$

Während ein vager Prompt die Entropie in $D$ erhöht und zu generischen Ausgaben führt, reduziert ein spezifischer Prompt mit Einschränkungen (Rolle, Format, Stil) die Entropie und lenkt $M$ zu einem zielgerichteteren $O^*$. Die Pfade der Schüler repräsentieren effektiv verschiedene Strategien, um diese bedingte Wahrscheinlichkeit durch natürliche Sprachinstruktionen zu manipulieren.

Beispiel für ein Analyse-Framework

Szenario: Ein Schüler möchte, dass ChatGPT hilft, einen überzeugenden Absatz über Recycling zu schreiben.

Schwacher Prompt (Hohe Entropie): „Schreibe über Recycling.“
Analyse: Das Modell hat minimale Einschränkungen und generiert wahrscheinlich einen breiten, enzyklopädieartigen Überblick.
Starker Prompt (Geringe Entropie): „Agieren Sie als Umweltaktivist. Schreiben Sie einen überzeugenden 80-Wörter-Absatz, der sich an Teenager richtet und sie davon überzeugt, Plastikflaschen zu recyceln. Verwenden Sie einen direkten und dringenden Ton und fügen Sie eine Statistik ein.“
Analyse: Dieser Prompt spezifiziert Rolle (Aktivist), Zielgruppe (Teenager), Ziel (überzeugen), inhaltlichen Fokus (Plastikflaschen), Länge (80 Wörter), Ton (direkt, dringend) und Element (Statistik). Er verengt die Ausgabeverteilung des Modells erheblich.

7. Zukünftige Anwendungen & Forschungsrichtungen

Die Ergebnisse eröffnen mehrere Wege für zukünftige Arbeiten:

Adaptive Prompting-Tutoren: Entwicklung KI-gestützter Tutoren, die den Prompt eines Schülers analysieren und Echtzeit-Feedback zur Verbesserung geben (z.B. „Versuchen Sie, Ihre Zielgruppe zu spezifizieren“).
Längsschnittstudien: Verfolgung, wie sich die Prompt-Engineering-Fähigkeiten von Schülern mit und ohne formale Anleitung im Laufe der Zeit entwickeln.
Interkulturelle & linguistische Vergleiche: Untersuchung, ob sich Prompt-Engineering-Strategien zwischen Sprachen und kulturellen Bildungskontexten unterscheiden.
Integration in die Schreibdidaktik: Forschung dazu, wie Prompt-Engineering-Rahmen in bestehende Schreibprozessmodelle (Präwriting, Entwurf, Überarbeitung) eingewoben werden können.
Ethische & kritische Dimensionen: Erweiterung der KI-Kompetenz über Effizienz hinaus, um kritische Bewertung von KI-Ausgaben, Bias-Erkennung und ethischen Gebrauch einzuschließen.

8. Literaturverzeichnis

Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuskript in Vorbereitung.
Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
The Stanford Center for AI Safety. (n.d.). AI Literacy. Abgerufen von https://aisafety.stanford.edu/ai-literacy

Analystenperspektive: Dekonstruktion des Prompt-Engineering-Imperativs

Kernerkenntnis: Diese Studie handelt nicht nur von Schülern und ChatGPT; sie ist ein Mikrokosmos der grundlegenden Mensch-KI-Interaktionsherausforderung im post-ChatGPT-Zeitalter. Die Kernerkenntnis ist, dass „Prompting“ das neue Programmieren ist. Die vier Pfade (Minimalist, Iterative Verfeinerer, Strukturierter Planer, Explorative Tester) sind nicht nur Lernstile; sie sind Prototypen von Nutzerarchetypen, die Produktivitäts- und Kreativitätslücken in der KI-augmentierten Arbeitswelt definieren werden. Die Arbeit identifiziert richtig, dass ohne strukturierte Bildung die meisten Nutzer auf die ineffizienten Minimalist- oder Trial-and-Error-Iterative-Pfade zurückfallen werden, wodurch das enorme Potenzial von Werkzeugen wie GPT-4, wie in dessen technischem Bericht detailliert, ungenutzt bleibt.

Logischer Aufbau & Stärken: Die Stärke der Arbeit liegt in ihrem fundierten, empirischen Ansatz. Durch die Verwendung von Bildschirmaufzeichnungen erfasst sie den rohen, ungefilterten Kampf des Anfängers. Dies verlagert den Diskurs über theoretische Rahmen der KI-Kompetenz (wie die von Long & Magerko) hinaus in die beobachtbare Praxis. Die Identifizierung des Strukturierten Planers als leistungsstarken Pfad ist entscheidend. Sie validiert die Branchenhypothese, dass effektives Prompting einem Spezifikationsdokument ähnelt – klar, eingeschränkt und kontextualisiert. Dies stimmt mit der Forschung darüber überein, wie große Sprachmodelle (LLMs) als „stochastische Papageien“ fungieren, die von bedingten Wahrscheinlichkeitsverteilungen geleitet werden; ein präziser Prompt verengt den Ausgaberaum mathematisch, wie in umfassenden Übersichten wie der von Zhao et al. diskutiert.

Schwächen & blinde Flecken: Die primäre Schwäche der Studie ist ihr begrenzter Umfang – eine einzelne Aufgabe mit Erstnutzern. Sie zeigt nicht, ob der Explorative Tester, der wohl die höchste intrinsische Neugier und Systemexploration demonstriert, sich mit der Zeit zum versiertesten Nutzer entwickeln könnte. Darüber hinaus umgeht sie die kritische Dimension der ethischen und kritischen Kompetenz. Ein Schüler könnte ein brillanter Strukturierter Planer sein und mit ChatGPT einen makellosen, überzeugenden Aufsatz produzieren, aber völlig unkritisch gegenüber Verzerrungen, faktischen Ungenauigkeiten oder mangelnder Originalität in der Ausgabe bleiben. Wie Institutionen wie das Stanford Center for AI Safety betonen, muss echte KI-Kompetenz Evaluation umfassen, nicht nur Generierung.

Umsetzbare Erkenntnisse: Für Pädagogen und politische Entscheidungsträger ist die Schlussfolgerung nicht verhandelbar: Prompt Engineering muss ab sofort ein zentraler, bewerteter Bestandteil der digitalen Kompetenz-Lehrpläne sein. Dies ist keine Option. Die Studie liefert einen Fahrplan: Führen Sie Schüler davon weg, passive Konsumenten von KI-Ausgaben (Minimalist) zu sein, hin zu aktiven, strategischen Direktoren (Strukturierter Planer). Unterrichtspläne sollten explizit Prompt-Rahmen vermitteln – Rolle, Zielgruppe, Format, Ton, Beispiele (RAFTE). Für Technologieentwickler liegt die Erkenntnis darin, „Prompt-Gerüste“ direkt in Bildungsoberflächen einzubauen – interaktive Vorlagen, Vorschlags-Engines und metakognitive Prompts, die Nutzer fragen: „Haben Sie in Betracht gezogen, … zu spezifizieren?“ Die Zukunft gehört nicht denen, die KI nutzen können, sondern denen, die sie mit Präzision und Kritikfähigkeit befehligen können.