Kajian Kes: Laluan Kejuruteraan Prompt Pelajar Sekolah Menengah EFL dengan ChatGPT untuk Tugasan Penulisan

1. Pengenalan

Kemunculan bot sembang AI generatif tercanggih (SOTA) seperti ChatGPT membentangkan peluang dan cabaran untuk pendidikan, terutamanya dalam pembelajaran bahasa. Kertas kerja ini menyiasat bagaimana pelajar sekolah menengah Bahasa Inggeris sebagai Bahasa Asing (EFL), sebagai pengguna baharu, melibatkan diri dalam kejuruteraan prompt—kemahiran merangka arahan untuk AI—untuk menyelesaikan tugasan penulisan. Masalah terasnya ialah kerjasama berkesan dengan ChatGPT bukanlah intuitif; ia memerlukan kemahiran yang dipelajari yang ramai pelajar tidak miliki, membawa kepada proses cuba-jaya yang tidak cekap. Kajian ini bertujuan untuk memetakan pelbagai laluan yang diambil pelajar, menganalisis kandungan, kualiti, dan evolusi prompt mereka untuk memaklumkan strategi pedagogi bagi mengintegrasikan literasi AI ke dalam kelas penulisan EFL.

2. Metodologi

Penyelidikan ini menggunakan pendekatan kajian kes kualitatif. Data dikumpulkan daripada rakaman skrin iPad pelajar sekolah menengah EFL di Hong Kong yang menggunakan ChatGPT dan bot sembang SOTA serupa buat kali pertama untuk menyelesaikan tugasan penulisan piawai. Analisis memfokuskan pada pemeriksaan terperinci prompt yang dihasilkan pelajar, urutannya (laluan), dan output AI yang sepadan. Kajian mengenal pasti empat laluan arketip berbeza berdasarkan corak interaksi, kecanggihan prompt, dan pendekatan strategik.

3. Kajian Kes: Empat Laluan Kejuruteraan Prompt

Analisis mendedahkan empat corak interaksi utama, mewakili tahap penglibatan dan pemikiran strategik yang berbeza.

3.1. Laluan A: Minimalis

Pelajar dalam laluan ini menggunakan sangat sedikit prompt, selalunya kabur (cth., "Tulis esei tentang pencemaran"). Mereka menunjukkan penglibatan metakognitif yang rendah, menerima output pertama AI dengan semakan atau spesifikasi yang minimum. Laluan ini menonjolkan kekurangan asas dalam pemahaman tentang keupayaan AI dan keperluan untuk arahan yang tepat.

3.2. Laluan B: Penyempurna Berulang

Pelajar ini bermula dengan prompt asas tetapi terlibat dalam proses penyempurnaan berurutan. Berdasarkan output awal AI, mereka mengeluarkan arahan susulan seperti "buat lebih panjang," "guna perkataan lebih mudah," atau "tambah contoh." Laluan ini menunjukkan pemahaman yang muncul tentang sifat interaktif dan berulang kerjasama manusia-AI.

3.3. Laluan C: Perancang Berstruktur

Laluan yang lebih maju di mana pelajar cuba menstrukturkan tugasan untuk AI dari awal. Prompt termasuk elemen seperti main peranan ("Anda seorang tutor penulisan"), arahan langkah demi langkah ("Pertama, beri saya tiga idea. Kemudian, gariskan idea pertama"), dan kekangan eksplisit ("Tulis 150 patah perkataan menggunakan kala lampau"). Pendekatan ini menunjukkan perancangan strategik dan model yang lebih jelas tentang cara "memprogram" AI melalui bahasa.

3.4. Laluan D: Penguji Eksploratori

Pelajar ini menggunakan jumlah yang tinggi pelbagai prompt, selalunya eksperimen. Mereka menguji batasan AI dengan permintaan kreatif, luar topik, atau kompleks untuk memahami fungsinya sebelum mengaplikasikannya kepada tugasan teras. Laluan ini mencerminkan minda eksploratori dan celik teknologi tetapi mungkin tidak selalu membawa kepada matlamat tugasan dengan cekap.

4. Keputusan & Analisis

4.1. Corak Kualiti & Kuantiti Prompt

Korelasi yang jelas diperhatikan antara kecanggihan prompt dan kualiti output akhir. Laluan C (Perancang Berstruktur) secara konsisten menghasilkan teks yang paling koheren, sesuai dengan tugasan, dan kaya dari segi linguistik. Output Laluan A (Minimalis) adalah generik dan selalunya tidak tepat sasaran. Kuantiti prompt sahaja (tinggi dalam Laluan D) tidak menjamin kualiti; kualiti strategik (Laluan C) adalah pembeza utama.

Ringkasan Interaksi Prompt

Laluan A (Minimalis): Purata 2-3 prompt; Spesifikasi rendah.
Laluan B (Penyempurna Berulang): Purata 5-8 prompt; Penyempurnaan reaktif.
Laluan C (Perancang Berstruktur): Purata 4-6 prompt; Pra-perancangan tinggi.
Laluan D (Penguji Eksploratori): Purata 10+ prompt; Kepelbagaian tinggi, relevan bercampur.

4.2. Kesan terhadap Hasil Penulisan

Produk penulisan akhir berbeza dengan ketara. Prompt berstruktur membawa kepada output yang lebih memenuhi keperluan tugasan, menggunakan perbendaharaan kata yang lebih sesuai, dan menunjukkan organisasi yang lebih jelas. Prompt minimalis menghasilkan teks yang, walaupun betul tatabahasanya, kekurangan kedalaman dan personalisasi, menyerupai kandungan web generik.

5. Perbincangan: Implikasi untuk Pendidikan Literasi AI

Kajian ini menekankan bahawa menggunakan ChatGPT dengan berkesan adalah kemahiran yang dipelajari, bukan kebolehan semula jadi. Kelaziman laluan minimalis dan penyempurnaan berulang yang tidak cekap dalam kalangan pengguna baharu menandakan jurang kritikal dalam pendidikan semasa. Penulis berhujah untuk pendidikan kejuruteraan prompt eksplisit diintegrasikan ke dalam kurikulum EFL. Ini akan menggerakkan pelajar melangkaui cuba-jaya, melengkapkan mereka dengan kerangka kerja untuk merumuskan arahan jelas, memberikan peranan, menentukan format, dan menyempurnakan output secara berulang—mengubah AI daripada kotak hitam orakel kepada alat kolaboratif.

Wawasan Utama

Kejuruteraan prompt adalah bentuk baharu literasi digital yang penting untuk era AI.
Pendekatan pelajar terhadap AI adalah heterogen, memerlukan pengajaran berbeza.
Kualiti arahan (prompt) secara langsung menentukan kualiti output berbantuan AI.
Tanpa bimbingan, pelajar berisiko membangunkan tabiat interaksi pasif atau tidak cekap dengan AI.

6. Kerangka Teknikal & Analisis

Dari perspektif teknikal, kejuruteraan prompt berinteraksi dengan fungsi kebarangkalian model bahasa asas. Prompt $P$ yang dirangka dengan baik membimbing model $M$ untuk mengambil sampel dari kawasan yang lebih terkekang dan diingini dalam taburan outputnya $D$ untuk konteks tertentu $C$. Proses ini boleh diwakili secara abstrak sebagai memaksimumkan kebarangkalian bersyarat bagi jujukan output yang diingini $O$:

$O^* = \arg\max_{O} P(O | C, P, M)$

Di mana prompt kabur meningkatkan entropi dalam $D$, membawa kepada output generik, prompt spesifik dengan kekangan (peranan, format, gaya) mengurangkan entropi, mengarahkan $M$ ke arah $O^*$ yang lebih disasarkan. Laluan pelajar secara efektif mewakili strategi berbeza untuk memanipulasi kebarangkalian bersyarat ini melalui arahan bahasa semula jadi.

Contoh Kerangka Analisis

Senario: Seorang pelajar mahu ChatGPT membantu menulis perenggan persuasif tentang kitar semula.

Prompt Lemah (Entropi Tinggi): "Tulis tentang kitar semula."
Analisis: Model mempunyai kekangan minimum, berkemungkinan menghasilkan gambaran keseluruhan yang luas, seperti ensiklopedia.
Prompt Kuat (Entropi Rendah): "Bertindak sebagai peguambela alam sekitar. Tulis perenggan persuasif 80 patah perkataan yang ditujukan kepada remaja, meyakinkan mereka untuk mengitar semula botol plastik. Gunakan nada langsung dan mendesak, dan sertakan satu statistik."
Analisis: Prompt ini menentukan peranan (peguambela), audiens (remaja), matlamat (meyakinkan), fokus kandungan (botol plastik), panjang (80 perkataan), nada (langsung, mendesak), dan elemen (statistik). Ia secara dramatik mengecilkan taburan output model.

7. Aplikasi Masa Depan & Hala Tuju Penyelidikan

Penemuan ini membuka beberapa laluan untuk kerja masa depan:

Tutor Prompting Adaptif: Pembangunan tutor berkuasa AI yang menganalisis prompt pelajar dan memberikan maklum balas masa nyata tentang cara memperbaikinya (cth., "Cuba tentukan audiens anda").
Kajian Longitudinal: Menjejaki bagaimana kemahiran kejuruteraan prompt pelajar berkembang dari masa ke masa dengan dan tanpa pengajaran formal.
Perbandingan Rentas Budaya & Linguistik: Menyiasat sama ada strategi kejuruteraan prompt berbeza merentas bahasa dan konteks pendidikan budaya.
Integrasi dengan Pedagogi Penulisan: Penyelidikan tentang bagaimana kerangka kerja kejuruteraan prompt boleh ditenun ke dalam model proses penulisan sedia ada (pra-penulisan, draf, semakan).
Dimensi Etika & Kritikal: Mengembangkan literasi AI melangkaui kecekapan untuk merangkumi penilaian kritikal output AI, pengesanan bias, dan penggunaan etika.

8. Rujukan

Woo, D. J., Guo, K., & Susanto, H. (2023). Cases of EFL Secondary Students’ Prompt Engineering Pathways to Complete a Writing Task with ChatGPT. Manuscript in preparation.
Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information, 13(1), 41.
Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16.
OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
Zhao, W. X., et al. (2023). A Survey of Large Language Models. arXiv preprint arXiv:2303.18223.
The Stanford Center for AI Safety. (n.d.). AI Literacy. Retrieved from https://aisafety.stanford.edu/ai-literacy

Perspektif Penganalisis: Mendekonstruksi Imperatif Kejuruteraan Prompt

Wawasan Teras: Kajian ini bukan sekadar tentang pelajar dan ChatGPT; ia adalah mikrokosmos cabaran interaksi manusia-AI asas dalam era pasca-ChatGPT. Wawasan terasnya ialah "prompting" adalah pengaturcaraan baharu. Empat laluan (Minimalis, Penyempurna Berulang, Perancang Berstruktur, Penguji Eksploratori) bukan sekadar gaya pembelajaran; ia adalah prototaip arketip pengguna yang akan menentukan jurang produktiviti dan kreativiti dalam tenaga kerja yang dipertingkatkan AI. Kertas kerja ini betul mengenal pasti bahawa tanpa pendidikan berstruktur, kebanyakan pengguna akan lalai kepada laluan Minimalis yang tidak cekap atau Penyempurna Berulang cuba-jaya, meninggalkan potensi besar alat seperti GPT-4, seperti yang diterangkan dalam laporan teknikalnya, tidak digunakan.

Aliran Logik & Kekuatan: Kekuatan kertas kerja ini terletak pada pendekatan empirikalnya yang berpijak. Dengan menggunakan rakaman skrin, ia menangkap perjuangan mentah dan tidak ditapis pengguna baharu. Ini menggerakkan wacana melangkaui kerangka kerja teori literasi AI (seperti daripada Long & Magerko) kepada amalan yang boleh diperhatikan. Pengenalpastian Perancang Berstruktur sebagai laluan berprestasi tinggi adalah penting. Ia mengesahkan hipotesis industri bahawa prompting berkesan menyerupai dokumen spesifikasi—jelas, terkekang, dan dikontekskan. Ini selari dengan penyelidikan tentang bagaimana model bahasa besar (LLM) berfungsi sebagai "burung nuri stokastik" yang dipandu oleh taburan kebarangkalian bersyarat; prompt tepat secara matematik mengecilkan ruang output, seperti yang dibincangkan dalam tinjauan komprehensif seperti oleh Zhao et al.

Kelemahan & Titik Buta: Kelemahan utama kajian ini ialah skopnya yang terhad—satu tugasan dengan pengguna kali pertama. Ia tidak menunjukkan sama ada Penguji Eksploratori, yang boleh dikatakan menunjukkan rasa ingin tahu intrinsik dan penerokaan sistem tertinggi, mungkin berkembang menjadi pengguna paling mahir dari masa ke masa. Tambahan pula, ia mengelak dimensi kritikal etika dan literasi kritikal. Seorang pelajar mungkin Perancang Berstruktur yang cemerlang, menghasilkan esei persuasif yang sempurna dengan ChatGPT, tetapi tetap sama sekali tidak kritis terhadap bias, ketidaktepatan fakta, atau kekurangan pemikiran asli dalam output. Seperti yang ditekankan oleh institusi seperti Stanford Center for AI Safety, literasi AI sebenar mesti merangkumi penilaian, bukan sekadar penjanaan.

Wawasan Boleh Tindak: Untuk pendidik dan pembuat dasar, pengambilannya tidak boleh dirunding: Kejuruteraan prompt mesti menjadi komponen teras, dinilai dalam kurikulum literasi digital, bermula sekarang. Ini bukan pilihan. Kajian ini menyediakan pelan: gerakkan pelajar daripada menjadi pengguna pasif output AI (Minimalis) kepada pengarah aktif dan strategik (Perancang Berstruktur). Rancangan pengajaran harus secara eksplisit mengajar kerangka kerja prompt—peranan, audiens, format, nada, contoh (RAFTE). Untuk pembangun teknologi, wawasannya ialah membina "perancah prompt" terus ke dalam antara muka pendidikan—templat interaktif, enjin cadangan, dan prompt metakognitif yang bertanya kepada pengguna, "Adakah anda pertimbangkan untuk menentukan...?" Masa depan bukan milik mereka yang boleh menggunakan AI, tetapi mereka yang boleh memerintahnya dengan ketepatan dan kritikal.