Jadual Kandungan
- 1. Pengenalan
- 2. Kajian Berkaitan
- 3. Metodologi
- 4. Keputusan
- 5. Perbincangan
- 6. Kesimpulan
- 7. Analisis Asal
- 8. Butiran Teknikal dan Rumusan Matematik
- 9. Keputusan Eksperimen dan Penerangan Carta
- 10. Contoh Rangka Kerja Analitikal
- 11. Aplikasi dan Hala Tuju Masa Depan
- 12. Rujukan
1. Pengenalan
Kecerdasan Buatan (AI) telah merevolusikan pendidikan dengan mengubah kaedah pembelajaran dan pengajaran. Model bahasa besar (LLM) seperti OpenAI ChatGPT, Microsoft Bing Chat (BingChat), dan Google Bard mewakili kemajuan ketara dalam domain ini. Kertas kerja ini menilai prestasi mereka pada set data Bahasa Inggeris Peperiksaan Graduasi Sekolah Menengah Vietnam (VNHSGE), menangani tiga soalan penyelidikan: (1) Apakah prestasi ChatGPT, BingChat, dan Bard pada set data Bahasa Inggeris VNHSGE? (2) Bagaimanakah LLM ini dibandingkan dengan pelajar Vietnam dalam kecekapan Bahasa Inggeris? (3) Apakah potensi yang dimiliki oleh LLM untuk pengajaran dan pembelajaran Bahasa Inggeris di Vietnam?
2. Kajian Berkaitan
2.1 Model Bahasa Besar
Kemajuan terkini dalam LLM, terutamanya seni bina BERT dan GPT, telah membolehkan komunikasi seperti manusia. Model ini dilatih pada korpus yang luas dan ditala halus untuk tugas tertentu, menunjukkan keupayaan dalam pendidikan, penjanaan kandungan, dan terjemahan.
2.2 Aplikasi Pendidikan Model Bahasa Besar
LLM telah digunakan dalam pembantu maya, chatbots, dan sistem pembelajaran dalam talian. Kajian oleh Kasneci et al. (2023) dan Kung et al. (2023) menyerlahkan potensi mereka untuk pembelajaran peribadi, walaupun penilaian teliti diperlukan untuk konteks pendidikan yang berbeza.
3. Metodologi
3.1 Set Data
Set data Bahasa Inggeris VNHSGE terdiri daripada soalan aneka pilihan yang merangkumi tatabahasa, kosa kata, pemahaman bacaan, dan kemahiran menulis, direka untuk penilaian peringkat sekolah menengah di Vietnam.
3.2 Metrik Penilaian
Prestasi diukur menggunakan ketepatan (peratusan jawapan betul). Model dinilai pada set soalan yang sama untuk memastikan perbandingan yang adil.
3.3 Persediaan Eksperimen
Setiap model (ChatGPT GPT-3.5, BingChat, dan Google Bard) telah diuji pada set data di bawah keadaan terkawal. Respons direkodkan dan diberi skor berdasarkan skema jawapan rasmi.
4. Keputusan
4.1 Prestasi Keseluruhan
BingChat mencapai ketepatan tertinggi pada 92.4%, diikuti oleh Bard pada 86%, dan ChatGPT pada 79.2%. Keputusan ini menunjukkan variasi ketara dalam prestasi LLM pada tugas yang sama.
4.2 Perbandingan dengan Prestasi Manusia
Ketiga-tiga LLM mengatasi prestasi purata pelajar sekolah menengah Vietnam dalam kecekapan Bahasa Inggeris, menunjukkan potensi mereka sebagai alat pendidikan tambahan.
5. Perbincangan
5.1 Implikasi untuk Pendidikan Bahasa Inggeris
Prestasi unggul BingChat dan Bard menunjukkan bahawa mereka boleh berfungsi sebagai alternatif yang berkesan kepada ChatGPT, terutamanya di kawasan di mana ChatGPT tidak tersedia secara rasmi. Model ini boleh menyokong pembelajaran kendiri, memberikan maklum balas segera, dan meningkatkan hasil pembelajaran.
5.2 Batasan dan Kerja Masa Depan
Batasan termasuk tumpuan pada satu set data dan kekurangan analisis kualitatif tentang penaakulan model. Kerja masa depan harus meneroka set data yang lebih luas, keupayaan berbilang bahasa, dan integrasi ke dalam persekitaran bilik darjah.
6. Kesimpulan
Kajian ini menunjukkan bahawa BingChat, Bard, dan ChatGPT mengatasi prestasi pelajar Vietnam dalam peperiksaan Bahasa Inggeris VNHSGE, dengan BingChat mendahului. Penemuan ini menyokong integrasi LLM ke dalam pendidikan Bahasa Inggeris, menawarkan penyelesaian pembelajaran yang berskala dan mudah diakses.
7. Analisis Asal
Kertas kerja ini menyediakan perbandingan yang tepat pada masanya dan praktikal bagi tiga LLM terkemuka pada ujian Bahasa Inggeris piawai, menangani jurang kritikal dalam literatur mengenai prestasi LLM dalam konteks pendidikan bukan Inggeris. Penemuan bahawa BingChat mengatasi kedua-dua ChatGPT dan Bard adalah sangat ketara, kerana ia mencabar andaian bahawa model paling popular (ChatGPT) semestinya yang terbaik. Ini sejajar dengan penyelidikan yang lebih luas yang menunjukkan bahawa prestasi model boleh berbeza dengan ketara merentas bahasa dan domain (Brown et al., 2020; Devlin et al., 2019). Sumbangan kajian ini terletak pada kaitannya secara langsung dengan pendidik dan penggubal dasar Vietnam, menawarkan pandangan yang boleh diambil tindakan untuk mengintegrasikan LLM ke dalam kurikulum. Walau bagaimanapun, analisis boleh diperkukuh dengan meneliti jenis kesilapan yang dibuat oleh setiap model, kerana ini akan memberikan pandangan pedagogi yang lebih mendalam. Sebagai contoh, adakah kesilapan tertumpu pada tatabahasa, kosa kata, atau pemahaman bacaan? Butiran sedemikian akan membantu menyesuaikan intervensi berasaskan LLM. Tambahan pula, kajian ini tidak menangani potensi bias dalam set data atau data latihan model, yang boleh menjejaskan kebolehgeneralisasian. Walaupun terdapat batasan ini, kertas kerja ini secara meyakinkan menunjukkan bahawa LLM boleh berfungsi sebagai alat yang berkesan untuk pembelajaran Bahasa Inggeris, terutamanya dalam persekitaran yang kekurangan sumber. Penyelidikan masa depan harus meneroka kajian membujur untuk menilai kesan pembelajaran berbantukan LLM terhadap hasil pelajar dari semasa ke semasa.
8. Butiran Teknikal dan Rumusan Matematik
Prestasi setiap LLM dinilai menggunakan ketepatan, ditakrifkan sebagai:
$Ketepatan = \frac{Bilangan\ Respons\ Betul}{Jumlah\ Bilangan\ Soalan} \times 100\%$
Untuk set data dengan $N$ soalan, ketepatan $A$ untuk model $M$ ialah:
$A_M = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}(\hat{y}_i = y_i)$
di mana $\hat{y}_i$ ialah ramalan model dan $y_i$ ialah kebenaran asas untuk soalan $i$.
9. Keputusan Eksperimen dan Penerangan Carta
Keputusan diringkaskan dalam carta bar yang membandingkan ketepatan ketiga-tiga model. Paksi-x mewakili model (ChatGPT, Bard, BingChat), dan paksi-y mewakili peratusan ketepatan. Bar BingChat mencapai 92.4%, Bard 86%, dan ChatGPT 79.2%. Garis mendatar menunjukkan prestasi purata manusia (kira-kira 70%), menunjukkan semua model melebihi penanda aras ini.
10. Contoh Rangka Kerja Analitikal
Pertimbangkan soalan contoh daripada set data Bahasa Inggeris VNHSGE: "Pilih perkataan yang betul untuk melengkapkan ayat: She ___ to school every day." Pilihan: A) go, B) goes, C) going, D) gone. Jawapan yang betul ialah B) goes. Respons setiap model direkodkan dan diberi skor. Contoh mudah ini menggambarkan proses penilaian yang digunakan untuk semua soalan dalam set data.
11. Aplikasi dan Hala Tuju Masa Depan
LLM boleh diintegrasikan ke dalam pendidikan Bahasa Inggeris sekolah menengah Vietnam melalui: (1) Sistem tunjuk ajar berkuasa AI yang menyediakan maklum balas peribadi; (2) Pemarkahan esei automatik dan pembetulan tatabahasa; (3) Ejen perbualan untuk latihan bercakap; (4) Platform pembelajaran adaptif yang menyesuaikan kesukaran berdasarkan prestasi pelajar. Hala tuju masa depan termasuk membangunkan LLM berbilang bahasa yang disesuaikan dengan konteks Vietnam, menggabungkan nuansa budaya, dan memastikan akses yang saksama kepada teknologi.
12. Rujukan
- Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33, 1877-1901.
- Dao, X.-Q., et al. (2023a). ChatGPT on the Vietnamese High School Graduation Examination. arXiv preprint.
- Dao, X.-Q., et al. (2023b). ChatGPT on an English Test Case. arXiv preprint.
- Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.
- Kasneci, E., et al. (2023). ChatGPT for Good? On Opportunities and Challenges of Large Language Models for Education. Learning and Individual Differences, 103, 102274.
- Kung, T. H., et al. (2023). Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education. PLOS Digital Health, 2(2), e0000198.
- OpenAI. (2023). GPT-4 Technical Report. arXiv preprint.
- Thorp, H. H. (2023). ChatGPT is Fun, But Not an Author. Science, 379(6630), 313-313.
Pandangan Teras, Aliran Logik, Kekuatan & Kelemahan, Pandangan Boleh Tindak
Pandangan Teras: Kertas kerja ini adalah perbandingan pragmatik dan dipacu data yang memotong gembar-gembur, menunjukkan bahawa 'terbaik' adalah bergantung kepada konteks. Penguasaan BingChat pada peperiksaan Vietnam adalah panggilan bangun untuk mereka yang menganggap ChatGPT unggul secara universal.
Aliran Logik: Kertas kerja ini mengikuti laluan linear yang jelas: pernyataan masalah (keperluan untuk penilaian LLM di Vietnam), metodologi (ujian piawai), keputusan (BingChat > Bard > ChatGPT), dan implikasi (LLM sebagai alat pendidikan yang berdaya maju). Logiknya kukuh tetapi kurang mendalam dalam analisis kesilapan.
Kekuatan & Kelemahan: Kekuatan termasuk reka bentuk eksperimen yang fokus dan boleh diulang serta kaitan langsung dengan dasar pendidikan Vietnam. Kelemahan termasuk set data yang sempit (satu peperiksaan), kekurangan analisis kualitatif (mengapa BingChat menang?), dan tiada perbincangan tentang bias model atau perwakilan set data. Kajian ini adalah gambaran berguna tetapi bukan penilaian komprehensif.
Pandangan Boleh Tindak: Untuk pendidik Vietnam: Uji rintis BingChat dan Bard di bilik darjah dengan segera, fokus pada latihan tatabahasa dan kosa kata. Untuk penyelidik: Jalankan analisis kesilapan untuk mengenal pasti kelemahan khusus model. Untuk penggubal dasar: Melabur dalam pembangunan LLM tempatan yang disesuaikan dengan kurikulum Vietnam. Pengambilan utama: jangan letak semua telur dalam satu bakul LLM—pelbagaikan dan uji secara tempatan.