Menyelesaikan Soalan Lengkapkan Ayat ESL Melalui Model Bahasa Neural Pra-Latihan

Kandungan

1. Pengenalan

Soalan Lengkapkan Ayat (SC) merupakan alat asas dalam menilai kemahiran Bahasa Inggeris sebagai Bahasa Kedua (ESL). Soalan ini mempersembahkan satu ayat dengan satu atau lebih ruang kosong dan satu set perkataan/frasa calon, menguji kefahaman pelajar tentang tatabahasa, sintaksis, dan semantik. Mengautomasikan penyelesaian soalan ini mempunyai nilai yang signifikan untuk sistem bimbingan pintar, menyediakan maklum balas segera, menilai kualiti soalan, dan menjana bahan latihan.

Pendekatan tradisional, seperti model bahasa n-gram, menghadapi kesukaran dengan cabaran halus soalan ESL dunia sebenar: pengganggu yang sangat mengelirukan direka oleh profesional, keperluan pengetahuan linguistik yang mendalam, dan bilangan ruang/token yang berubah-ubah. Kertas kerja ini mencadangkan rangka kerja neural yang memanfaatkan model bahasa pra-latihan berskala besar untuk menangani cabaran ini dengan berkesan.

2. Pendekatan Kami

Teras rangka kerja yang dicadangkan adalah menyesuaikan model jujukan-ke-jujukan pra-latihan, khususnya seni bina berasaskan Transformer, untuk tugas SC.

2.1 Rumusan Masalah

Satu soalan SC ditakrifkan sebagai tuple $(q, O)$, di mana $q$ ialah ayat dengan $k$ ruang kosong yang ditandakan oleh token khas `[MASK]`, dan $O = \{o_1, o_2, ..., o_m\}$ ialah set $m$ pilihan calon (setiap pilihan mungkin mengisi satu atau beberapa ruang kosong). Matlamatnya adalah untuk memilih pilihan $o^* \in O$ yang menjadikan ayat yang lengkap itu paling munasabah.

2.2 Seni Bina Model

Model ini berdasarkan seni bina penyahkod-penyandi pra-latihan (contohnya, BART atau T5). Input ialah ayat bertopeng $q$. Untuk setiap pilihan calon $o_i$, model menjana ayat yang lengkap dengan menggantikan token `[MASK]`. Model memberikan skor kepada setiap pelengkap berdasarkan kebarangkalian penjanaan atau kepala pengelas yang ditala halus. Skor $S(o_i | q)$ boleh diperoleh daripada log-kebarangkalian negatif untuk menjana jujukan lengkap:

$S(o_i | q) = -\sum_{t=1}^{T} \log P(w_t | w_{

di mana $w_t$ ialah token ayat yang lengkap. Pilihan dengan skor tertinggi (kekeliruan terendah) dipilih.

2.3 Strategi Latihan

Model ini ditala halus pada set data soalan SC menggunakan objektif penyahkod auto penyahbising pada mulanya, diikuti dengan penalaan halus khusus tugas. Fungsi kerugian biasanya menggabungkan kerugian pemodelan bahasa bertopeng dan kerugian klasifikasi jujukan untuk mengoptimumkan kedua-dua kelancaran ayat dan diskriminasi pilihan yang betul.

3. Eksperimen & Keputusan

3.1 Set Data

Eksperimen dijalankan ke atas set data soalan SC ESL K-12 dunia sebenar yang dikumpul daripada platform pendidikan dalam talian. Set data mengandungi ribuan soalan dengan pengganggu berkualiti tinggi yang direka secara profesional, merangkumi pelbagai aspek tatabahasa dan kosa kata.

3.2 Garis Dasar

Model yang dicadangkan dibandingkan dengan beberapa garis dasar yang kuat:

• Model Bahasa N-gram: Model bahasa statistik tradisional.
• Model Bahasa Kosong [10]: Model bahasa lelaran untuk mengisi ruang kosong.
• BERT (Model Bahasa Bertopeng): Menggunakan kebarangkalian ramalan token bertopeng BERT secara langsung.
• BERT Ditala Halus (Pengelas): BERT dengan lapisan klasifikasi pada token `[CLS]`.

3.3 Keputusan Utama

Model jujukan-ke-jujukan pra-latihan yang dicadangkan mengatasi semua kaedah garis dasar dengan ketara dalam ketepatan ramalan pada set ujian yang diketepikan. Kelebihan utama berasal daripada keupayaannya untuk memodelkan keseluruhan koherensi ayat selepas penyisipan, dan bukan hanya konteks tempatan, secara berkesan menangani soalan berbilang ruang kosong dan pilihan frasa.

3.4 Analisis Ketepatan-Peringatan

Kertas kerja ini membentangkan analisis pertukaran ketepatan-peringatan, yang penting untuk penyebaran dunia sebenar. Dengan melaraskan ambang skor untuk menerima jawapan, sistem boleh ditala untuk mod ketepatan tinggi (konservatif, hanya menjawab apabila sangat pasti) atau peringatan tinggi (mencuba lebih banyak soalan). Fleksibiliti ini adalah penting untuk sistem pembelajaran adaptif di mana anggaran keyakinan penting.

4. Analisis Teknikal & Huraian

5. Contoh Kerangka Analisis

Senario: Menganalisis mengapa model mungkin gagal pada soalan SC tertentu.

Soalan: "She _____ to the store yesterday and bought some milk."
Pilihan: (A) go (B) goes (C) went (D) going

Aplikasi Kerangka:

1. Perwakilan Input: Model menerima: "She [MASK] to the store yesterday and bought some milk."
2. Pemarkahan Pilihan: Untuk setiap pilihan, model menjana/melengkapkan ayat dan mengira skor.
   • Skor("went") = -log P("She went to the store...") // Seharusnya terendah (terbaik).
   • Skor("goes") = -log P("She goes to the store yesterday...") // Lebih tinggi kerana ketidakpadanan kala.
3. Diagnosis Kegagalan: Jika model salah memilih "goes," kami menyiasat:
   • Bias Data: Adakah "goes" terlalu kerap dalam data latihan dalam konteks yang serupa?
   • Tetingkap Konteks: Adakah model gagal memberikan berat yang cukup kepada isyarat temporal "yesterday"?
   • Kekuatan Pengganggu: Adakah "goes" pengganggu yang sangat kuat kerana ia betul secara tatabahasa untuk subjek "She" secara terpencil?
4. Pembaikan: Tambah data latihan dengan lebih banyak contoh yang menekankan persetujuan kata kerja-kata keterangan temporal, atau laraskan objektif penalaan halus untuk mengenakan penalti lebih berat terhadap ketidakkonsistenan kala.

Analisis berstruktur ini melangkaui metrik ketepatan mudah kepada penambahbaikan model yang boleh ditindak.

6. Aplikasi & Hala Tuju Masa Depan

• Laluan Pembelajaran Diperibadikan: Menggunakan keyakinan model dan corak ralat untuk mengenal pasti kelemahan tatabahasa khusus pelajar dan mengesyorkan latihan yang disasarkan.
• Penjanaan Soalan Automatik: Membalikkan model untuk menjana soalan SC novel dan berkualiti tinggi dengan pengganggu munasabah dengan menutup perkataan dalam ayat autentik dan menggunakan model untuk mencadangkan alternatif, serupa dengan kaedah yang diterokai dalam arXiv:2005.05909.
• Integrasi Multimodal: Menggabungkan model berasaskan teks dengan pengecaman pertuturan untuk menilai lengkapkan ayat lisan, menyediakan penilaian kemahiran bahasa yang holistik.
• AI Boleh Diterangkan untuk Pendidikan (XAI-Ed): Membangunkan teknik untuk menjadikan "penaakulan" model telus—contohnya, menyerlahkan perkataan dalam ayat yang penting untuk menolak pengganggu—untuk membina kepercayaan dan menyediakan maklum balas yang lebih mendalam.
• Pemindahan Rentas Bahasa: Menggunakan rangka kerja kepada soalan SC untuk bahasa lain, memanfaatkan model pra-latihan pelbagai bahasa seperti mT5 atau mBART.

7. Rujukan

1. Zweig, G., et al. (2012). SAT Sentence Completion. Microsoft Research Tech Report.
2. Shen, L., et al. (2015). Blank Language Model. EMNLP.
3. Donahue, J., et al. (2020). Pre-training with Masked Text. NeurIPS.
4. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
5. Lewis, M., et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
6. Raffel, C., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
7. Koedinger, K.R., et al. (2012). The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning. Cognitive Science.
8. Zhu, J.Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV. (Dirujuk sebagai contoh usaha kebolehinterpretasian).
9. International Educational Data Mining Society (IEDMS). Resources on Real-world Educational Datasets. https://educationaldatamining.org/