Reading.help: Pembantu Proaktif dan Atas Permintaan Berkuasa LLM untuk Pembaca EFL

1. Pengenalan

Bahasa Inggeris mendominasi komunikasi akademik, profesional, dan sosial global, namun berjuta-juta pembaca Bahasa Inggeris sebagai Bahasa Asing (EFL) bergelut dengan kefahaman disebabkan kosa kata, tatabahasa, dan rujukan budaya yang kompleks. Penyelesaian tradisional seperti pendidikan formal adalah mahal dan terhad, manakala alat seperti kamus elektronik dan penterjemah teks penuh (cth., Google Translate) boleh memupuk kebergantungan dan menghalang pembelajaran aktif. Kertas kerja ini memperkenalkan Reading.help, sebuah pembantu membaca pintar yang direka untuk merapatkan jurang ini. Ia memanfaatkan Pemprosesan Bahasa Asli (NLP) dan Model Bahasa Besar (LLM) untuk memberikan penjelasan proaktif (dimulakan sistem) dan atas permintaan (dimulakan pengguna), bertujuan untuk menyokong tafsiran dan pembelajaran bebas untuk pembaca EFL dengan kemahiran peringkat universiti.

2. Reka Bentuk Sistem & Metodologi

2.1. Antara Muka Reading.help

Antara muka pengguna (Rajah 1) adalah teras kepada pengalaman pengguna. Komponen utama termasuk: (A) Ringkasan kandungan, (B) Tahap ringkasan boleh laras (ringkas/terperinci), (C) Alat sokongan diaktifkan oleh pemilihan teks, (D) Menu Alat yang menawarkan bantuan Istilah Leksikal, Kefahaman, dan Tatabahasa, (E) Pengenalpastian proaktif kandungan mencabar setiap perenggan, (F) Penjelasan kosa kata dengan definisi dan konteks, dan (H) Penonjolan visual yang menghubungkan cadangan kepada teks.

2.2. Seni Bina Modul Dual

Reading.help dibina atas dua modul khusus:

1. Modul Pengenalpastian: Mengesan perkataan, frasa, dan ayat yang berkemungkinan sukar ditemui oleh pembaca EFL. Ini kemungkinan melibatkan model yang dilatih pada korpus pelajar atau metrik kesukaran.
2. Modul Penjelasan: Menjana penjelasan untuk kosa kata, tatabahasa, dan konteks teks keseluruhan. Ini dikuasakan oleh LLM, yang ditala halus untuk penjelasan pedagogi.

2.3. Proses Pengesahan Dwi-LLM

Satu inovasi teknikal kritikal ialah saluran paip pengesahan dwi-LLM (Komponen G dalam Rajah 1). LLM utama menjana penjelasan. LLM kedua yang berasingan kemudiannya mengesahkan penaakulan dan ketepatan output LLM pertama. Ini bertindak sebagai semakan kebolehpercayaan, bertujuan untuk mengurangkan halusinasi dan meningkatkan kualiti penjelasan—satu kebimbangan utama dalam aplikasi pendidikan LLM.

3. Kajian Kes & Penilaian

3.1. Kajian dengan Pembaca EFL Korea Selatan

Sistem ini dibangunkan secara berulang. Prototaip berasaskan LLM awal dicipta berdasarkan literatur terdahulu. Prototaip ini kemudiannya diuji dan diperhalusi menggunakan maklum balas daripada kajian kes yang melibatkan 15 pembaca EFL Korea Selatan. Fasa reka bentuk berpusatkan manusia ini adalah penting untuk menyelaraskan fungsi alat dengan keperluan pengguna sebenar dan tingkah laku membaca.

3.2. Keputusan Penilaian Akhir

Versi akhir Reading.help dinilai dengan 5 pembaca EFL dan 2 profesional pendidikan EFL. Penemuan mencadangkan bahawa alat ini berpotensi untuk membantu pembaca EFL terlibat dalam pembelajaran kendiri apabila sokongan luaran (cth., guru) tidak tersedia. Model bantuan proaktif dan atas permintaan diterima secara positif untuk menyokong kefahaman tanpa menggalakkan terjemahan pasif keseluruhan petikan.

4. Butiran Teknikal & Analisis

4.1. Inti Pati Teras & Aliran Logik

Inti Pati Teras: Pertaruhan asas kertas kerja ini ialah bahawa halangan terbesar untuk pembaca EFL lanjutan bukanlah carian kosa kata, tetapi penyahkekaburan kontekstual dan penghuraian sintaksis. Alat seperti kamus menyelesaikan "apa" (definisi); Reading.help bertujuan untuk menyelesaikan "mengapa" dan "bagaimana"—mengapa perkataan ini di sini, bagaimana klausa ini mengubah kata nama itu. Aliran logiknya elegan: 1) Kenal pasti titik kesukaran berpotensi (Modul Pengenalpastian), 2) Jana penjelasan pedagogi (LLM Primer), 3) Semak kesahihan penjelasan tersebut (LLM Sekunder), 4) Persembahkan melalui UI yang tidak mengganggu dan dikaitkan dengan penonjolan. Ini mencipta sistem gelung tertutup yang fokus pada perancah kefahaman dan bukannya terjemahan.

4.2. Kekuatan & Kelemahan Kritikal

Kekuatan:

• Mekanisme Pengesahan Novel: Persediaan dwi-LLM adalah satu hack pintar dan kos rendah untuk kawalan kualiti. Ia mengakui masalah "burung nuri stokastik" secara terus, tidak seperti banyak aplikasi LLM yang memperlakukan output sebagai kebenaran mutlak.
• Skop Masalah yang Tepat: Mensasarkan pembaca peringkat universiti mengelakkan kerumitan besar untuk menyesuaikan diri dengan semua tahap kemahiran. Ia adalah pasaran pangkalan yang boleh dilaksanakan.
• Kesetiaan UI: Komponen antara muka (A-H) menunjukkan integrasi alat bantuan yang difikirkan secara langsung ke dalam aliran kerja membaca, mengurangkan pertukaran beban kognitif.

• Penilaian Kotak Hitam: Kelemahan utama kertas kerja ini adalah penilaian. N=5 pengguna dan 2 profesional adalah anekdot, bukan empirikal. Di mana metrik kuantitatif? Skor peningkatan kefahaman? Pertukaran kelajuan-ketepatan? Berbanding dengan garis dasar (cth., menggunakan kamus)? Kekurangan pengesahan yang ketat ini melemahkan dengan serius keberkesanan yang didakwa.
• Pengesanan "Kesukaran" Kabur: Modul Pengenalpastian diterangkan dalam istilah kabur. Bagaimana "kandungan berpotensi mencabar" ditakrifkan dan dimodelkan? Tanpa ketelusan, adalah mustahil untuk menilai ketepatannya atau bias.
• Kebolehskalaan & Kos: Menjalankan dua LLM bagi setiap permintaan penjelasan menggandakan kos inferens dan kependaman. Untuk pembantu membaca masa nyata, ini boleh menjadi halangan yang menghalang penskalaan.

4.3. Pandangan Tindakan & Implikasi Strategik

Untuk Penyelidik: Karya ini adalah pelan untuk reka bentuk LLM bantuan yang bertanggungjawab. Corak dwi-LLM harus distandardkan untuk AI pendidikan. Kerja masa depan mesti menggantikan penilaian yang lemah dengan kajian pengguna perbandingan yang kukuh (ujian A/B terhadap alat yang mantap) dan metrik penilaian EFL standard (cth., diadaptasi daripada bahagian membaca TOEFL atau IELTS).

Untuk Pemaju Produk: Ciri penonjolan proaktif adalah aplikasi pembunuh. Ia mengubah alat daripada reaktif kepada antisipatif. Peta jalan produk segera harus fokus pada: 1) Mengoptimumkan saluran paip dwi-LLM untuk kelajuan (mungkin menggunakan model kecil dan pantas untuk pengesahan), 2) Memperibadikan pengesanan "kesukaran" berdasarkan sejarah interaksi pengguna individu, dan 3) Meneroka model freemium di mana penonjolan asas adalah percuma, tetapi penjelasan tatabahasa terperinci adalah premium.

Implikasi Lebih Luas: Reading.help mewakili peralihan daripada Terjemahan Mesin kepada Pembimbing Mesin. Matlamatnya bukan untuk menggantikan teks sumber tetapi untuk melengkapkan pembaca untuk menaklukinya. Ini selaras dengan trend lebih luas dalam "AI untuk Pengukuhan" berbanding "AI untuk Automasi," seperti yang dibincangkan dalam penyelidikan dari Institut AI Berpusatkan Manusia Stanford. Jika berjaya, pendekatan ini boleh digunakan untuk jenis dokumen kompleks lain seperti kontrak undang-undang atau kertas saintifik untuk bukan pakar.

5. Analisis Asal: Melangkaui Antara Muka

Reading.help terletak di persimpangan menarik tiga trend utama: demokratisasi pembelajaran bahasa, kematangan LLM khusus tugas, dan penekanan yang semakin meningkat pada kerjasama manusia-AI. Walaupun kertas kerja ini membentangkan kajian kes yang menarik, kepentingan sebenarnya terletak pada kerangka metodologi yang diimplikasikannya untuk membina AI pendidikan yang boleh dipercayai. Mekanisme pengesahan dwi-LLM, walaupun mahal dari segi pengiraan, adalah tindak balas langsung kepada salah satu batasan AI generatif dalam pendidikan yang paling kerap disebut: kecenderungannya terhadap ketidaktepatan yang yakin. Ini menggema kebimbangan yang dibangkitkan dalam kajian mengenai halusinasi LLM, seperti yang didokumenkan oleh OpenAI dan dalam tinjauan seperti "On the Dangers of Stochastic Parrots" (Bender et al., 2021). Dengan melaksanakan langkah pengesahan, penulis pada dasarnya membina bentuk kasar "AI perlembagaan," di mana output satu model dikawal oleh semakan model lain, satu konsep yang mendapat daya tarikan untuk penyelidikan penjajaran.

Walau bagaimanapun, penyelidikan ini gagal dalam mentakrifkan metrik terasnya: apa yang membentuk bantuan membaca yang "berjaya"? Adakah ia kelajuan membaca yang lebih pantas, kefahaman yang lebih mendalam, peningkatan pengekalan kosa kata, atau sekadar keyakinan pengguna? Bidang sistem pembimbing pintar (ITS) telah lama bergelut dengan ini, selalunya menggunakan peningkatan ujian pra-pasca sebagai piawaian emas. Alat seperti Reading.help boleh mendapat manfaat daripada integrasi dengan kerangka penilaian kefahaman membaca yang mantap. Tambahan pula, fokus pada pembaca EFL Korea Selatan, walaupun memberikan konteks budaya yang berharga, menimbulkan persoalan tentang kebolehgeneralisasian. Cabaran tatabahasa Inggeris berbeza dengan ketara antara penutur bahasa subjek-objek-kata kerja (SOV) seperti Korea dan bahasa subjek-kata kerja-objek (SVO) seperti Sepanyol. Iterasi masa depan memerlukan model pengesanan kesukaran yang lebih bernuansa dan sedar linguistik, mungkin dimaklumkan oleh analisis kontrastif daripada penyelidikan pemerolehan bahasa kedua.

Berbanding dengan alat membaca tambahan lain, seperti "Read Along" Google yang kini tidak berfungsi atau prototaip penyelidikan seperti "Lingolette," kekuatan Reading.help adalah kehalusannya—menawarkan bantuan pada tahap perkataan, klausa, dan perenggan. Namun, ia berisiko mencipta kesan "tongkat" jika penjelasan terlalu mudah didapati. Evolusi seterusnya harus menggabungkan pudar adaptif, di mana sistem secara beransur-ansur mengurangkan petunjuk proaktif apabila pengguna menunjukkan penguasaan terhadap konstruk tatabahasa atau item leksikal tertentu, satu prinsip yang diambil daripada reka bentuk pembimbing kognitif. Akhirnya, Reading.help adalah bukti konsep yang menjanjikan yang menyerlahkan kedua-dua potensi besar dan cabaran bukan remeh untuk menggunakan LLM sebagai jurulatih membaca peribadi.

6. Kerangka Teknikal & Model Matematik

Walaupun PDF tidak memperincikan algoritma khusus, sistem yang diterangkan mengimplikasikan beberapa komponen teknikal asas. Kita boleh memformalkan proses teras.

1. Anggaran Skor Kesukaran: Modul Pengenalpastian berkemungkinan memberikan skor kesukaran $d_i$ kepada unit teks (perkataan, frasa, ayat) $t_i$. Ini boleh berdasarkan model komposit: $$d_i = \alpha \cdot \text{Freq}(t_i) + \beta \cdot \text{SyntacticComplexity}(t_i) + \gamma \cdot \text{Ambiguity}(t_i)$$ di mana $\text{Freq}$ ialah kekerapan korpus pelajar atau kekerapan dokumen songsang, $\text{SyntacticComplexity}$ boleh menjadi kedalaman pokok huraian, dan $\text{Ambiguity}$ mungkin bilangan kemungkinan tag kelas kata atau makna. Pekali $\alpha, \beta, \gamma$ adalah pemberat yang ditala pada data pelajar EFL.

2. Logik Pengesahan Dwi-LLM: Biarkan $\text{LLM}_G$ menjadi penjana dan $\text{LLM}_V$ menjadi pengesah. Untuk pertanyaan input $q$ (cth., "Terangkan ayat ini"), prosesnya ialah: $$e = \text{LLM}_G(q; \theta_G)$$ $$v = \text{LLM}_V(\text{concat}(q, e); \theta_V)$$ di mana $e$ ialah penjelasan, $v$ ialah output pengesahan (cth., "Betul", "Salah", "Separa betul dengan nota"). Penjelasan akhir yang ditunjukkan kepada pengguna dikondisikan pada $v$, berpotensi mencetuskan penjanaan semula jika $v$ menunjukkan isu serius.

7. Keputusan Eksperimen & Penerangan Carta

Teks PDF yang disediakan tidak termasuk keputusan kuantitatif terperinci atau carta. Penilaian diterangkan secara kualitatif:

• Sampel: Penilaian akhir dengan 5 pembaca EFL dan 2 profesional.
• Kaedah: Kemungkinan temu bual kualitatif atau ujian kebolehgunaan selepas interaksi dengan alat.
• Carta/Rajah Tersirat: Rajah 1 dalam kertas kerja ialah gambar rajah antara muka sistem, menunjukkan komponen (A) hingga (H) seperti yang dilabelkan dalam kandungan PDF. Ia secara visual menunjukkan integrasi panel ringkasan, menu alat, penonjolan, dan pop-up penjelasan dalam satu panel membaca tunggal.
• Hasil Dilaporkan: Penemuan mencadangkan alat ini berpotensi membantu pembaca EFL belajar sendiri apabila sokongan luaran tidak ada. Tiada ukuran statistik peningkatan (cth., skor ujian kefahaman, pengurangan masa-tugasan) dilaporkan.

8. Kerangka Analisis: Kes Penggunaan Bukan Kod

Pertimbangkan seorang penyelidik EFL atau pengurus produk yang ingin menganalisis keberkesanan ciri seperti "penonjolan proaktif." Tanpa akses kepada kod, mereka boleh menggunakan kerangka analisis ini:

Kes: Menilai modul "Pengesanan Kesukaran".

1. Takrif Metrik Kejayaan: Apa maksud penonjolan "baik"? Takrif operasi yang mungkin:
   • Ketepatan: Daripada semua teks yang ditonjolkan oleh sistem, berapa peratus yang sebenarnya diklik oleh pengguna untuk bantuan? (Ketepatan tinggi bermaksud penonjolan adalah relevan).
   • Ingatan: Daripada semua segmen teks yang dipilih secara manual oleh pengguna untuk bantuan, berapa peratus yang telah ditonjolkan secara proaktif? (Ingatan tinggi bermaksud sistem mengantisipasi kebanyakan keperluan).
   • Kepuasan Pengguna: Penilaian tinjauan pasca-sesi (1-5) pada kenyataan "Penonjolan menarik perhatian saya kepada kawasan yang saya dapati mencabar."
2. Pengumpulan Data: Log semua interaksi pengguna: penonjolan sistem (dengan skor $d_i$ mereka), klik pengguna pada penonjolan, pemilihan teks manual pengguna di luar penonjolan.
3. Analisis: Kira Ketepatan dan Ingatan untuk ambang $d_i$ yang berbeza. Contohnya, jika sistem hanya menonjolkan item dengan $d_i > 0.7$, adakah ketepatan bertambah baik? Plot lengkung Ketepatan-Ingatan untuk mencari ambang optimum yang mengimbangi relevansi dan liputan.
4. Ulang: Gunakan penemuan untuk menala semula pekali ($\alpha, \beta, \gamma$) dalam model skor kesukaran, atau untuk menambah ciri baru (cth., menonjolkan rujukan budaya).

9. Aplikasi Masa Depan & Arah Pembangunan

Paradigma Reading.help membuka beberapa laluan yang menjanjikan:

• Pembantu Spesifik Vertikal: Sesuaikan enjin teras untuk membaca kertas saintifik, dokumen undang-undang, atau manual teknikal untuk pembaca pakar bukan asli. Modul pengenalpastian akan memerlukan korpus kesukaran khusus domain.
• Integrasi Multimodal: Gabungkan analisis teks dengan sintesis pertuturan untuk mencipta pembantu bacaan kuat yang menerangkan petikan sukar semasa ia menceritakan, membantu kefahaman pendengaran.
• Pemodelan Pelajar Jangka Panjang: Ubah alat daripada pembantu berasaskan sesi kepada teman pembelajaran sepanjang hayat. Jejaki konsep tatabahasa mana yang pengguna secara konsisten cari bantuan dan jana latihan ulasan peribadi, mencipta gelung pembelajaran tertutup.
• Pemindahan Lintas Linguistik: Untuk bahasa dengan sumber yang serupa, gunakan seni bina yang sama untuk membantu pembaca teks Cina, Arab, atau Sepanyol. Pengesahan dwi-LLM akan sama kritikalnya.
• Integrasi dengan Pembelajaran Formal: Bekerjasama dengan platform pembelajaran dalam talian (Coursera, EdX) atau penerbit buku teks digital untuk menanamkan fungsi Reading.help secara langsung ke dalam bahan kursus, menyediakan sokongan tepat pada masanya untuk pelajar yang mendaftar.
• Teknik Pengesahan Lanjutan: Gantikan atau tambahkan pengesah LLM sekunder dengan kaedah yang lebih cekap: pemeriksa berasaskan peraturan untuk tatabahasa, carian graf pengetahuan untuk konsistensi fakta, atau model "pengkritik" yang lebih kecil dan disuling yang ditala halus khusus untuk pengesahan penjelasan.

10. Rujukan

1. Chung, S., Jeon, H., Shin, S., & Hoque, M. N. (2025). Reading.help: Supporting EFL Readers with Proactive and On-Demand Explanation of English Grammar and Semantics. arXiv preprint arXiv:2505.14031v2.
2. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (pp. 610–623).
3. Anderson, J. R., Corbett, A. T., Koedinger, K. R., & Pelletier, R. (1995). Cognitive Tutors: Lessons Learned. The Journal of the Learning Sciences, 4(2), 167–207.
4. Stanford Institute for Human-Centered Artificial Intelligence (HAI). (2023). The AI Index 2023 Annual Report. Retrieved from https://hai.stanford.edu/research/ai-index-2023
5. Nation, I. S. P. (2001). Learning Vocabulary in Another Language. Cambridge University Press.
6. Google. (n.d.). Google Translate. Retrieved from https://translate.google.com
7. Council of Europe. (2001). Common European Framework of Reference for Languages: Learning, teaching, assessment. Cambridge University Press.