حل أسئلة إكمال الجمل في اللغة الإنجليزية كلغة ثانية عبر نماذج اللغة العصبية المدربة مسبقاً

جدول المحتويات

1. المقدمة

تُعد أسئلة إكمال الجمل أداة أساسية في تقييم الكفاءة في اللغة الإنجليزية كلغة ثانية. حيث تقدم جملة تحتوي على فراغ واحد أو أكثر ومجموعة من الكلمات/العبارات المرشحة، لاختبار فهم المتعلم للنحو والتركيب النحوي والدلالات. إن أتمتة حل هذه الأسئلة لها قيمة كبيرة لأنظمة التدريس الذكية، حيث توفر ملاحظات فورية، وتقييم جودة الأسئلة، وتوليد مواد تدريبية.

تواجه المناهج التقليدية، مثل نماذج اللغة ذات n-gram، صعوبات في التحديات الدقيقة لأسئلة اللغة الإنجليزية كلغة ثانية الواقعية: المشتتات شديدة الإرباك المصممة من قبل محترفين، ومتطلبات معرفة لغوية عميقة، وأعداد متغيرة من الفراغات/الرموز. تقدم هذه الورقة إطاراً عصبياً يستفيد من نماذج اللغة المدربة مسبقاً على نطاق واسع لمعالجة هذه التحديات بفعالية.

2. منهجيتنا

جوهر الإطار المقترح هو تكييف نماذج التسلسل إلى تسلسل المدربة مسبقاً، وتحديداً البنى المعتمدة على المحولات، لمهمة إكمال الجمل.

2.1 صياغة المشكلة

يُعرّف سؤال إكمال الجمل على أنه مجموعة مرتبة $(q, O)$، حيث $q$ هي الجملة التي تحتوي على $k$ فراغات يُشار إليها بواسطة رمز خاص `[MASK]`، و $O = \{o_1, o_2, ..., o_m\}$ هي مجموعة $m$ من الخيارات المرشحة (قد يملأ كل خيار فراغاً واحداً أو عدة فراغات). الهدف هو اختيار الخيار $o^* \in O$ الذي يجعل الجملة المكتملة أكثر منطقية.

2.2 بنية النموذج

يعتمد النموذج على بنية مشفّر-فك تشفير مدربة مسبقاً (مثل BART أو T5). المدخل هو الجملة ذات الأقنعة $q$. لكل خيار مرشح $o_i$، يولد النموذج جملة مكتملة عن طريق استبدال رموز `[MASK]`. يقوم النموذج بتقييم كل إكمال بناءً على احتمالية توليده أو رأس مصنف تم ضبطه بدقة. يمكن اشتقاق النتيجة $S(o_i | q)$ من اللوغاريتم السالب للاحتمالية لتوليد التسلسل المكتمل:

$S(o_i | q) = -\sum_{t=1}^{T} \log P(w_t | w_{

حيث $w_t$ هي رموز الجملة المكتملة. يتم اختيار الخيار ذو أعلى نتيجة (أقل تشويش).

2.3 استراتيجية التدريب

يتم ضبط النموذج بدقة على مجموعة بيانات من أسئلة إكمال الجمل باستخدام هدف مشفر تلقائي لإزالة الضوضاء في البداية، يليه ضبط دقيق خاص بالمهمة. تجمع دالة الخسارة عادةً بين خسارة نمذجة اللغة المقنعة وخسارة تصنيف التسلسل لتحسين كل من طلاقة الجملة وتمييز الخيار الصحيح.

3. التجارب والنتائج

3.1 مجموعة البيانات

أُجريت التجارب على مجموعة بيانات واقعية لأسئلة إكمال الجمل في اللغة الإنجليزية كلغة ثانية لمراحل التعليم العام، تم جمعها من منصة تعليمية عبر الإنترنت. تحتوي مجموعة البيانات على آلاف الأسئلة مع مشتتات عالية الجودة مصممة بشكل احترافي، تغطي نقاط نحوية ومفردات متنوعة.

3.2 النماذج الأساسية للمقارنة

تمت مقارنة النموذج المقترح بعدة نماذج أساسية قوية:

• نموذج اللغة n-gram: نموذج اللغة الإحصائي التقليدي.
• نموذج اللغة للفراغات [10]: نموذج لغة تكراري لملء الفراغات.
• BERT (نموذج اللغة المقنع): استخدام احتمالات التنبؤ بالرموز المقنعة في BERT مباشرة.
• BERT المضبوط بدقة (المصنف): BERT مع طبقة تصنيف على رمز `[CLS]`.

3.3 النتائج الرئيسية

تفوق نموذج التسلسل إلى تسلسل المدرب مسبقاً المقترح بشكل كبير على جميع طرق النماذج الأساسية في دقة التنبؤ على مجموعة الاختبار المحجوزة. نشأت الميزة الرئيسية من قدرته على نمذجة تماسك الجملة بأكملها بعد الإدراج، وليس فقط السياق المحلي، مما يتعامل بفعالية مع الأسئلة متعددة الفراغات والخيارات العبارية.

3.4 تحليل الدقة والاسترجاع

تقدم الورقة تحليلاً للمفاضلة بين الدقة والاسترجاع، وهو أمر بالغ الأهمية للنشر الواقعي. من خلال ضبط عتبة النتيجة لقبول إجابة، يمكن ضبط النظام للعمل في وضع الدقة العالية (محافظ، يجيب فقط عندما يكون متأكداً جداً) أو وضع الاسترجاع العالي (محاولة المزيد من الأسئلة). هذه المرونة حيوية لأنظمة التعلم التكيفية حيث يهم تقدير الثقة.

4. التحليل التقني والرؤى

5. مثال على إطار التحليل

السيناريو: تحليل سبب فشل النموذج في سؤال محدد لإكمال الجمل.

السؤال: "She _____ to the store yesterday and bought some milk."
الخيارات: (A) go (B) goes (C) went (D) going

تطبيق الإطار:

1. تمثيل المدخلات: يستقبل النموذج: "She [MASK] to the store yesterday and bought some milk."
2. تقييم الخيارات: لكل خيار، يولد/يكمل النموذج الجملة ويحسب نتيجة.
   • نتيجة("went") = -log P("She went to the store...") // يجب أن تكون الأقل (الأفضل).
   • نتيجة("goes") = -log P("She goes to the store yesterday...") // أعلى بسبب عدم تطابق الزمن.
3. تشخيص الفشل: إذا اختار النموذج بشكل غير صحيح "goes"، نحقق في:
   • انحياز البيانات: هل كانت "goes" متكررة بشكل مفرط في بيانات التدريب في سياقات مماثلة؟
   • نافذة السياق: هل فشل النموذج في إعطاء وزن كافٍ للإشارة الزمنية "yesterday"؟
   • قوة المشتت: هل "goes" مشتت قوي بشكل خاص لأنه صحيح نحوياً للمبتدأ "She" بمعزل عن السياق؟
4. المعالجة: تكبير بيانات التدريب بمزيد من الأمثلة التي تؤكد على اتفاق ظرف الزمن والفعل، أو تعديل هدف الضبط الدقيق لمعاقبة عدم اتساق الزمن بشكل أكبر.

ينتقل هذا التحليل المنظم إلى ما هو أبعد من مقاييس الدقة البسيطة إلى تحسين النموذج القابل للتنفيذ.

6. التطبيقات المستقبلية والاتجاهات

• مسارات التعلم المخصصة: استخدام ثقة النموذج وأنماط الخطأ لتحديد نقاط الضعف النحوية المحددة للطالب والتوصية بتمارين مستهدفة.
• توليد الأسئلة الآلي: عكس النموذج لتوليد أسئلة جديدة عالية الجودة لإكمال الجمل مع مشتتات معقولة عن طريق إخفاء كلمات في جمل أصلية واستخدام النموذج لاقتراح بدائل، على غرار الطرق المستكشفة في arXiv:2005.05909.
• التكامل متعدد الوسائط: دمج النماذج القائمة على النص مع التعرف على الكلام لتقييم إكمال الجمل المنطوقة، وتقديم تقييم شامل للكفاءة اللغوية.
• الذكاء الاصطناعي القابل للتفسير للتعليم: تطوير تقنيات لجعل "استدلال" النموذج شفافاً—على سبيل المثال، تسليط الضوء على الكلمات في الجملة التي كانت أساسية لرفض مشتت—لبناء الثقة وتقديم ملاحظات أعمق.
• النقل عبر اللغات: تطبيق الإطار على أسئلة إكمال الجمل للغات أخرى، والاستفادة من النماذج المدربة مسبقاً متعددة اللغات مثل mT5 أو mBART.

7. المراجع

1. Zweig, G., et al. (2012). SAT Sentence Completion. Microsoft Research Tech Report.
2. Shen, L., et al. (2015). Blank Language Model. EMNLP.
3. Donahue, J., et al. (2020). Pre-training with Masked Text. NeurIPS.
4. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
5. Lewis, M., et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
6. Raffel, C., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
7. Koedinger, K.R., et al. (2012). The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning. Cognitive Science.
8. Zhu, J.Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV. (مذكور كمثال لجهود قابلية التفسير).
9. International Educational Data Mining Society (IEDMS). Resources on Real-world Educational Datasets. https://educationaldatamining.org/