حل سوالات تکمیل جمله‌ی ESL با استفاده از مدل‌های زبانی عصبی از پیش آموزش‌دیده

فهرست مطالب

1. مقدمه

سوالات تکمیل جمله (SC) ابزاری اساسی در ارزیابی مهارت انگلیسی به عنوان زبان دوم (ESL) هستند. این سوالات جمله‌ای را با یک یا چند جای خالی و مجموعه‌ای از کلمات/عبارات کاندید ارائه می‌دهند و درک زبان‌آموز از دستور زبان، نحو و معناشناسی را می‌سنجند. خودکارسازی حل این سوالات برای سیستم‌های آموزشی هوشمند ارزش قابل توجهی دارد و می‌تواند بازخورد فوری ارائه دهد، کیفیت سوالات را ارزیابی کند و مواد تمرینی تولید نماید.

رویکردهای سنتی، مانند مدل‌های زبانی n-gram، با چالش‌های ظریف سوالات واقعی ESL دست و پنجه نرم می‌کنند: گزینه‌های گمراه‌کننده بسیار پیچیده طراحی شده توسط متخصصان، نیاز به دانش زبانی عمیق، و تعداد متغیر جای خالی/توکن‌ها. این مقاله یک چارچوب عصبی را پیشنهاد می‌دهد که از مدل‌های زبانی در مقیاس بزرگ و از پیش آموزش‌دیده برای مقابله مؤثر با این چالش‌ها استفاده می‌کند.

2. رویکرد ما

هسته اصلی چارچوب پیشنهادی، تطبیق مدل‌های از پیش آموزش‌دیده دنباله به دنباله، به ویژه معماری‌های مبتنی بر ترنسفورمر، برای وظیفه SC است.

2.1 فرمول‌بندی مسئله

یک سوال SC به صورت یک تاپل $(q, O)$ تعریف می‌شود، که در آن $q$ جمله‌ای با $k$ جای خالی است که با توکن ویژه `[MASK]` نشان داده شده، و $O = \{o_1, o_2, ..., o_m\}$ مجموعه $m$ گزینه کاندید است (هر گزینه ممکن است یک یا چند جای خالی را پر کند). هدف انتخاب گزینه $o^* \in O$ است که جمله تکمیل شده را معتبرترین می‌سازد.

2.2 معماری مدل

مدل بر اساس یک معماری رمزگذار-رمزگشا از پیش آموزش‌دیده (مانند BART یا T5) است. ورودی، جمله ماسک شده $q$ است. برای هر گزینه کاندید $o_i$، مدل با جایگزینی توکن‌های `[MASK]` یک جمله تکمیل شده تولید می‌کند. مدل هر تکمیل را بر اساس احتمال تولید آن یا یک سر طبقه‌بندی تنظیم‌شده امتیازدهی می‌کند. امتیاز $S(o_i | q)$ می‌تواند از لگاریتم منفی درست‌نمایی تولید دنباله تکمیل شده مشتق شود:

$S(o_i | q) = -\sum_{t=1}^{T} \log P(w_t | w_{

که در آن $w_t$ توکن‌های جمله تکمیل شده هستند. گزینه با بالاترین امتیاز (کمترین پرپلکسیتی) انتخاب می‌شود.

2.3 استراتژی آموزش

مدل ابتدا بر روی مجموعه‌ای از سوالات SC با استفاده از هدف رمزگذار خودکار نویززدایی تنظیم دقیق می‌شود و سپس تنظیم دقیق ویژه وظیفه انجام می‌گیرد. تابع زیان معمولاً ترکیبی از یک زیان مدل‌سازی زبان ماسک شده و یک زیان طبقه‌بندی دنباله است تا هم برای روانی جمله و هم برای تشخیص گزینه صحیح بهینه‌سازی شود.

3. آزمایش‌ها و نتایج

3.1 مجموعه داده

آزمایش‌ها بر روی یک مجموعه داده واقعی سوالات ESL SC مربوط به پایه‌های K-12 که از یک پلتفرم آموزش آنلاین جمع‌آوری شده بود، انجام شد. این مجموعه داده شامل هزاران سوال با گزینه‌های گمراه‌کننده با کیفیت بالا و طراحی حرفه‌ای است که نقاط مختلف دستور زبان و واژگان را پوشش می‌دهد.

3.2 مدل‌های پایه

مدل پیشنهادی با چندین مدل پایه قوی مقایسه شد:

• مدل زبانی N-gram: مدل زبانی آماری سنتی.
• مدل زبانی Blank [10]: یک مدل زبانی تکراری برای پر کردن جای خالی.
• BERT (مدل زبانی ماسک شده): استفاده مستقیم از احتمالات پیش‌بینی توکن ماسک شده BERT.
• BERT تنظیم‌شده (طبقه‌بند): BERT با یک لایه طبقه‌بندی روی توکن `[CLS]`.

3.3 نتایج اصلی

مدل دنباله به دنباله از پیش آموزش‌دیده پیشنهادی به طور قابل توجهی از تمام روش‌های پایه در دقت پیش‌بینی روی مجموعه آزمون نگه‌داشته شده بهتر عمل کرد. مزیت کلیدی ناشی از توانایی آن در مدل‌سازی انسجام کلی جمله پس از درج، به جای فقط زمینه محلی، و مدیریت مؤثر سوالات چند جای خالی و گزینه‌های عبارتی بود.

3.4 تحلیل دقت-بازخوانی

مقاله یک تحلیل مبادله دقت-بازخوانی ارائه می‌دهد که برای استقرار در دنیای واقعی حیاتی است. با تنظیم آستانه امتیاز برای پذیرش یک پاسخ، سیستم می‌تواند برای حالت‌های با دقت بالا (محافظه‌کارانه، فقط زمانی که بسیار مطمئن است پاسخ می‌دهد) یا با بازخوانی بالا (تلاش برای پاسخ به سوالات بیشتر) تنظیم شود. این انعطاف‌پذیری برای سیستم‌های یادگیری سازگار که در آن تخمین اطمینان مهم است، حیاتی می‌باشد.

4. تحلیل فنی و بینش‌ها

5. مثال چارچوب تحلیل

سناریو: تحلیل دلیل احتمالی شکست مدل در یک سوال SC خاص.

سوال: "She _____ to the store yesterday and bought some milk."
گزینه‌ها: (A) go (B) goes (C) went (D) going

کاربرد چارچوب:

1. بازنمایی ورودی: مدل دریافت می‌کند: "She [MASK] to the store yesterday and bought some milk."
2. امتیازدهی گزینه‌ها: برای هر گزینه، مدل جمله را تولید/تکمیل می‌کند و یک امتیاز محاسبه می‌کند.
   • امتیاز("went") = -log P("She went to the store...") // باید کمترین (بهترین) باشد.
   • امتیاز("goes") = -log P("She goes to the store yesterday...") // به دلیل عدم تطابق زمان، بالاتر است.
3. تشخیص شکست: اگر مدل به اشتباه "goes" را انتخاب کند، بررسی می‌کنیم:
   • سوگیری داده: آیا "goes" در داده‌های آموزشی در زمینه‌های مشابه بیش از حد تکرار شده بود؟
   • پنجره زمینه: آیا مدل وزن کافی به نشانه زمانی "yesterday" نداد؟
   • قدرت گمراه‌کننده: آیا "goes" یک گزینه گمراه‌کننده به خصوص قوی است زیرا به طور مجزا برای فاعل "She" از نظر دستوری صحیح است؟
4. اصلاح: افزایش داده‌های آموزشی با مثال‌های بیشتر که بر تطابق قید زمانی-فعل تأکید می‌کنند، یا تنظیم هدف تنظیم دقیق برای جریمه سنگین‌تر ناسازگاری‌های زمانی.

این تحلیل ساختاریافته فراتر از معیارهای ساده دقت، به سمت بهبود عملی مدل حرکت می‌کند.

6. کاربردها و جهت‌های آینده

• مسیرهای یادگیری شخصی‌سازی شده: استفاده از اطمینان مدل و الگوهای خطا برای شناسایی نقاط ضعف دستوری خاص دانش‌آموز و توصیه تمرینات هدفمند.
• تولید خودکار سوال: معکوس کردن مدل برای تولید سوالات SC نو و با کیفیت بالا با گزینه‌های گمراه‌کننده معقول، با ماسک کردن کلمات در جملات معتبر و استفاده از مدل برای پیشنهاد جایگزین‌ها، مشابه روش‌های بررسی شده در arXiv:2005.05909.
• ادغام چندوجهی: ترکیب مدل‌های مبتنی بر متن با تشخیص گفتار برای ارزیابی تکمیل جمله گفتاری، ارائه ارزیابی جامع مهارت زبان.
• هوش مصنوعی قابل تفسیر برای آموزش (XAI-Ed): توسعه تکنیک‌هایی برای شفاف‌سازی «استدلال» مدل - به عنوان مثال، برجسته کردن کدام کلمات در جمله برای رد یک گزینه گمراه‌کننده کلیدی بودند - برای ایجاد اعتماد و ارائه بازخورد عمیق‌تر.
• انتقال بین‌زبانی: اعمال چارچوب بر سوالات SC برای زبان‌های دیگر، با استفاده از مدل‌های از پیش آموزش‌دیده چندزبانه مانند mT5 یا mBART.

7. مراجع

1. Zweig, G., et al. (2012). SAT Sentence Completion. Microsoft Research Tech Report.
2. Shen, L., et al. (2015). Blank Language Model. EMNLP.
3. Donahue, J., et al. (2020). Pre-training with Masked Text. NeurIPS.
4. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
5. Lewis, M., et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
6. Raffel, C., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
7. Koedinger, K.R., et al. (2012). The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning. Cognitive Science.
8. Zhu, J.Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV. (به عنوان مثالی از تلاش‌های تفسیرپذیری ذکر شده است).
9. International Educational Data Mining Society (IEDMS). Resources on Real-world Educational Datasets. https://educationaldatamining.org/