MENmBERT: التعلم بالنقل لمعالجة اللغة الإنجليزية الماليزية

جدول المحتويات

1. المقدمة

تمثل الإنجليزية الماليزية تحدياً لغوياً فريداً في معالجة اللغات الطبيعية - فهي لغة كريولية منخفضة الموارد تدمج عناصر من اللغة الملايوية والصينية والتاميلية إلى جانب الإنجليزية القياسية. يتناول هذا البحث الفجوة الحرجة في الأداء لمهام التعرف على الكيانات المسماة واستخراج العلاقات عند تطبيق نماذج اللغة المدربة مسبقاً القياسية على النصوص الإنجليزية الماليزية.

تسبب التكيفات الشكلية النحوية، والسمات الدلالية، وأنماط التبديل اللغوي المميزة للإنجليزية الماليزية تدهوراً كبيراً في الأداء للنماذج الحديثة الحالية. تقدم عملنا نموذجي MENmBERT وMENBERT، وهما نموذجان لغويان مصممان خصيصاً لسد هذه الفجوة من خلال نهج التعلم بالنقل الاستراتيجية.

2. الخلفية والأعمال ذات الصلة

أظهر تكييف نماذج اللغة المدربة مسبقاً لمجموعات البيانات الخاصة بمجال معين أو لغة معينة تحسينات كبيرة عبر مهام معالجة اللغات الطبيعية المختلفة. أظهر بحث مارتن وآخرون (2020) وعنتون وآخرون (2021) أن التدريب المسبق الإضافي على مجموعات البيانات المتخصصة يعزز أداء النموذج في السياقات اللغوية المستهدفة.

تقدم الإنجليزية الماليزية تحديات فريدة بسبب طبيعتها الكريولية، التي تتميز بالكلمات الدخيلة، والكلمات المركبة، والمشتقات من لغات المصدر المتعددة. تخلق ظاهرة التبديل اللغوي، حيث يخلط المتحدثون بين الإنجليزية والملايوية داخل الجمل الواحدة، تعقيداً إضافياً لنماذج معالجة اللغات الطبيعية القياسية.

3. المنهجية

3.1 نهج التدريب المسبق

يستفيد MENmBERT من التعلم بالنقل من نماذج اللغة الإنجليزية المدربة مسبقاً من خلال التدريب المسبق المستمر على مجموعة البيانات الإخبارية الإنجليزية الماليزية. يتبع هدف التدريب المسبق نهج نمذجة اللغة المقنعة:

$$L_{MLM} = -\mathbb{E}_{x \sim D} \sum_{i=1}^{n} \log P(x_i | x_{\backslash i})$$

حيث تمثل $x$ تسلسل الإدخال، و$D$ هو توزيع مجموعة البيانات الإخبارية الإنجليزية الماليزية، و$x_{\backslash i}$ يشير إلى التسلسل مع إخفاء الرمز $i$-th.

3.2 استراتيجية الضبط الدقيق

تم ضبط النماذج بدقة على مجموعة بيانات MEN التي تحتوي على 200 مقال إخباري مع 6,061 كياناً موشحاً و4,095 حالة علاقة. استخدمت عملية الضبط الدقيق طبقات خاصة بالمهمة للتعرف على الكيانات المسماة واستخراج العلاقات، مع تحسين فقدان الانتروبيا المتقاطعة:

$$L_{NER} = -\sum_{i=1}^{N} \sum_{j=1}^{T} y_{ij} \log(\hat{y}_{ij})$$

حيث $N$ هو عدد التسلسلات، و$T$ هو طول التسلسل، و$y_{ij}$ هو التصنيف الحقيقي، و$\hat{y}_{ij}$ هو الاحتمال المتوقع.

4. النتائج التجريبية

4.1 أداء التعرف على الكيانات المسماة

حقق MENmBERT تحسناً إجمالياً بنسبة 1.52% في أداء التعرف على الكيانات المسماة مقارنة بـ bert-base-multilingual-cased. بينما يبدو التحسن الإجمالي متواضعاً، يكشف التحليل التفصيلي عن تحسينات كبيرة عبر تسميات الكيانات المحددة، خاصة للكيانات الخاصة بماليزيا والتعابير ذات التبديل اللغوي.

4.2 أداء استخراج العلاقات

لوحظ التحسن الأكثر دراماتيكية في استخراج العلاقات، حيث حقق MENmBERT مكسباً في الأداء بنسبة 26.27%. يظهر هذا التحسن الكبير القدرة المعززة للنموذج على فهم العلاقات الدلالية في سياق الإنجليزية الماليزية.

5. إطار التحليل

6. التطبيقات المستقبلية

يفتح نجاح MENmBERT عدة اتجاهات واعدة للبحث والتطبيق المستقبلي:

• النقل بين اللغات: تطبيق نهج مماثل على متغيرات الإنجليزية الأخرى (الإنجليزية السنغافورية، الإنجليزية الهندية)
• التكامل متعدد الوسائط: دمج النص مع بيانات الصوت لتحسين كشف التبديل اللغوي
• التطبيقات في الوقت الفعلي: النشر في روبوتات الدردشة لخدمة العملاء للأسواق الماليزية
• تكنولوجيا التعليم: أدوات تعلم اللغة المصممة خصيصاً لمتحدثي الإنجليزية الماليزية
• التطبيقات القانونية والحكومية: معالجة الوثائق للنصوص القانونية والإدارية الماليزية

يظهر النهج قابلية التوسع لمتغيرات اللغات منخفضة الموارد الأخرى واللغات الكريولية في جميع أنحاء العالم.

7. المراجع

1. Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
2. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach.
3. Conneau, A., et al. (2020). Unsupervised Cross-lingual Representation Learning at Scale.
4. Lan, Z., et al. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations.
5. Martin, L., et al. (2020). CamemBERT: a Tasty French Language Model.
6. Antoun, W., et al. (2021). AraBERT: Transformer-based Model for Arabic Language Understanding.
7. Chanthran, M., et al. (2024). Malaysian English News Dataset for NLP Tasks.
8. Lee, J., et al. (2019). BioBERT: a pre-trained biomedical language representation model.