مؤشرات على أن نماذج اللغة على مستوى الحروف تتعلم وحدات وقواعد الصرف والنحو الإنجليزية

جدول المحتويات

1.1 المقدمة

أظهرت نماذج اللغة على مستوى الحروف (LMs) قدرات ملحوظة في توليد النصوص بمفردات مفتوحة، مما مكّن من تطبيقات في التعرف على الكلام والترجمة الآلية. تحقق هذه النماذج النجاح من خلال مشاركة المعاملات عبر الكلمات المتكررة والنادرة وغير المرئية، مما أدى إلى ادعاءات حول قدرتها على تعلم خصائص الصرف والنحو. ومع ذلك، كانت هذه الادعاءات إلى حد كبير بديهية بدلاً من أن تكون مدعومة تجريبياً. يبحث هذا البحث فيما تتعلمه نماذج الحروف فعلاً عن الصرف وكيف تتعلمه، مع التركيز على معالجة اللغة الإنجليزية.

1.2 نمذجة اللغة

تستخدم الدراسة نموذج RNN على مستوى الحروف 'بدون كلمات' مع وحدات LSTM، حيث لا يتم تجزئة المدخلات إلى كلمات ويتم التعامل مع المسافات كحروف عادية. يتيح هذا الهيكل التحليل على المستوى الصرفي من خلال السماح بإدخال كلمات جزئية ومهام إكمال.

1.2.1 صياغة النموذج

في كل خطوة زمنية $t$، يتم إسقاط الحرف $c_t$ في فضاء التضمين: $x_{c_t} = E^T v_{c_t}$، حيث $E \in \mathbb{R}^{|V| \times d}$ هي مصفوفة تضمين الحروف، $|V|$ هو حجم مفردات الحروف، $d$ هو بُعد التضمين، و $v_{c_t}$ هو متجه one-hot.

يتم حساب الحالة المخفية على النحو التالي: $h_t = \text{LSTM}(x_{c_t}; h_{t-1})$

توزيع الاحتمالات على الأحرف التالية هو: $p(c_{t+1} = c | h_t) = \text{softmax}(W_o h_t + b_o)_i$ لكل $c \in V$

1.2.2 تفاصيل التدريب

تم تدريب النموذج على أول 7 ملايين رمز حرفي من بيانات النص الإنجليزية، باستخدام الانتشار الخلفي القياسي عبر الزمن مع تحسين خسارة الانتروبيا المتقاطعة.

2.1 العمليات الصرفية الإنتاجية

عند توليد النص، يطبق نموذج اللغة العمليات الصرفية الإنجليزية بشكل إنتاجي في سياقات جديدة. يشير هذا الاكتشاف المدهش إلى أن النموذج يمكنه تحديد المورفيمات ذات الصلة لهذه العمليات، مما يظهر تعلمًا صرفيًا مجردًا يتجاوز الأنماط السطحية.

2.2 وحدة اكتشاف الحدود

يكشف تحليل الوحدات المخفية في نموذج اللغة عن وحدة محددة تنشط عند حدود المورفيمات والكلمات. يبدو أن آلية اكتشاف الحدود هذه حاسمة لقدرة النموذج على تحديد الوحدات اللغوية وخصائصها.

3.1 تعلم حدود المورفيمات

يتعلم نموذج اللغة حدود المورفيمات من خلال الاستقراء من حدود الكلمات. يتيح هذا النهج التعليمي التصاعدي للنموذج تطوير تمثيلات هرمية للهيكل اللغوي دون إشراف صريح.

3.2 ترميز أجزاء الكلام

بالإضافة إلى الصرف، يقوم نموذج اللغة بترميز معلومات نحوية حول الكلمات، بما في ذلك فئات أجزاء الكلام الخاصة بها. هذا الترميز المزدوج للخصائص الصرفية والنحوية يمكّن من معالجة لغوية أكثر تطوراً.

4.1 القيود الانتقائية

يستوعب نموذج اللغة القيود الانتقائية النحوية للمورفيمات الاشتقاقية الإنجليزية، مما يظهر وعياً عند نقطة التقاء الصرف والنحو. ومع ذلك، يقوم النموذج ببعض التعميمات غير الصحيحة، مما يشير إلى قيود في تعلمه.

4.2 النتائج التجريبية

تظهر التجارب أن نموذج اللغة على مستوى الحروف يمكنه:

1. تحديد وحدات لغوية ذات ترتيب أعلى (المورفيمات والكلمات)
2. تعلم الخصائص والقواعد اللغوية الأساسية لهذه الوحدات
3. تطبيق العمليات الصرفية بشكل إنتاجي في سياقات جديدة
4. ترميز كل من المعلومات الصرفية والنحوية

5. الفكرة الأساسية والتحليل

6. التفاصيل التقنية

6.1 الصياغة الرياضية

يمكن صياغة عملية تضمين الحروف على النحو التالي:

$\mathbf{x}_t = \mathbf{E}^\top \mathbf{v}_{c_t}$

حيث $\mathbf{E} \in \mathbb{R}^{|V| \times d}$ هي مصفوفة التضمين، $\mathbf{v}_{c_t}$ هو متجه one-hot للحرف $c_t$، و $d$ هو بُعد التضمين.

معادلات تحديث LSTM تتبع الصياغة القياسية:

$\mathbf{f}_t = \sigma(\mathbf{W}_f [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_f)$

$\mathbf{i}_t = \sigma(\mathbf{W}_i [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_i)$

$\tilde{\mathbf{C}}_t = \tanh(\mathbf{W}_C [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_C)$

$\mathbf{C}_t = \mathbf{f}_t \odot \mathbf{C}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{C}}_t$

$\mathbf{o}_t = \sigma(\mathbf{W}_o [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_o)$

$\mathbf{h}_t = \mathbf{o}_t \odot \tanh(\mathbf{C}_t)$

6.2 الإعداد التجريبي

يستخدم النموذج حالات LSTM مخفية ذات أبعاد 512 وتضمينات أحرف مدربة على 7 ملايين حرف. يتضمن التقييم مقاييس كمية (الحيرة، الدقة) وتحليل نوعي للنص المُولد وتنشيطات الوحدات.

7. مثال على إطار التحليل

7.1 منهجية الاستكشاف

يستخدم البحث عدة تقنيات استكشافية للتحقيق فيما يتعلمه النموذج:

1. مهام الإكمال: إدخال كلمات جزئية (مثل "unhapp") وتحليل الاحتمالات المخصصة للإكمالات المحتملة ("-y" مقابل "-ily")
2. تحليل الحدود: مراقبة تنشيطات وحدة مخفية محددة حول أحرف المسافة وحدود المورفيمات
3. اختبارات القيود الانتقائية: عرض جذور مع مورفيمات اشتقاقية وتقييم أحكام القواعد

7.2 دراسة حالة: تحليل وحدة الحدود

عند معالجة كلمة "unhappiness"، تظهر وحدة اكتشاف الحدود ذروة التنشيط عند:

• الموضع 0 (بداية الكلمة)
• بعد "un-" (حدود البادئة)
• بعد "happy" (حدود الجذر)
• بعد "-ness" (نهاية الكلمة)

يشير هذا النمط إلى أن الوحدة تتعلم التجزئة عند حدود الكلمات والمورفيمات من خلال التعرض لأنماط مماثلة في بيانات التدريب.

8. التطبيقات المستقبلية والاتجاهات

8.1 التطبيقات الفورية

• اللغات ذات الموارد المحدودة: يمكن أن تتفوق نماذج الحروف على النماذج القائمة على الكلمات للغات ذات الصرف الغني وبيانات تدريب محدودة
• محللات الصرف: يمكن لاكتشاف الحدود الناشئ أن يطلق أنظمة تجزئة صرفية غير خاضعة للإشراف
• أدوات تعليمية: يمكن للنماذج التي تتعلم الصرف بشكل طبيعي أن تساعد في تعليم هيكل اللغة

8.2 اتجاهات البحث

• دراسات عبر اللغات: اختبار ما إذا كانت النتائج قابلة للتعميم على اللغات الالتصاقية (التركية) أو الانصهارية (الروسية)
• تأثيرات الحجم: التحقيق في كيفية تغير التعلم الصرفي مع حجم النموذج وكمية بيانات التدريب
• ابتكارات معمارية: تصميم نماذج بمكونات صرفية صريحة مستنيرة بهذه النتائج
• التكامل متعدد الوسائط: الجمع بين التعلم اللغوي على مستوى الحروف والمدخلات البصرية أو السمعية

8.3 الآثار طويلة المدى

يشير هذا البحث إلى أن النماذج على مستوى الحروف قد توفر نهجاً أكثر معقولية معرفياً لتعلم اللغة، مما قد يؤدي إلى:

1. نماذج لغة أكثر كفاءة في استخدام البيانات
2. معالجة أفضل للكلمات الجديدة والإبداع الصرفي
3. تحسين قابلية التفسير من خلال تمثيلات ذات معنى لغوي
4. جسور بين اللسانيات الحاسوبية واللسانيات النفسية

9. المراجع

1. Kementchedjhieva, Y., & Lopez, A. (2018). Indications that character language models learn English morpho-syntactic units and regularities. arXiv preprint arXiv:1809.00066.
2. Sutskever, I., Martens, J., & Hinton, G. E. (2011). Generating text with recurrent neural networks. Proceedings of the 28th International Conference on Machine Learning.
3. Chung, J., Cho, K., & Bengio, Y. (2016). A character-level decoder without explicit segmentation for neural machine translation. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics.
4. Kim, Y., Jernite, Y., Sontag, D., & Rush, A. M. (2016). Character-aware neural language models. Proceedings of the AAAI Conference on Artificial Intelligence.
5. Vaswani, A., et al. (2017). Attention is all you need. Advances in Neural Information Processing Systems.
6. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. Proceedings of the IEEE International Conference on Computer Vision.
7. Kirov, C., et al. (2018). UniMorph 2.0: Universal Morphology. Proceedings of the Eleventh International Conference on Language Resources and Evaluation.
8. Karpathy, A. (2015). The unreasonable effectiveness of recurrent neural networks. Andrej Karpathy blog.