MENmBERT: یادگیری انتقالی برای پردازش زبان مالزیایی انگلیسی

فهرست مطالب

1. مقدمه

انگلیسی مالزیایی یک چالش زبانی منحصربه‌فرد در پردازش زبان طبیعی محسوب می‌شود - یک زبان کریول کم‌منبع که عناصری از زبان‌های مالایی، چینی و تامیلی را در کنار انگلیسی استاندارد دربرمی‌گیرد. این پژوهش به شکاف عملکردی بحرانی در وظایف شناسایی موجودیت‌های نام‌دار و استخراج روابط هنگام اعمال مدل‌های زبانی ازپیش‌آموخته استاندارد بر متن انگلیسی مالزیایی می‌پردازد.

سازگاری‌های ریخت‌نحوی، ویژگی‌های معنایی و الگوهای تغییر کد مشخصه انگلیسی مالزیایی، باعث افت عملکرد قابل توجهی در مدل‌های پیشرفته موجود می‌شود. کار ما MENmBERT و MENBERT را معرفی می‌کند، مدل‌های زبانی خاص‌سازیشده‌ای که این شکاف را از طریق رویکردهای راهبردی یادگیری انتقالی پل می‌زنند.

2. پیشینه و کارهای مرتبط

سازگاری مدل‌های زبانی ازپیش‌آموخته با پیکره‌های حوزه‌خاص یا زبان‌خاص، بهبودهای قابل توجهی در وظایف مختلف پردازش زبان طبیعی نشان داده است. پژوهش‌های مارتین و همکاران (2020) و آنتون و همکاران (2021) نشان داده‌اند که ازپیش‌آموزش بیشتر روی پیکره‌های تخصصی، عملکرد مدل را در بافت‌های زبانی هدف بهبود می‌بخشد.

انگلیسی مالزیایی به دلیل ماهیت کریولی آن، چالش‌های منحصربه‌فردی ارائه می‌دهد که شامل وام‌واژه‌ها، واژه‌های مرکب و اشتقاق‌های چندین زبان مبدأ می‌شود. پدیده تغییر کد، که در آن گویشوران انگلیسی و مالایی را در یک بیان واحد مخلوط می‌کنند، پیچیدگی اضافی برای مدل‌های استاندارد پردازش زبان طبیعی ایجاد می‌کند.

3. روش‌شناسی

3.1 رویکرد ازپیش‌آموزش

MENmBERT از یادگیری انتقالی از مدل‌های زبانی ازپیش‌آموخته انگلیسی از طریق ازپیش‌آموزش ادامه‌دار روی پیکره اخبار انگلیسی مالزیایی بهره می‌برد. هدف ازپیش‌آموزش از رویکرد مدل‌سازی زبان پوشیده پیروی می‌کند:

$$L_{MLM} = -\mathbb{E}_{x \sim D} \sum_{i=1}^{n} \log P(x_i | x_{\backslash i})$$

که در آن $x$ نمایانگر دنباله ورودی است، $D$ توزیع پیکره MEN است، و $x_{\backslash i}$ دنباله‌ای را نشان می‌دهد که نشانه $i$ام در آن پوشیده شده است.

3.2 راهبرد تنظیم دقیق

مدل‌ها روی مجموعه داده MEN حاوی 200 مقاله خبری با 6061 موجودیت حاشیه‌نویسی‌شده و 4095 نمونه رابطه، تنظیم دقیق شدند. فرآیند تنظیم دقیق از لایه‌های وظیفه‌خاص برای شناسایی موجودیت‌های نام‌دار و استخراج روابط استفاده کرد، با بهینه‌سازی تابع زیان آنتروپی متقاطع:

$$L_{NER} = -\sum_{i=1}^{N} \sum_{j=1}^{T} y_{ij} \log(\hat{y}_{ij})$$

که در آن $N$ تعداد دنباله‌ها است، $T$ طول دنباله است، $y_{ij}$ برچسب واقعی است، و $\hat{y}_{ij}$ احتمال پیش‌بینی‌شده است.

4. نتایج تجربی

4.1 عملکرد شناسایی موجودیت‌های نام‌دار

MENmBERT در مقایسه با bert-base-multilingual-cased، بهبود کلی 1.52 درصدی در عملکرد شناسایی موجودیت‌های نام‌دار به دست آورد. در حالی که بهبود کلی modest به نظر می‌رسد، تحلیل دقیق بهبودهای قابل توجهی در برچسب‌های موجودیت خاص، به ویژه برای موجودیت‌های خاص مالزیایی و بیان‌های تغییر کد، نشان می‌دهد.

4.2 عملکرد استخراج روابط

بیشترین بهبود چشمگیر در استخراج روابط مشاهده شد، جایی که MENmBERT به پیشرفت عملکردی 26.27 درصدی دست یافت. این بهبود قابل توجه، قابلیت ارتقایافته مدل را برای درک روابط معنایی در بافت انگلیسی مالزیایی نشان می‌دهد.

5. چارچوب تحلیل

6. کاربردهای آینده

موفقیت MENmBERT چندین جهت امیدوارکننده برای پژوهش و کاربرد آینده باز می‌کند:

• انتقال بین‌زبانی: اعمال رویکردهای مشابه به واریانت‌های دیگر انگلیسی (انگلیسی سنگاپور، انگلیسی هندی)
• یکپارچه‌سازی چندوجهی: ترکیب متن با داده صوتی برای تشخیص بهبودیافته تغییر کد
• کاربردهای زمان واقعی: استقرار در چت‌بات‌های خدمات مشتری برای بازارهای مالزیایی
• فناوری آموزشی: ابزارهای یادگیری زبان سفارشی‌شده برای گویشوران انگلیسی مالزیایی
• کاربردهای حقوقی و دولتی: پردازش اسناد برای متون حقوقی و اداری مالزیایی

این رویکرد مقیاس‌پذیری به واریانت‌های زبانی کم‌منبع دیگر و زبان‌های کریول در سراسر جهان را نشان می‌دهد.

7. مراجع

1. Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
2. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach.
3. Conneau, A., et al. (2020). Unsupervised Cross-lingual Representation Learning at Scale.
4. Lan, Z., et al. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations.
5. Martin, L., et al. (2020). CamemBERT: a Tasty French Language Model.
6. Antoun, W., et al. (2021). AraBERT: Transformer-based Model for Arabic Language Understanding.
7. Chanthran, M., et al. (2024). Malaysian English News Dataset for NLP Tasks.
8. Lee, J., et al. (2019). BioBERT: a pre-trained biomedical language representation model.