MENmBERT: মালয়েশিয়ান ইংরেজি এনএলপির জন্য ট্রান্সফার লার্নিং

সূচিপত্র

1. ভূমিকা

মালয়েশিয়ান ইংরেজি এনএলপিতে একটি অনন্য ভাষাগত চ্যালেঞ্জ উপস্থাপন করে - একটি স্বল্প-সম্পদ ক্রেওল ভাষা যা স্ট্যান্ডার্ড ইংরেজির পাশাপাশি মালয়, চীনা এবং তামিল ভাষা থেকে উপাদান অন্তর্ভুক্ত করে। এই গবেষণা নামযুক্ত সত্তা শনাক্তকরণ (NER) এবং সম্পর্ক নিষ্কাশন (RE) কাজে গুরুত্বপূর্ণ কার্যকারিতার ব্যবধান মোকাবেলা করে যখন স্ট্যান্ডার্ড প্রাক-প্রশিক্ষিত ভাষা মডেলগুলি মালয়েশিয়ান ইংরেজি পাঠ্যে প্রয়োগ করা হয়।

মালয়েশিয়ান ইংরেজির বৈশিষ্ট্যগত রূপমূল-বাক্য গঠনগত অভিযোজন, শব্দার্থিক বৈশিষ্ট্য এবং কোড-সুইচিং প্যাটার্ন বিদ্যমান অত্যাধুনিক মডেলগুলিতে উল্লেখযোগ্য কার্যকারিতা হ্রাস ঘটায়। আমাদের কাজ MENmBERT এবং MENBERT পরিচয় করিয়ে দেয়, বিশেষভাবে উপযোগী ভাষা মডেল যা কৌশলগত ট্রান্সফার লার্নিং পদ্ধতির মাধ্যমে এই ব্যবধান দূর করে।

2. পটভূমি এবং সম্পর্কিত কাজ

ডোমেন-নির্দিষ্ট বা ভাষা-নির্দিষ্ট কর্পাসে প্রাক-প্রশিক্ষিত ভাষা মডেলগুলির অভিযোজন বিভিন্ন এনএলপি কাজে উল্লেখযোগ্য উন্নতি প্রদর্শন করেছে। মার্টিন et al. (2020) এবং আন্টুন et al. (2021) এর গবেষণা দেখিয়েছে যে বিশেষায়িত কর্পাসে আরও প্রাক-প্রশিক্ষণ লক্ষ্যবস্তু ভাষাগত প্রসঙ্গে মডেলের কার্যকারিতা বাড়ায়।

মালয়েশিয়ান ইংরেজি তার ক্রেওল প্রকৃতির কারণে অনন্য চ্যালেঞ্জ উপস্থাপন করে, যেখানে একাধিক উৎস ভাষা থেকে ধার করা শব্দ, যৌগিক শব্দ এবং উদ্ভব বৈশিষ্ট্যযুক্ত। কোড-সুইচিং ঘটনা, যেখানে বক্তারা একক বাক্যে ইংরেজি এবং মালয় মিশ্রিত করে, স্ট্যান্ডার্ড এনএলপি মডেলগুলির জন্য অতিরিক্ত জটিলতা তৈরি করে।

3. পদ্ধতি

3.1 প্রাক-প্রশিক্ষণ পদ্ধতি

MENmBERT মালয়েশিয়ান ইংরেজি নিউজ (MEN) কর্পাসে অব্যাহত প্রাক-প্রশিক্ষণের মাধ্যমে ইংরেজি পিএলএম থেকে ট্রান্সফার লার্নিং কাজে লাগায়। প্রাক-প্রশিক্ষণের উদ্দেশ্য মাস্কড ভাষা মডেলিং পদ্ধতি অনুসরণ করে:

$$L_{MLM} = -\mathbb{E}_{x \sim D} \sum_{i=1}^{n} \log P(x_i | x_{\\backslash i})$$

যেখানে $x$ ইনপুট ক্রম প্রতিনিধিত্ব করে, $D$ হল MEN কর্পাস বন্টন, এবং $x_{\\backslash i}$ $i$-তম টোকেন মাস্ক করা ক্রম নির্দেশ করে।

3.2 ফাইন-টিউনিং কৌশল

মডেলগুলি MEN-ডেটাসেটে ফাইন-টিউন করা হয়েছিল যাতে 200টি সংবাদ নিবন্ধ রয়েছে 6,061টি টীকাযুক্ত সত্তা এবং 4,095টি সম্পর্ক উদাহরণ সহ। ফাইন-টিউনিং প্রক্রিয়াটি NER এবং RE-এর জন্য কাজ-নির্দিষ্ট স্তর নিযুক্ত করেছিল, ক্রস-এন্ট্রপি লস অপ্টিমাইজেশনের সাথে:

$$L_{NER} = -\sum_{i=1}^{N} \sum_{j=1}^{T} y_{ij} \log(\hat{y}_{ij})$$

যেখানে $N$ হল ক্রমের সংখ্যা, $T$ হল ক্রম দৈর্ঘ্য, $y_{ij}$ হল সত্য লেবেল, এবং $\hat{y}_{ij}$ হল পূর্বাভাসিত সম্ভাবনা।

4. পরীক্ষামূলক ফলাফল

4.1 NER কার্যকারিতা

MENmBERT bert-base-multilingual-cased এর তুলনায় NER কার্যকারিতায় 1.52% সামগ্রিক উন্নতি অর্জন করেছে। সামগ্রিক উন্নতি মাঝারি মনে হলেও, বিস্তারিত বিশ্লেষণ নির্দিষ্ট সত্তা লেবেল জুড়ে উল্লেখযোগ্য উন্নতি প্রকাশ করে, বিশেষ করে মালয়েশিয়ান-নির্দিষ্ট সত্তা এবং কোড-সুইচড এক্সপ্রেশনের জন্য।

4.2 RE কার্যকারিতা

সবচেয়ে নাটকীয় উন্নতি সম্পর্ক নিষ্কাশনে পর্যবেক্ষণ করা গেছে, যেখানে MENmBERT 26.27% কার্যকারিতা লাভ অর্জন করেছে। এইsubstantial উন্নতি মডেলের মালয়েশিয়ান ইংরেজি প্রসঙ্গে শব্দার্থিক সম্পর্ক বোঝার উন্নত ক্ষমতা প্রদর্শন করে।

5. বিশ্লেষণ কাঠামো

6. ভবিষ্যতের প্রয়োগ

MENmBERT-এর সাফল্য ভবিষ্যতের গবেষণা এবং প্রয়োগের জন্য বেশ কয়েকটি আশাব্যঞ্জক দিক খোলে:

• ক্রস-লিঙ্গুয়াল ট্রান্সফার: অন্যান্য ইংরেজি প্রকরণে (সিঙ্গাপুর ইংরেজি, ভারতীয় ইংরেজি) অনুরূপ পদ্ধতি প্রয়োগ করা
• মাল্টি-মোডাল ইন্টিগ্রেশন: উন্নত কোড-সুইচিং সনাক্তকরণের জন্য অডিও ডেটার সাথে টেক্সট মিলিত করা
• রিয়েল-টাইম অ্যাপ্লিকেশন: মালয়েশিয়ান বাজারের জন্য গ্রাহক সেবা চ্যাটবটে মোতায়েন
• শিক্ষাগত প্রযুক্তি: মালয়েশিয়ান ইংরেজি ভাষাভাষীদের জন্য উপযোগী ভাষা শেখার সরঞ্জাম
• আইনি এবং সরকারী প্রয়োগ: মালয়েশিয়ান আইনি এবং প্রশাসনিক পাঠ্যের জন্য নথি প্রক্রিয়াকরণ

পদ্ধতিটি বিশ্বব্যাপী অন্যান্য স্বল্প-সম্পদ ভাষা প্রকরণ এবং ক্রেওল ভাষায় মাপযোগ্যতা প্রদর্শন করে।

7. তথ্যসূত্র

1. Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
2. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach.
3. Conneau, A., et al. (2020). Unsupervised Cross-lingual Representation Learning at Scale.
4. Lan, Z., et al. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations.
5. Martin, L., et al. (2020). CamemBERT: a Tasty French Language Model.
6. Antoun, W., et al. (2021). AraBERT: Transformer-based Model for Arabic Language Understanding.
7. Chanthran, M., et al. (2024). Malaysian English News Dataset for NLP Tasks.
8. Lee, J., et al. (2019). BioBERT: a pre-trained biomedical language representation model.