MENmBERT: मलेशियाई अंग्रेजी एनएलपी के लिए ट्रांसफर लर्निंग

विषय सूची

1. परिचय

मलेशियाई अंग्रेजी एनएलपी में एक अनूठी भाषाई चुनौती का प्रतिनिधित्व करती है - एक कम-संसाधन क्रियोल भाषा जो मानक अंग्रेजी के साथ-साथ मलय, चीनी और तमिल भाषाओं के तत्वों को शामिल करती है। यह शोध नामित इकाई पहचान (एनईआर) और संबंध निष्कर्षण (आरई) कार्यों में महत्वपूर्ण प्रदर्शन अंतर को संबोधित करता है जब मानक प्री-ट्रेंड भाषा मॉडल को मलेशियाई अंग्रेजी पाठ पर लागू किया जाता है।

मलेशियाई अंग्रेजी की रूपवाक्यिक अनुकूलन, शब्दार्थ विशेषताएं और कोड-स्विचिंग पैटर्न मौजूदा अत्याधुनिक मॉडलों में महत्वपूर्ण प्रदर्शन गिरावट का कारण बनते हैं। हमारा कार्य MENmBERT और MENBERT का परिचय देता है, विशेष रूप से अनुकूलित भाषा मॉडल जो रणनीतिक ट्रांसफर लर्निंग दृष्टिकोणों के माध्यम से इस अंतर को पाटते हैं।

2. पृष्ठभूमि और संबंधित कार्य

डोमेन-विशिष्ट या भाषा-विशिष्ट कॉर्पोरा के लिए प्री-ट्रेंड भाषा मॉडल के अनुकूलन ने विभिन्न एनएलपी कार्यों में महत्वपूर्ण सुधार दिखाया है। मार्टिन एट अल. (2020) और एंटोन एट अल. (2021) के शोध ने दिखाया है कि विशेष कॉर्पोरा पर आगे की प्री-ट्रेनिंग लक्षित भाषाई संदर्भों में मॉडल प्रदर्शन को बढ़ाती है।

मलेशियाई अंग्रेजी अपनी क्रियोल प्रकृति के कारण अद्वितीय चुनौतियाँ प्रस्तुत करती है, जिसमें कई स्रोत भाषाओं से उधार के शब्द, यौगिक शब्द और व्युत्पत्तियाँ शामिल हैं। कोड-स्विचिंग घटना, जहाँ वक्ता एक ही उच्चारण में अंग्रेजी और मलय को मिलाते हैं, मानक एनएलपी मॉडलों के लिए अतिरिक्त जटिलता पैदा करती है।

3. कार्यप्रणाली

3.1 प्री-ट्रेनिंग दृष्टिकोण

MENmBERT मलेशियाई अंग्रेजी समाचार (एमईएन) कॉर्पस पर निरंतर प्री-ट्रेनिंग के माध्यम से अंग्रेजी पीएलएम से ट्रांसफर लर्निंग का लाभ उठाता है। प्री-ट्रेनिंग उद्देश्य मास्क्ड लैंग्वेज मॉडलिंग दृष्टिकोण का अनुसरण करता है:

$$L_{MLM} = -\mathbb{E}_{x \sim D} \sum_{i=1}^{n} \log P(x_i | x_{\\backslash i})$$

जहाँ $x$ इनपुट अनुक्रम का प्रतिनिधित्व करता है, $D$ एमईएन कॉर्पस वितरण है, और $x_{\\backslash i}$ $i$-वें टोकन के मास्क किए गए अनुक्रम को दर्शाता है।

3.2 फाइन-ट्यूनिंग रणनीति

मॉडलों को एमईएन-डेटासेट पर फाइन-ट्यून किया गया था जिसमें 200 समाचार लेख शामिल थे जिनमें 6,061 एनोटेटेड एंटिटीज और 4,095 संबंध उदाहरण थे। फाइन-ट्यूनिंग प्रक्रिया ने एनईआर और आरई के लिए कार्य-विशिष्ट परतों का उपयोग किया, जिसमें क्रॉस-एन्ट्रॉपी लॉस ऑप्टिमाइज़ेशन शामिल था:

$$L_{NER} = -\sum_{i=1}^{N} \sum_{j=1}^{T} y_{ij} \log(\hat{y}_{ij})$$

जहाँ $N$ अनुक्रमों की संख्या है, $T$ अनुक्रम लंबाई है, $y_{ij}$ वास्तविक लेबल है, और $\hat{y}_{ij}$ अनुमानित संभावना है।

4. प्रयोगात्मक परिणाम

4.1 एनईआर प्रदर्शन

MENmBERT ने bert-base-multilingual-cased की तुलना में एनईआर प्रदर्शन में 1.52% समग्र सुधार हासिल किया। जबकि समग्र सुधार मामूली प्रतीत होता है, विस्तृत विश्लेषण विशिष्ट एंटिटी लेबलों में महत्वपूर्ण सुधार प्रकट करता है, विशेष रूप से मलेशियाई-विशिष्ट एंटिटीज और कोड-स्विच्ड अभिव्यक्तियों के लिए।

4.2 आरई प्रदर्शन

सबसे नाटकीय सुधार संबंध निष्कर्षण में देखा गया, जहाँ MENmBERT ने 26.27% प्रदर्शन लाभ हासिल किया। यह पर्याप्त सुधार मलेशियाई अंग्रेजी संदर्भ में शब्दार्थ संबंधों को समझने की मॉडल की बढ़ी हुई क्षमता को प्रदर्शित करता है।

5. विश्लेषण ढांचा

6. भविष्य के अनुप्रयोग

MENmBERT की सफलता भविष्य के शोध और अनुप्रयोग के लिए कई आशाजनक दिशाएँ खोलती है:

• क्रॉस-लिंगुअल ट्रांसफर: अन्य अंग्रेजी वेरिएंट (सिंगापुर अंग्रेजी, भारतीय अंग्रेजी) के लिए समान दृष्टिकोण लागू करना
• मल्टी-मोडल एकीकरण: बेहतर कोड-स्विचिंग पहचान के लिए ऑडियो डेटा के साथ टेक्स्ट को जोड़ना
• रियल-टाइम अनुप्रयोग: मलेशियाई बाजारों के लिए ग्राहक सेवा चैटबॉट में तैनाती
• शैक्षिक प्रौद्योगिकी: मलेशियाई अंग्रेजी बोलने वालों के लिए अनुकूलित भाषा सीखने के उपकरण
• कानूनी और सरकारी अनुप्रयोग: मलेशियाई कानूनी और प्रशासनिक ग्रंथों के लिए दस्तावेज़ प्रसंस्करण

यह दृष्टिकोण दुनिया भर में अन्य कम-संसाधन भाषा वेरिएंट और क्रियोल भाषाओं के लिए स्केलेबिलिटी प्रदर्शित करता है।

7. संदर्भ

1. Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
2. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach.
3. Conneau, A., et al. (2020). Unsupervised Cross-lingual Representation Learning at Scale.
4. Lan, Z., et al. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations.
5. Martin, L., et al. (2020). CamemBERT: a Tasty French Language Model.
6. Antoun, W., et al. (2021). AraBERT: Transformer-based Model for Arabic Language Understanding.
7. Chanthran, M., et al. (2024). Malaysian English News Dataset for NLP Tasks.
8. Lee, J., et al. (2019). BioBERT: a pre-trained biomedical language representation model.