पूर्व-प्रशिक्षित तंत्रिका भाषा मॉडल के माध्यम से ESL वाक्य पूर्ति प्रश्नों का समाधान

विषय सूची

1. परिचय

वाक्य पूर्ति (एससी) प्रश्न, द्वितीय भाषा के रूप में अंग्रेजी (ईएसएल) दक्षता का आकलन करने का एक मौलिक उपकरण हैं। इनमें एक या अधिक रिक्त स्थान वाला एक वाक्य और उम्मीदवार शब्दों/वाक्यांशों का एक सेट प्रस्तुत किया जाता है, जो शिक्षार्थी की व्याकरण, वाक्यविन्यास और शब्दार्थ की समझ का परीक्षण करता है। इन प्रश्नों के समाधान को स्वचालित करने का बुद्धिमान शिक्षण प्रणालियों, त्वरित प्रतिक्रिया प्रदान करने, प्रश्न की गुणवत्ता का मूल्यांकन करने और अभ्यास सामग्री उत्पन्न करने के लिए महत्वपूर्ण मूल्य है।

पारंपरिक दृष्टिकोण, जैसे कि एन-ग्राम भाषा मॉडल, वास्तविक दुनिया के ईएसएल प्रश्नों की सूक्ष्म चुनौतियों से जूझते हैं: पेशेवरों द्वारा रचित अत्यधिक भ्रमित करने वाले विकर्षक, गहन भाषाई ज्ञान की आवश्यकताएँ, और परिवर्तनशील संख्या में रिक्त स्थान/टोकन। यह पत्र इन चुनौतियों का प्रभावी ढंग से समाधान करने के लिए बड़े पैमाने पर पूर्व-प्रशिक्षित भाषा मॉडल का लाभ उठाने वाले एक तंत्रिका ढांचे का प्रस्ताव करता है।

2. हमारा दृष्टिकोण

प्रस्तावित ढांचे का मूल एससी कार्य के लिए पूर्व-प्रशिक्षित अनुक्रम-से-अनुक्रम मॉडल, विशेष रूप से ट्रांसफॉर्मर-आधारित आर्किटेक्चर, को अनुकूलित करना है।

2.1 समस्या का सूत्रीकरण

एक एससी प्रश्न को एक टपल $(q, O)$ के रूप में परिभाषित किया जाता है, जहाँ $q$ विशेष `[MASK]` टोकन द्वारा निरूपित $k$ रिक्त स्थान वाला वाक्य है, और $O = \{o_1, o_2, ..., o_m\}$ $m$ उम्मीदवार विकल्पों का समुच्चय है (प्रत्येक विकल्प एक या एकाधिक रिक्त स्थान भर सकता है)। लक्ष्य उस विकल्प $o^* \in O$ का चयन करना है जो पूर्ण वाक्य को सबसे अधिक संभाव्य बनाता है।

2.2 मॉडल आर्किटेक्चर

मॉडल एक पूर्व-प्रशिक्षित एनकोडर-डिकोडर आर्किटेक्चर (जैसे, BART या T5) पर आधारित है। इनपुट मास्क किया गया वाक्य $q$ है। प्रत्येक उम्मीदवार विकल्प $o_i$ के लिए, मॉडल `[MASK]` टोकन को प्रतिस्थापित करके एक पूर्ण वाक्य उत्पन्न करता है। मॉडल प्रत्येक पूर्णता को उसकी उत्पादन संभावना या एक फाइन-ट्यून किए गए वर्गीकरण हेड के आधार पर स्कोर करता है। स्कोर $S(o_i | q)$ पूर्ण अनुक्रम उत्पन्न करने की नकारात्मक लॉग-संभावना से प्राप्त किया जा सकता है:

$S(o_i | q) = -\sum_{t=1}^{T} \log P(w_t | w_{

जहाँ $w_t$ पूर्ण वाक्य के टोकन हैं। सबसे उच्च स्कोर (सबसे कम भ्रम) वाले विकल्प का चयन किया जाता है।

2.3 प्रशिक्षण रणनीति

मॉडल को एससी प्रश्नों के एक डेटासेट पर प्रारंभ में एक डीनोइज़िंग ऑटोएनकोडर उद्देश्य का उपयोग करके फाइन-ट्यून किया जाता है, उसके बाद कार्य-विशिष्ट फाइन-ट्यूनिंग की जाती है। हानि फलन आम तौर पर वाक्य प्रवाह और सही विकल्प विभेदन दोनों के लिए अनुकूलन करने के लिए एक मास्क्ड भाषा मॉडलिंग हानि और एक अनुक्रम वर्गीकरण हानि को संयोजित करता है।

3. प्रयोग और परिणाम

3.1 डेटासेट

प्रयोग एक ऑनलाइन शिक्षा प्लेटफॉर्म से एकत्रित वास्तविक दुनिया के K-12 ईएसएल एससी प्रश्न डेटासेट पर किए गए। डेटासेट में उच्च-गुणवत्ता, पेशेवर रूप से डिज़ाइन किए गए विकर्षकों वाले हजारों प्रश्न शामिल हैं, जो विभिन्न व्याकरण और शब्दावली बिंदुओं को कवर करते हैं।

3.2 आधार रेखाएँ

प्रस्तावित मॉडल की तुलना कई मजबूत आधार रेखाओं के विरुद्ध की गई:

• एन-ग्राम एलएम: पारंपरिक सांख्यिकीय भाषा मॉडल।
• ब्लैंक एलएम [10]: रिक्त स्थान भरने के लिए एक पुनरावृत्त भाषा मॉडल।
• BERT (मास्क्ड एलएम): BERT की मास्क्ड टोकन भविष्यवाणी संभावनाओं का सीधे उपयोग करना।
• फाइन-ट्यून किया गया BERT (वर्गीकरणकर्ता): `[CLS]` टोकन पर एक वर्गीकरण परत के साथ BERT।

3.3 मुख्य परिणाम

प्रस्तावित पूर्व-प्रशिक्षित अनुक्रम-से-अनुक्रम मॉडल ने आरक्षित परीक्षण सेट पर भविष्यवाणी सटीकता में सभी आधार रेखा विधियों को काफी पीछे छोड़ दिया। मुख्य लाभ प्रविष्टि के बाद पूरे वाक्य सुसंगतता को मॉडल करने की इसकी क्षमता से उत्पन्न हुआ, न कि केवल स्थानीय संदर्भ से, जिससे बहु-रिक्त प्रश्नों और वाक्यांश विकल्पों का प्रभावी ढंग से प्रबंधन हुआ।

3.4 परिशुद्धता-स्मरण विश्लेषण

पत्र एक परिशुद्धता-स्मरण व्यापार-विश्लेषण प्रस्तुत करता है, जो वास्तविक दुनिया में तैनाती के लिए महत्वपूर्ण है। उत्तर स्वीकार करने के लिए स्कोर सीमा को समायोजित करके, सिस्टम को उच्च-परिशुद्धता (रूढ़िवादी, केवल बहुत निश्चित होने पर उत्तर देना) या उच्च-स्मरण (अधिक प्रश्नों का प्रयास करना) मोड के लिए ट्यून किया जा सकता है। यह लचीलापन अनुकूली शिक्षण प्रणालियों के लिए महत्वपूर्ण है जहाँ आत्मविश्वास अनुमान मायने रखता है।

4. तकनीकी विश्लेषण और अंतर्दृष्टि

5. विश्लेषण ढांचा उदाहरण

परिदृश्य: विश्लेषण करना कि एक मॉडल किसी विशेष एससी प्रश्न पर क्यों विफल हो सकता है।

प्रश्न: "She _____ to the store yesterday and bought some milk."
विकल्प: (A) go (B) goes (C) went (D) going

ढांचा अनुप्रयोग:

1. इनपुट प्रतिनिधित्व: मॉडल प्राप्त करता है: "She [MASK] to the store yesterday and bought some milk."
2. विकल्प स्कोरिंग: प्रत्येक विकल्प के लिए, मॉडल वाक्य उत्पन्न/पूरा करता है और एक स्कोर की गणना करता है।
   • स्कोर("went") = -log P("She went to the store...") // सबसे कम (सर्वोत्तम) होना चाहिए।
   • स्कोर("goes") = -log P("She goes to the store yesterday...") // काल असंगति के कारण उच्च।
3. विफलता निदान: यदि मॉडल गलत तरीके से "goes" चुनता है, तो हम जाँच करते हैं:
   • डेटा पूर्वाग्रह: क्या प्रशिक्षण डेटा में समान संदर्भों में "goes" अत्यधिक बार आया था?
   • संदर्भ विंडो: क्या मॉडल अस्थायी संकेत "yesterday" को पर्याप्त महत्व देने में विफल रहा?
   • विकर्षक शक्ति: क्या "goes" एक विशेष रूप से मजबूत विकर्षक है क्योंकि यह विषय "She" के लिए शून्य में व्याकरणिक रूप से सही है?
4. उपचार: अस्थायी क्रिया विशेषण-क्रिया समझौते पर जोर देने वाले अधिक उदाहरणों के साथ प्रशिक्षण डेटा को संवर्धित करें, या काल असंगतियों को अधिक भारी रूप से दंडित करने के लिए फाइन-ट्यूनिंग उद्देश्य को समायोजित करें।

यह संरचित विश्लेषण सरल सटीकता मापदंडों से आगे बढ़कर कार्रवाई योग्य मॉडल सुधार की ओर ले जाता है।

6. भविष्य के अनुप्रयोग और दिशाएँ

• व्यक्तिगत शिक्षण पथ: मॉडल आत्मविश्वास और त्रुटि पैटर्न का उपयोग करके छात्र की विशिष्ट व्याकरणिक कमजोरियों की पहचान करना और लक्षित अभ्यासों की सिफारिश करना।
• स्वचालित प्रश्न उत्पादन: मॉडल को उलटकर, प्रामाणिक वाक्यों में शब्दों को मास्क करके और विकल्प प्रस्तावित करने के लिए मॉडल का उपयोग करके, arXiv:2005.05909 में खोजी गई विधियों के समान, संभाव्य विकर्षकों के साथ नवीन, उच्च-गुणवत्ता वाले एससी प्रश्न उत्पन्न करना।
• बहु-मोडल एकीकरण: पाठ-आधारित मॉडल को भाषण पहचान के साथ जोड़कर बोले गए वाक्य पूर्ति का आकलन करना, समग्र भाषा दक्षता मूल्यांकन प्रदान करना।
• शिक्षा के लिए व्याख्यात्मक एआई (XAI-Ed): मॉडल के "तर्क" को पारदर्शी बनाने के लिए तकनीकें विकसित करना—उदाहरण के लिए, उन शब्दों को उजागर करना जो किसी विकर्षक को अस्वीकार करने के लिए वाक्य में महत्वपूर्ण थे—विश्वास बनाने और गहरी प्रतिक्रिया प्रदान करने के लिए।
• अंतर-भाषाई स्थानांतरण: बहुभाषी पूर्व-प्रशिक्षित मॉडल जैसे mT5 या mBART का लाभ उठाकर, ढांचे को अन्य भाषाओं के लिए एससी प्रश्नों पर लागू करना।

7. संदर्भ

1. Zweig, G., et al. (2012). SAT Sentence Completion. Microsoft Research Tech Report.
2. Shen, L., et al. (2015). Blank Language Model. EMNLP.
3. Donahue, J., et al. (2020). Pre-training with Masked Text. NeurIPS.
4. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
5. Lewis, M., et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
6. Raffel, C., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
7. Koedinger, K.R., et al. (2012). The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning. Cognitive Science.
8. Zhu, J.Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV. (व्याख्यात्मकता प्रयासों के उदाहरण के रूप में उद्धृत)।
9. International Educational Data Mining Society (IEDMS). Resources on Real-world Educational Datasets. https://educationaldatamining.org/