প্রাক-প্রশিক্ষিত নিউরাল ভাষা মডেলের মাধ্যমে ইএসএল বাক্য পূরণ প্রশ্নের সমাধান

সূচিপত্র

1. ভূমিকা

বাক্য পূরণ (এসসি) প্রশ্নগুলি দ্বিতীয় ভাষা হিসেবে ইংরেজি (ইএসএল) দক্ষতা মূল্যায়নের একটি মৌলিক সরঞ্জাম। এগুলি এক বা একাধিক শূন্যস্থান সহ একটি বাক্য এবং প্রার্থী শব্দ/বাক্যাংশের একটি সেট উপস্থাপন করে, যা একজন শিক্ষার্থীর ব্যাকরণ, বাক্য গঠন এবং শব্দার্থবিদ্যার বোধগম্যতা পরীক্ষা করে। এই প্রশ্নগুলির সমাধান স্বয়ংক্রিয় করার মাধ্যমে বুদ্ধিমান শিক্ষাদান ব্যবস্থার জন্য তাৎপর্যপূর্ণ মূল্য রয়েছে, যেমন তাৎক্ষণিক প্রতিক্রিয়া প্রদান, প্রশ্নের মান মূল্যায়ন এবং অনুশীলনের উপকরণ তৈরি করা।

ঐতিহ্যগত পদ্ধতি, যেমন এন-গ্রাম ভাষা মডেল, বাস্তব-বিশ্বের ইএসএল প্রশ্নের সূক্ষ্ম চ্যালেঞ্জগুলির সাথে লড়াই করে: পেশাদারদের দ্বারা তৈরি অত্যন্ত বিভ্রান্তিকর বিকল্প, গভীর ভাষাগত জ্ঞানের প্রয়োজনীয়তা এবং পরিবর্তনশীল সংখ্যক শূন্যস্থান/টোকেন। এই গবেষণাপত্রটি এই চ্যালেঞ্জগুলিকে কার্যকরভাবে মোকাবেলা করার জন্য বৃহৎ-পরিসরের প্রাক-প্রশিক্ষিত ভাষা মডেলগুলির সুবিধা নেওয়া একটি নিউরাল কাঠামো প্রস্তাব করে।

2. আমাদের পদ্ধতি

প্রস্তাবিত কাঠামোর মূল হল এসসি কাজের জন্য প্রাক-প্রশিক্ষিত সিকোয়েন্স-টু-সিকোয়েন্স মডেল, বিশেষ করে ট্রান্সফরমার-ভিত্তিক আর্কিটেকচারগুলিকে অভিযোজিত করা।

2.1 সমস্যা প্রণয়ন

একটি এসসি প্রশ্নকে একটি টুপল $(q, O)$ হিসাবে সংজ্ঞায়িত করা হয়, যেখানে $q$ হল $k$ সংখ্যক শূন্যস্থান সহ বাক্য যা একটি বিশেষ `[MASK]` টোকেন দ্বারা চিহ্নিত, এবং $O = \{o_1, o_2, ..., o_m\}$ হল $m$ সংখ্যক প্রার্থী বিকল্পের সেট (প্রতিটি বিকল্প এক বা একাধিক শূন্যস্থান পূরণ করতে পারে)। লক্ষ্য হল সেই বিকল্প $o^* \in O$ নির্বাচন করা যা সম্পূর্ণ বাক্যটিকে সবচেয়ে যুক্তিসঙ্গত করে তোলে।

2.2 মডেল আর্কিটেকচার

মডেলটি একটি প্রাক-প্রশিক্ষিত এনকোডার-ডিকোডার আর্কিটেকচারের (যেমন, BART বা T5) উপর ভিত্তি করে। ইনপুট হল মাস্ক করা বাক্য $q$। প্রতিটি প্রার্থী বিকল্প $o_i$-এর জন্য, মডেলটি `[MASK]` টোকেনগুলি প্রতিস্থাপন করে একটি সম্পূর্ণ বাক্য তৈরি করে। মডেলটি তার জেনারেশন সম্ভাবনা বা একটি ফাইন-টিউন করা ক্লাসিফায়ার হেডের ভিত্তিতে প্রতিটি সম্পূর্ণ বাক্যের স্কোর করে। স্কোর $S(o_i | q)$ সম্পূর্ণ সিকোয়েন্স তৈরি করার নেতিবাচক লগ-সম্ভাবনা থেকে উদ্ভূত হতে পারে:

$S(o_i | q) = -\sum_{t=1}^{T} \log P(w_t | w_{

যেখানে $w_t$ হল সম্পূর্ণ বাক্যের টোকেন। সর্বোচ্চ স্কোর (সর্বনিম্ন পারপ্লেক্সিটি) সহ বিকল্পটি নির্বাচিত হয়।

2.3 প্রশিক্ষণ কৌশল

মডেলটিকে এসসি প্রশ্নের একটি ডেটাসেটে প্রাথমিকভাবে একটি ডিনয়েজিং অটোএনকোডার উদ্দেশ্য ব্যবহার করে ফাইন-টিউন করা হয়, তারপরে কাজ-নির্দিষ্ট ফাইন-টিউনিং করা হয়। লস ফাংশন সাধারণত একটি মাস্কড ভাষা মডেলিং লস এবং একটি সিকোয়েন্স ক্লাসিফিকেশন লসকে একত্রিত করে যাতে বাক্যের সাবলীলতা এবং সঠিক বিকল্প পার্থক্য উভয়ের জন্য অপ্টিমাইজ করা যায়।

3. পরীক্ষা ও ফলাফল

3.1 ডেটাসেট

পরীক্ষাগুলি একটি অনলাইন শিক্ষা প্ল্যাটফর্ম থেকে সংগৃহীত একটি বাস্তব-বিশ্বের কে-১২ ইএসএল এসসি প্রশ্ন ডেটাসেটে পরিচালিত হয়েছিল। ডেটাসেটে হাজার হাজার প্রশ্ন রয়েছে যাতে উচ্চ-মানের, পেশাদারভাবে নকশা করা বিভ্রান্তিকর বিকল্প রয়েছে, যা বিভিন্ন ব্যাকরণ এবং শব্দভান্ডারের বিষয়বস্তু কভার করে।

3.2 বেসলাইন পদ্ধতি

প্রস্তাবিত মডেলটিকে বেশ কয়েকটি শক্তিশালী বেসলাইন পদ্ধতির সাথে তুলনা করা হয়েছিল:

• এন-গ্রাম এলএম: ঐতিহ্যগত পরিসংখ্যানগত ভাষা মডেল।
• ব্ল্যাঙ্ক এলএম [১০]: শূন্যস্থান পূরণের জন্য একটি পুনরাবৃত্তিমূলক ভাষা মডেল।
• BERT (মাস্কড এলএম): BERT-এর মাস্কড টোকেন পূর্বাভাস সম্ভাবনা সরাসরি ব্যবহার করা।
• ফাইন-টিউন করা BERT (ক্লাসিফায়ার): `[CLS]` টোকেনে একটি শ্রেণীবিভাগ স্তর সহ BERT।

3.3 প্রধান ফলাফল

প্রস্তাবিত প্রাক-প্রশিক্ষিত সিকোয়েন্স-টু-সিকোয়েন্স মডেলটি হোল্ড-আউট টেস্ট সেটে পূর্বাভাস নির্ভুলতায় সমস্ত বেসলাইন পদ্ধতিকে উল্লেখযোগ্যভাবে ছাড়িয়ে গেছে। মূল সুবিধাটি এসেছে সম্পূর্ণ বাক্যের সামঞ্জস্যতা মডেল করার ক্ষমতা থেকে, শুধুমাত্র স্থানীয় প্রসঙ্গ নয়, যা বহু-শূন্যস্থানযুক্ত প্রশ্ন এবং বাক্যাংশ বিকল্পগুলিকে কার্যকরভাবে পরিচালনা করে।

3.4 প্রিসিশন-রিকল বিশ্লেষণ

গবেষণাপত্রটি একটি প্রিসিশন-রিকল ট্রেড-অফ বিশ্লেষণ উপস্থাপন করে, যা বাস্তব-বিশ্বের মোতায়েনের জন্য অত্যন্ত গুরুত্বপূর্ণ। একটি উত্তর গ্রহণের জন্য স্কোর থ্রেশহোল্ড সামঞ্জস্য করে, সিস্টেমটিকে উচ্চ-প্রিসিশন (রক্ষণশীল, শুধুমাত্র খুব নিশ্চিত হলে উত্তর দেওয়া) বা উচ্চ-রিকল (আরও প্রশ্নের চেষ্টা করা) মোডের জন্য টিউন করা যেতে পারে। এই নমনীয়তা অভিযোজিত শিক্ষা ব্যবস্থার জন্য অত্যন্ত গুরুত্বপূর্ণ যেখানে আত্মবিশ্বাসের অনুমান গুরুত্বপূর্ণ।

4. প্রযুক্তিগত বিশ্লেষণ ও অন্তর্দৃষ্টি

5. বিশ্লেষণ কাঠামোর উদাহরণ

পরিস্থিতি: বিশ্লেষণ করা যে কেন একটি মডেল একটি নির্দিষ্ট এসসি প্রশ্নে ব্যর্থ হতে পারে।

প্রশ্ন: "She _____ to the store yesterday and bought some milk."
বিকল্প: (A) go (B) goes (C) went (D) going

কাঠামোর প্রয়োগ:

1. ইনপুট উপস্থাপনা: মডেল পায়: "She [MASK] to the store yesterday and bought some milk."
2. বিকল্প স্কোরিং: প্রতিটি বিকল্পের জন্য, মডেলটি বাক্যটি তৈরি/সম্পূর্ণ করে এবং একটি স্কোর গণনা করে।
   • Score("went") = -log P("She went to the store...") // সর্বনিম্ন হওয়া উচিত (সেরা)।
   • Score("goes") = -log P("She goes to the store yesterday...") // ক্রিয়া কালের অমিলের কারণে বেশি।
3. ব্যর্থতা নির্ণয়: যদি মডেলটি ভুলভাবে "goes" নির্বাচন করে, আমরা তদন্ত করি:
   • ডেটা পক্ষপাত: প্রশিক্ষণ ডেটাতে অনুরূপ প্রসঙ্গে "goes" কি অত্যধিক ঘন ঘন ছিল?
   • প্রসঙ্গ উইন্ডো: মডেলটি কি সময়গত ইঙ্গিত "yesterday"-কে যথেষ্ট ওজন দিতে ব্যর্থ হয়েছে?
   • বিভ্রান্তিকর বিকল্পের শক্তি: "goes" কি একটি বিশেষভাবে শক্তিশালী বিভ্রান্তিকর বিকল্প কারণ এটি শূন্যে বিষয় "She"-এর জন্য ব্যাকরণগতভাবে সঠিক?
4. সংশোধন: সময়গত ক্রিয়াবিশেষণ-ক্রিয়া চুক্তির উপর জোর দিয়ে আরও উদাহরণ সহ প্রশিক্ষণ ডেটা বৃদ্ধি করা, বা ফাইন-টিউনিং উদ্দেশ্য সামঞ্জস্য করা যাতে ক্রিয়া কালের অসামঞ্জস্যতার জন্য আরও কঠোরভাবে শাস্তি দেওয়া হয়।

এই কাঠামোবদ্ধ বিশ্লেষণ সরল নির্ভুলতা মেট্রিক্সের বাইরে গিয়ে কার্যকরী মডেল উন্নতির দিকে অগ্রসর হয়।

6. ভবিষ্যতের প্রয়োগ ও দিকনির্দেশনা

• ব্যক্তিগতকৃত শিক্ষার পথ: মডেলের আত্মবিশ্বাস এবং ত্রুটি প্যাটার্ন ব্যবহার করে একজন শিক্ষার্থীর নির্দিষ্ট ব্যাকরণগত দুর্বলতা চিহ্নিত করা এবং লক্ষ্যযুক্ত অনুশীলনের সুপারিশ করা।
• স্বয়ংক্রিয় প্রশ্ন উৎপাদন: মডেলটিকে বিপরীত করা যাতে আসল বাক্যে শব্দ মাস্ক করে এবং বিকল্প প্রস্তাব করার জন্য মডেল ব্যবহার করে নতুন, উচ্চ-মানের এসসি প্রশ্ন তৈরি করা যায় যাতে যুক্তিসঙ্গত বিভ্রান্তিকর বিকল্প থাকে, arXiv:2005.05909-এ অন্বেষণ করা পদ্ধতির অনুরূপ।
• মাল্টিমোডাল ইন্টিগ্রেশন: কথ্য বাক্য পূরণ মূল্যায়নের জন্য টেক্সট-ভিত্তিক মডেলগুলিকে বক্তৃতা স্বীকৃতির সাথে একত্রিত করা, সামগ্রিক ভাষা দক্ষতা মূল্যায়ন প্রদান করা।
• শিক্ষার জন্য ব্যাখ্যাযোগ্য এআই (XAI-Ed): মডেলের "যুক্তি" স্বচ্ছ করার কৌশল বিকাশ করা—যেমন, বাক্যের কোন শব্দগুলি একটি বিভ্রান্তিকর বিকল্প প্রত্যাখ্যানের জন্য মূল ছিল তা হাইলাইট করা—আস্থা গড়ে তুলতে এবং গভীর প্রতিক্রিয়া প্রদান করতে।
• ক্রস-লিঙ্গুয়াল স্থানান্তর: mT5 বা mBART-এর মতো বহুভাষিক প্রাক-প্রশিক্ষিত মডেলগুলির সুবিধা নিয়ে অন্যান্য ভাষার এসসি প্রশ্নে কাঠামো প্রয়োগ করা।

7. তথ্যসূত্র

1. Zweig, G., et al. (2012). SAT Sentence Completion. Microsoft Research Tech Report.
2. Shen, L., et al. (2015). Blank Language Model. EMNLP.
3. Donahue, J., et al. (2020). Pre-training with Masked Text. NeurIPS.
4. Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
5. Lewis, M., et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
6. Raffel, C., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
7. Koedinger, K.R., et al. (2012). The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning. Cognitive Science.
8. Zhu, J.Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV. (ব্যাখ্যামূলক প্রচেষ্টার উদাহরণ হিসাবে উদ্ধৃত)।
9. International Educational Data Mining Society (IEDMS). Resources on Real-world Educational Datasets. https://educationaldatamining.org/