সূচিপত্র
1. ভূমিকা
বাক্য পূরণ (এসসি) প্রশ্নগুলি দ্বিতীয় ভাষা হিসেবে ইংরেজি (ইএসএল) দক্ষতা মূল্যায়নের একটি মৌলিক সরঞ্জাম। এগুলি এক বা একাধিক শূন্যস্থান সহ একটি বাক্য এবং প্রার্থী শব্দ বা বাক্যাংশের একটি সেট উপস্থাপন করে। এই প্রশ্নগুলির সমাধান স্বয়ংক্রিয়করণ ভাষা শিক্ষার্থীদের (তাৎক্ষণিক প্রতিক্রিয়া), শিক্ষকদের (প্রশ্নের গুণমান মূল্যায়ন) এবং বুদ্ধিমান শিক্ষাদান ব্যবস্থার বিকাশের জন্য উল্লেখযোগ্য সুবিধা প্রদান করে।
পূর্ববর্তী গণনামূলক পদ্ধতিগুলি, যেমন এন-গ্রাম ভাষা মডেল বা বিশেষায়িত শূন্যস্থান এলএম, বাস্তব-বিশ্বের শিক্ষামূলক পরিবেশে চ্যালেঞ্জের মুখোমুখি হয়: পেশাদারদের দ্বারা তৈরি অত্যন্ত বিভ্রান্তিকর ডিসট্র্যাক্টর, গভীর ভাষাগত জ্ঞানের প্রয়োজন (ব্যাকরণ, সিনট্যাক্স, শব্দার্থবিদ্যা), এবং প্রতি শূন্যস্থানে পরিবর্তনশীল সংখ্যক শূন্যস্থান এবং টোকেন।
এই কাজটি এই চ্যালেঞ্জগুলি মোকাবেলা করার জন্য বৃহৎ-স্কেল প্রাক-প্রশিক্ষিত ভাষা মডেলগুলির সুবিধা নেওয়ার জন্য একটি নিউরাল কাঠামো প্রস্তাব করে, একটি বাস্তব-বিশ্বের কে-১২ ইএসএল ডেটাসেটে উচ্চতর কর্মক্ষমতা প্রদর্শন করে।
2. আমাদের পদ্ধতি
2.1 সমস্যা প্রণয়ন
একটি এসসি প্রশ্নকে একটি টিপল $(q, O)$ হিসাবে সংজ্ঞায়িত করা হয়, যেখানে $q$ হল `[MASK]` টোকেন দ্বারা চিহ্নিত $m$ শূন্যস্থান সহ বাক্য, এবং $O = \{o_1, o_2, ..., o_n\}$ হল $n$ প্রার্থী বিকল্পের সেট (সাধারণত ৩-৫)। প্রতিটি বিকল্প $o_i$ হল টোকেনের একটি ক্রম যা সমস্ত শূন্যস্থান সম্মিলিতভাবে পূরণ করার উদ্দেশ্যে। লক্ষ্য হল সেই বিকল্প $o^* \in O$ নির্বাচন করা যা সম্পূর্ণ বাক্যটিকে সবচেয়ে যুক্তিযুক্ত করে তোলে।
2.2 মডেল আর্কিটেকচার
পদ্ধতির মূল হল ট্রান্সফরমার আর্কিটেকচারের উপর ভিত্তি করে একটি সিকোয়েন্স-টু-সিকোয়েন্স মডেল, একটি ডিনয়েজিং অটোএনকোডার উদ্দেশ্য ব্যবহার করে প্রাক-প্রশিক্ষিত (যেমন, বার্ট বা টি৫)। মডেলটি এসসি কাজের জন্য ফাইন-টিউন করা হয়। একটি প্রদত্ত প্রশ্ন $q$ এবং একটি বিকল্প $o_i$ এর জন্য, মডেলটির কাজ হল মূল, সম্পূর্ণ গঠিত বাক্যটি পুনর্গঠন করা।
এনকোডারের ইনপুট হল দূষিত ক্রম (শূন্যস্থান সহ প্রশ্ন)। ডিকোডারটি এর উপর নির্ভরশীল এবং অবশ্যই মূল বাক্যটি তৈরি করতে হবে। বিকল্প $o_i$ কে $q$ এর শূন্যস্থানে ঢোকানো হয় ডিকোডারের জন্য টার্গেট সিকোয়েন্স তৈরি করতে। ইনপুট দেওয়ার পর টার্গেট সিকোয়েন্স তৈরি করার নেতিবাচক লগ-সম্ভাবনা দ্বারা মডেলের কর্মক্ষমতা স্কোর করা হয়।
2.3 প্রশিক্ষণ ও অনুমান
প্রশিক্ষণের সময়, মডেলটি তাদের মাস্ক করা সংস্করণ থেকে বাক্যগুলি পুনর্গঠন করতে শেখে। অনুমানের জন্য, একটি প্রশ্ন $q$ এবং এর বিকল্প $O$ দেওয়া হলে, মডেলটি প্রতিটি বিকল্প $o_i$ এর জন্য একটি স্কোর $s_i$ গণনা করে:
$$s_i = -\sum_{t=1}^{T} \log P(w_t | w_{ একটি অনলাইন কে-১২ শিক্ষা প্ল্যাটফর্ম থেকে সংগৃহীত একটি বাস্তব-বিশ্বের ডেটাসেট ব্যবহার করা হয়েছিল। এতে চীনা ইএসএল শিক্ষার্থীদের জন্য ইংরেজি শিক্ষার পেশাদারদের দ্বারা তৈরি হাজার হাজার এসসি প্রশ্ন রয়েছে। ডেটাসেটটিতে ১-৩টি শূন্যস্থান সহ প্রশ্ন এবং উচ্চ-মানের, শব্দার্থগতভাবে অনুরূপ ডিসট্র্যাক্টর বৈশিষ্ট্য রয়েছে। উৎস: বাস্তব-বিশ্বের কে-১২ অনলাইন প্ল্যাটফর্ম প্রশ্ন: কয়েক হাজার প্রতি প্রশ্নে শূন্যস্থান: ১ থেকে ৩ প্রতি প্রশ্নে বিকল্প: ৩ থেকে ৫ প্রস্তাবিত মডেলটির সাথে বেশ কয়েকটি শক্তিশালী বেসলাইন মডেলের তুলনা করা হয়েছিল:
3. পরীক্ষা ও ফলাফল
3.1 ডেটাসেট
ডেটাসেট পরিসংখ্যান
3.2 বেসলাইন মডেল
3.3 প্রধান ফলাফল
প্রস্তাবিত প্রাক-প্রশিক্ষিত সিকোয়েন্স-টু-সিকোয়েন্স মডেলটি হোল্ড-আউট টেস্ট সেটে ভবিষ্যদ্বাণী নির্ভুলতার ক্ষেত্রে সমস্ত বেসলাইন মডেলকে উল্লেখযোগ্যভাবে ছাড়িয়ে গেছে। মূল সুবিধাটি এর বৃহৎ টেক্সট কর্পাসে প্রাক-প্রশিক্ষণের থেকে উদ্ভূত, যা এটিকে গভীর ভাষাগত জ্ঞান এবং বিশ্ব জ্ঞান দিয়ে পরিপূর্ণ করে যা সূক্ষ্ম ডিসট্র্যাক্টরগুলিকে দ্ব্যর্থতা দূর করার জন্য অত্যন্ত গুরুত্বপূর্ণ। সিকোয়েন্স-টু-সিকোয়েন্স ফর্মুলেশনটি স্বাভাবিকভাবেই একাধিক শূন্যস্থান এবং মাল্টি-টোকেন বিকল্পগুলিও পরিচালনা করে।
3.4 প্রিসিশন-রিকল বিশ্লেষণ
কাগজটি ব্যবহারিক স্থাপনার বিষয়ে আলোচনা করার জন্য একটি প্রিসিশন-রিকল ট্রেড-অফ বিশ্লেষণ পরিচালনা করেছে। একটি উত্তর গ্রহণের জন্য স্কোর থ্রেশহোল্ড সামঞ্জস্য করে, সিস্টেমটিকে উচ্চ প্রিসিশনের জন্য টিউন করা যেতে পারে (খুব আত্মবিশ্বাসী হলে শুধুমাত্র প্রতিক্রিয়া প্রদান, ত্রুটি কমানো) বা উচ্চ রিকলের জন্য (আরও প্রশ্নের উত্তর দেওয়ার চেষ্টা, সম্ভবত আরও ভুল সহ)। এটি বাস্তব জীবনের শিক্ষামূলক প্রয়োগের জন্য গুরুত্বপূর্ণ যেখানে ভুল প্রতিক্রিয়ার খরচ বেশি।
4. মূল অন্তর্দৃষ্টি ও বিশ্লেষণ
মূল অন্তর্দৃষ্টি: কাগজের মৌলিক অগ্রগতি শুধুমাত্র একটি নতুন কাজে একটি প্রাক-প্রশিক্ষিত মডেল প্রয়োগ করা নয়; এটি স্বীকার করা যে সিকোয়েন্স-টু-সিকোয়েন্স ডিনয়েজিং উদ্দেশ্য এসসি প্রশ্ন সমাধানের পিছনে জ্ঞানীয় প্রক্রিয়ার একটি প্রায় নিখুঁত প্রক্সি। মডেলটি শুধু একটি শব্দ বাছাই করছে না; এটি মানসিকভাবে বাক্যটি "সম্পূর্ণ" করছে এবং সুসংগততার জন্য পরীক্ষা করছে—একটি মাস্ক করা সংস্করণ থেকে সম্পূর্ণ বাক্যটি পুনর্গঠন করে প্রতিফলিত একটি প্রক্রিয়া। এটি মাস্কড এলএম ব্যবহার করে পৃথক টোকেন স্কোর করার চেয়ে একটি আরও মার্জিত এবং শক্তিশালী পদ্ধতি, যা একাধিক শূন্যস্থানের মধ্যে আন্তঃনির্ভরতা ক্যাপচার করতে ব্যর্থ হয়।
যুক্তিগত প্রবাহ: যুক্তিটি আকর্ষণীয়ভাবে সহজ: ১) বিশেষজ্ঞ-তৈরি ডিসট্র্যাক্টর এবং জটিল ভাষাগত সীমাবদ্ধতার কারণে বাস্তব-বিশ্বের ইএসএল প্রশ্নগুলি কঠিন। ২) ঐতিহ্যগত এবং এমনকি প্রাথমিক নিউরাল পদ্ধতিগুলির এটির সাথে মোকাবিলা করার জন্য সূক্ষ্ম বোঝার অভাব রয়েছে। ৩) বৃহৎ-স্কেল প্রাক-প্রশিক্ষিত এলএম, বিশেষ করে যেগুলি একটি ডিনয়েজিং উদ্দেশ্য নিয়ে প্রশিক্ষিত (বার্ট বা টি৫ এর মতো), এই সূক্ষ্ম বোঝার অধিকারী। ৪) অতএব, এসসি কে এই মডেলগুলি ব্যবহার করে একটি সিকোয়েন্স পুনর্গঠন কাজ হিসাবে ফ্রেম করা উচিত সর্বোচ্চ ফলাফল দিতে। পরীক্ষাগুলি এই প্রবাহকে দৃঢ়ভাবে বৈধতা দেয়।
শক্তি ও ত্রুটি: প্রধান শক্তি হল পদ্ধতির ধারণাগত মার্জিততা এবং অভিজ্ঞতামূলক সাফল্য। একটি বাস্তব-বিশ্বের কে-১২ ডেটাসেট ব্যবহার, একটি পরিষ্কার একাডেমিক কর্পাস নয়, প্রচুর ব্যবহারিক বিশ্বাসযোগ্যতা যোগ করে। প্রিসিশন-রিকল বিশ্লেষণ স্থাপনার জন্য চিন্তাশীল বিবেচনা দেখায়। প্রাথমিক ত্রুটি, শিক্ষায় এআই-এর অনেক কাগজে সাধারণ, হল সমাধানের ব্ল্যাক বক্স প্রকৃতি। এটি ব্যাখ্যাযোগ্য প্রতিক্রিয়া প্রদান করে না—একজন শিক্ষার্থী পায় "D সঠিক" কিন্তু "কারণ 'must' প্রথম ধারায় যৌক্তিক নিশ্চয়তা নির্দেশ করে, এবং 'can't' দ্বিতীয় ধারায় সঠিক নেগেশন 'hates black color' প্রমাণের ভিত্তিতে" নয়। ২০২২ সালের পর্যালোচনা "শিক্ষার জন্য ব্যাখ্যাযোগ্য এআই" (এক্সএআইইডি) এ উল্লিখিত হিসাবে, এই ব্যাখ্যাযোগ্যতার অভাব সরাসরি শিক্ষাগত উপযোগিতা সীমিত করে। তদুপরি, মডেলের কর্মক্ষমতা স্বভাবতই এর প্রাক-প্রশিক্ষণ ডেটার সাথে আবদ্ধ, যাতে পক্ষপাত থাকতে পারে বা নির্দিষ্ট ইএসএল ত্রুটি প্যাটার্নের কভারেজের অভাব থাকতে পারে।
কার্যকরী অন্তর্দৃষ্টি: এডটেক কোম্পানিগুলির জন্য, এই গবেষণাটি একটি প্রস্তুত-তৈরি নীলনকশা। প্রথম ধাপ হল মালিকানাধীন প্রশ্ন ব্যাংকের উপর টি৫ বা বার্টের মতো একটি মডেল ফাইন-টিউন করা। যাইহোক, আসল প্রতিযোগিতামূলক সুবিধা শুধুমাত্র নির্ভুলতা থেকে নয়, ব্যাখ্যাযোগ্যতা থেকে আসবে। পরবর্তী পুনরাবৃত্তিতে ব্যাখ্যাযোগ্য এআই থেকে কৌশলগুলিকে একীভূত করা উচিত—সম্ভবত মনোযোগের ওজন ব্যবহার করে বাক্যের সেই অংশগুলিকে হাইলাইট করা যা নির্বাচিত উত্তরের সাথে সবচেয়ে প্রাসঙ্গিক বা প্রাকৃতিক ভাষার ন্যায্যতা তৈরি করা। দ্বিতীয়ত, এই প্রযুক্তির প্রধান প্রয়োগ উচ্চ-স্টেক পরীক্ষায় নয়, অনুশীলন এবং গঠনমূলক মূল্যায়নে। এটিকে অভিযোজিত শিক্ষার প্ল্যাটফর্মগুলিতে একীভূত করা যাতে অসীম, ব্যক্তিগতকৃত অনুশীলন প্রশ্ন তৈরি করা যায় (প্রামাণিক পাঠ্যে শব্দ মাস্ক করে) একটি যৌক্তিক এবং উচ্চ-মূল্যের দিকনির্দেশনা, একটি সমাধানকারী থেকে একটি জেনারেটরে রূপান্তর, যেমনটি ভূমিকায় ইঙ্গিত দেওয়া হয়েছে।
5. প্রযুক্তিগত বিবরণ
মডেলটি ট্রান্সফরমার আর্কিটেকচারের এনকোডার-ডিকোডার কাঠামোর সুবিধা নেয়। প্রাক-প্রশিক্ষণ উদ্দেশ্য অত্যন্ত গুরুত্বপূর্ণ। বার্টের মতো একটি মডেলের জন্য, এটি একটি নির্বিচারে নয়েজিং ফাংশন (যেমন, টোকেন মাস্কিং, বাক্য পারমুটেশন, ডকুমেন্ট রোটেশন) দিয়ে টেক্সট দূষিত করে এবং তারপর মূল টেক্সট পুনর্গঠন করতে শিখে প্রশিক্ষিত হয়। এটি এসসি কাজের জন্য আদর্শ করে তোলে, যা টেক্সট দূষণ এবং পুনর্গঠনের একটি নিয়ন্ত্রিত রূপ।
ফাইন-টিউনিং উদ্দেশ্য হল ডিকোডারের আউটপুট বন্টন এবং টার্গেট সিকোয়েন্স (সঠিক বিকল্প দিয়ে সম্পূর্ণ বাক্য) এর মধ্যে ক্রস-এনট্রপি ক্ষতি কমানো। ডেটার একটি ব্যাচের জন্য, ক্ষতি ফাংশন হল:
$$\mathcal{L} = -\frac{1}{N} \sum_{j=1}^{N} \sum_{t=1}^{T_j} \log P(w_t^{(j)} | w_{ দৃশ্যকল্প: একটি এসসি কাজের জন্য একটি প্রার্থী মডেল মূল্যায়ন করা। কাঠামো প্রয়োগ:
6. বিশ্লেষণ কাঠামোর উদাহরণ
এই কাঠামোটি সহজ নির্ভুলতার বাইরে গিয়ে শিক্ষার্থী এবং মডেল উভয়ের ক্ষমতার ডায়াগনস্টিক বোঝার দিকে এগিয়ে যায়।
7. ভবিষ্যতের প্রয়োগ ও দিকনির্দেশনা
- ব্যাখ্যাযোগ্য এআই (এক্সএআই) ইন্টিগ্রেশন: সবচেয়ে গুরুত্বপূর্ণ দিকনির্দেশনা হল একটি "ব্ল্যাক-বক্স" সমাধানকারী থেকে একটি "ব্যাখ্যাযোগ্য শিক্ষক"-এ বিবর্তন। ভবিষ্যতের মডেলগুলির যুক্তি তৈরি করা উচিত, মূল বাক্য প্রমাণ হাইলাইট করা উচিত, বা এমনকি পরীক্ষা করা নির্দিষ্ট ব্যাকরণ নিয়ম চিহ্নিত করা উচিত।
- ব্যক্তিগতকৃত ডিসট্র্যাক্টর জেনারেশন: মডেলটি ব্যবহার করা যেতে পারে একটি শিক্ষার্থীর সাধারণ ত্রুটি প্যাটার্নের জন্য উপযুক্ত বিশ্বাসযোগ্য কিন্তু ভুল ডিসট্র্যাক্টর তৈরি করতে, অতিমাত্রায় ব্যক্তিগতকৃত অনুশীলন তৈরি করতে।
- স্বয়ংক্রিয় প্রশ্ন জেনারেশন (একিউজি): প্রক্রিয়াটি বিপরীত করুন। একটি পাঠ্য দেওয়া হলে, মডেলটি মাস্ক করার জন্য মূল শব্দগুলি চিহ্নিত করতে পারে এবং বিশ্বাসযোগ্য ডিসট্র্যাক্টর তৈরি করতে পারে, অনুশীলন ব্যাংকের জন্য স্বয়ংক্রিয়ভাবে নতুন এসসি প্রশ্ন তৈরি করে, বিষয়বস্তু তৈরি ব্যাপকভাবে স্কেল করে।
- মাল্টিমোডাল এক্সটেনশন: ছোট শিক্ষার্থী বা নির্দিষ্ট প্রসঙ্গের জন্য, এসসি প্রশ্নগুলিতে চিত্র জড়িত থাকতে পারে। ভবিষ্যতের কাজে মাল্টিমোডাল প্রাক-প্রশিক্ষিত মডেল (ভিএল-টি৫ এর মতো) জড়িত হতে পারে টেক্সট এবং ভিজ্যুয়াল সূত্র একত্রিত করে প্রশ্নগুলি সমাধান বা তৈরি করতে।
- ক্রস-লিঙ্গুয়াল ট্রান্সফার: মাল্টিলিঙ্গুয়াল প্রাক-প্রশিক্ষিত মডেল (এমটি৫ এর মতো) ব্যবহার করে কাঠামোটি অন্যান্য ভাষায় প্রয়োগ করা, যাদের প্রথম ভাষা চীনা নয় এমন ইএসএল শিক্ষার্থীদের সাহায্য করা।
8. তথ্যসূত্র
- Liu, Q., Liu, T., Zhao, J., et al. (2021). Solving ESL Sentence Completion Questions via Pre-trained Neural Language Models. arXiv:2107.07122.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT.
- Lewis, M., Liu, Y., Goyal, N., et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. Proceedings of ACL.
- Shen, L., Allauzen, C., & Ji, H. (2015). Blank Language Models. Proceedings of EMNLP.
- Zweig, G., & Burges, C. J. (2012). A Challenge Set for Advancing Language Modeling. Proceedings of the NAACL-HLT Workshop.
- Holstein, K., McLaren, B. M., & Aleven, V. (2022). Explainable AI for Education (XAIED). In The Handbook of Artificial Intelligence in Education.
- Raffel, C., Shazeer, N., Roberts, A., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research.