বোধগম্যতা সংজ্ঞায়িত করা: আখ্যানের যান্ত্রিক পাঠের জন্য বোঝার একটি টেমপ্লেট

1. ভূমিকা ও মূল থিসিস

"যান্ত্রিক বোধগম্যতা পরীক্ষা করতে চাইলে, প্রথমে বোধগম্যতা সংজ্ঞায়িত করুন" শীর্ষক গবেষণাপত্রটি মেশিন রিডিং কম্প্রিহেনশন (এমআরসি) গবেষণায় প্রচলিত প্যারাডাইমের একটি মৌলিক সমালোচনা উপস্থাপন করে। লেখকগণ, ডুনিয়েটজ ও সহযোগীরা, যুক্তি দেখান যে ক্রমাগত "কঠিনতর" প্রশ্নোত্তর কাজ তৈরি করার প্রতি এই ক্ষেত্রের আসক্তি ভুলপথে পরিচালিত এবং অ-পদ্ধতিগত। তারা দাবি করেন যে, একটি নির্দিষ্ট পাঠ্য প্রকারের জন্য বোধগম্যতা কী নিয়ে গঠিত তা প্রথমে সংজ্ঞায়িত না করলে, এমআরসি বেঞ্চমার্কগুলো এলোমেলো হয়ে যায় এবং পাঠ্যের অর্থের জন্য মডেলগুলোর শক্তিশালী, কার্যকর অভ্যন্তরীণ উপস্থাপনা গড়ে তোলার নিশ্চয়তা দিতে ব্যর্থ হয়।

মূল অবদান হলো একটি বোঝার টেমপ্লেট (টিওইউ) এর পরিচয় করানো—এটি একটি গঠিত, বিষয়বস্তু-প্রথম স্পেসিফিকেশন যা একটি আখ্যানমূলক পাঠ্য থেকে একটি সিস্টেমের ন্যূনতম যে জ্ঞান আহরণ করা উচিত তা নির্দেশ করে। এটি ফোকাস স্থানান্তর করে কীভাবে পরীক্ষা করা যায় (কঠিন প্রশ্নের মাধ্যমে) থেকে কী পরীক্ষা করা উচিত (পদ্ধতিগত বিষয়বস্তু কভারেজ) এর দিকে।

2. বিদ্যমান এমআরসি ডেটাসেট ডিজাইনের বিশ্লেষণ

গবেষণাপত্রটি সাধারণ এমআরসি ডেটাসেট নির্মাণ পদ্ধতিগুলো পর্যালোচনা করে, একটি পদ্ধতিগত মূল্যায়নের দৃষ্টিকোণ থেকে তাদের অন্তর্নিহিত ত্রুটিগুলো তুলে ধরে।

2.1 "কঠিনতা-প্রথম" প্যারাডাইম

বেশিরভাগ সমসাময়িক এমআরসি টাস্ক (যেমন, এসকিউএডি ২.০, হটপটকিউএ, ড্রপ) তৈরি করা হয় অ্যানোটেটরদের একটি অনুচ্ছেদ পড়ে এবং চ্যালেঞ্জিং বলে বিবেচিত প্রশ্ন তৈরি করার মাধ্যমে, যেখানে প্রায়শই মাল্টি-হপ, কমনসেন্স বা সংখ্যাগত অনুমানের মতো যুক্তির ধরনগুলোর উপর ফোকাস করা হয়। লেখকগণ এটিকে তুলনা করেছেন "জিমের চারপাশে তাকিয়ে যে কোনও কঠিন ব্যায়াম গ্রহণ করে পেশাদার স্প্রিন্টার হওয়ার চেষ্টা করার" সাথে। এই প্রশিক্ষণ ছত্রভঙ্গ এবং প্রকৃত বোধগম্যতার দিকে একটি সুসংগত রোডম্যাপের অভাব রয়েছে।

2.2 অ্যাড-হক প্রশ্ন তৈরির ত্রুটি

এই পদ্ধতির ফলে একটি অনুচ্ছেদের শব্দার্থিক বিষয়বস্তুর অসম এবং অসম্পূর্ণ কভারেজ সহ ডেটাসেট তৈরি হয়। এই ধরনের বেঞ্চমার্কে উচ্চ কর্মক্ষমতা নিশ্চিত করে না যে একটি সিস্টেম পাঠ্যের একটি সুসংগত মানসিক মডেল তৈরি করেছে। বরং এটি পৃষ্ঠতলের প্যাটার্ন ম্যাচিং বা ডেটাসেট-নির্দিষ্ট পক্ষপাতের সুযোগ নিতে দক্ষ হতে পারে, যা এনএলআই এবং কিউএ ডেটাসেটের গবেষণায় ভালোভাবে নথিভুক্ত একটি ঘটনা।

3. প্রস্তাবিত কাঠামো: বোঝার টেমপ্লেট

লেখকগণ একটি মৌলিক পরিবর্তনের পক্ষে সমর্থন দেন: প্রথমে বোধগম্যতার লক্ষ্য সংজ্ঞায়িত করুন, তারপর এর জন্য পরীক্ষা তৈরি করুন।

3.1 আখ্যান কেন?

আখ্যান (ছোট গল্প) একটি আদর্শ পরীক্ষার ক্ষেত্র হিসেবে প্রস্তাবিত কারণ এগুলি একটি মৌলিক এবং জটিল পাঠ্য প্রকার যার স্পষ্ট বাস্তব-বিশ্বের প্রয়োগ রয়েছে (যেমন, আইনি জবানবন্দি, রোগীর ইতিহাস, সংবাদ প্রতিবেদন বোঝা)। এগুলোর জন্য ইভেন্ট, চরিত্র, লক্ষ্য, কার্যকারণ/সময়গত সম্পর্ক এবং মানসিক অবস্থা মডেলিং করার প্রয়োজন হয়।

3.2 আখ্যানের বোঝার টেমপ্লেটের উপাদানসমূহ

পাঠ বোধগম্যতার জ্ঞানীয় বিজ্ঞান মডেল দ্বারা অনুপ্রাণিত হয়ে (যেমন, কিন্টশের কনস্ট্রাকশন-ইন্টিগ্রেশন মডেল), একটি আখ্যানের জন্য প্রস্তাবিত বোঝার টেমপ্লেট সেই ন্যূনতম উপাদানগুলিকে নির্দিষ্ট করে যা একটি সিস্টেমের অভ্যন্তরীণ উপস্থাপনায় থাকা উচিত:

• সত্তা ও কোরেফারেন্স: সমস্ত চরিত্র, বস্তু, অবস্থান ট্র্যাক করুন।
• ঘটনা ও অবস্থা: সমস্ত ক্রিয়া এবং বর্ণনামূলক অবস্থা চিহ্নিত করুন।
• সময়গত কাঠামো: একটি সময়রেখায় ঘটনা ও অবস্থার ক্রম নির্ধারণ করুন।
• কার্যকারণ সম্পর্ক: ঘটনা/অবস্থার মধ্যে কারণ-প্রভাব সংযোগ চিহ্নিত করুন।
• ইচ্ছাকৃততা ও মানসিক অবস্থা: চরিত্রগুলোর লক্ষ্য, বিশ্বাস এবং আবেগ অনুমান করুন।
• বিষয়ভিত্তিক ও সামগ্রিক কাঠামো: সামগ্রিক বক্তব্য, নৈতিকতা বা ফলাফল বুঝুন।

3.3 বোঝার টেমপ্লেটের বাস্তবায়ন

বোঝার টেমপ্লেট কেবল একটি তত্ত্ব নয়; এটি ডেটাসেট তৈরির একটি নীলনকশা। প্রতিটি উপাদানের জন্য, টাস্ক ডিজাইনাররা পদ্ধতিগতভাবে প্রশ্ন তৈরি করতে পারেন (যেমন, "X এর কারণ কী ছিল?", "Y যখন Z করেছিলেন তখন তার লক্ষ্য কী ছিল?") যা যাচাই করে যে মডেলটি সেই উপস্থাপনার অংশটি তৈরি করেছে কিনা। এটি ব্যাপক এবং ভারসাম্যপূর্ণ কভারেজ নিশ্চিত করে।

4. পরীক্ষামূলক প্রমাণ ও মডেল কর্মক্ষমতা

গবেষণাপত্রে তাদের সমালোচনা যাচাই করার জন্য একটি পাইলট পরীক্ষা অন্তর্ভুক্ত রয়েছে।

4.1 পাইলট টাস্ক ডিজাইন

সাধারণ আখ্যানের জন্য বোঝার টেমপ্লেটের ভিত্তিতে একটি ছোট আকারের ডেটাসেট তৈরি করা হয়েছিল। টেমপ্লেটের প্রতিটি উপাদান অনুসন্ধান করার জন্য প্রশ্নগুলি পদ্ধতিগতভাবে তৈরি করা হয়েছিল।

4.2 ফলাফল ও মূল সন্ধান

শীর্ষস্থানীয় মডেলগুলি (বার্টের মতো) এই পদ্ধতিগত পরীক্ষায় দুর্বলভাবে সম্পাদন করেছিল, যদিও তারা মানক "কঠিন" বেঞ্চমার্কগুলিতে উৎকর্ষ দেখিয়েছিল। মডেলগুলি বিশেষভাবে সেইসব প্রশ্নে সংগ্রাম করেছিল যেগুলির জন্য কার্যকারণ যুক্তি এবং মানসিক অবস্থার অনুমান প্রয়োজন ছিল, ঠিক সেই উপাদানগুলি যা অ্যাড-হক কিউএ সংগ্রহে প্রায়শই কম নমুনায়িত হয়। এই পাইলট পরীক্ষাটি দৃঢ়ভাবে ইঙ্গিত দেয় যে বর্তমান মডেলগুলিতে বোঝার টেমপ্লেটের দাবি করা শক্তিশালী, গঠিত বোধগম্যতার অভাব রয়েছে।

5. প্রযুক্তিগত গভীর অনুসন্ধান ও গাণিতিক রূপায়ন

বোঝার টেমপ্লেটকে আনুষ্ঠানিকভাবে প্রকাশ করা যায়। ধরা যাক, একটি আখ্যান $N$ হলো বাক্যের একটি ক্রম $\{s_1, s_2, ..., s_n\}$। বোধগম্যতা মডেল $M$ এর একটি উপস্থাপনা $R(N)$ তৈরি করা উচিত যা একটি গঠিত গ্রাফ:

$R(N) = (E, V, T, C, I)$

যেখানে:

• $E$: সত্তার সেট (নোড)।
• $V$: ঘটনা/অবস্থার সেট (নোড)।
• $T \subseteq V \times V$: সময়গত সম্পর্ক (এজ)।
• $C \subseteq V \times V$: কার্যকারণ সম্পর্ক (এজ)।
• $I \subseteq E \times V$: ইচ্ছাকৃত সম্পর্ক (যেমন, এজেন্ট(সত্তা, ঘটনা))।

একটি এমআরসি সিস্টেমের লক্ষ্য হলো $N$ থেকে $R(N)$ অনুমান করা। একটি কিউএ জোড়া $(q, a)$ হলো একটি অনুসন্ধান ফাংশন $f_q(R(N))$ যা $a$ রিটার্ন করে যদি $R(N)$ সঠিক হয়। বোঝার টেমপ্লেট আখ্যান পাঠ্যের জন্য $R(N)$ এর প্রয়োজনীয় এবং পর্যাপ্ত কাঠামো সংজ্ঞায়িত করে।

6. বিশ্লেষণাত্মক কাঠামো: একটি কেস স্টাডি উদাহরণ

আখ্যান: "আন্না তার ধীর কম্পিউটার নিয়ে হতাশ ছিল। সে তার কাজ সেভ করে, মেশিনটি বন্ধ করে দেয় এবং একটি নতুন সলিড-স্টেট ড্রাইভ কিনতে দোকানে যায়। এটি ইনস্টল করার পর, তার কম্পিউটার কয়েক সেকেন্ডে বুট আপ করে, এবং সে হাসল।"

বোঝার টেমপ্লেট-ভিত্তিক বিশ্লেষণ:

• সত্তা: আন্না, কম্পিউটার, কাজ, দোকান, এসএসডি।
• ঘটনা/অবস্থা: হতাশ ছিল, কাজ সেভ করল, বন্ধ করল, গেল, কিনল, ইনস্টল করল, বুট আপ করল, হাসল।
• সময়গত: [হতাশ] -> [সেভ] -> [বন্ধ] -> [গেল] -> [কিনল] -> [ইনস্টল] -> [বুট] -> [হাসল]।
• কার্যকারণ: ধীর কম্পিউটার কারণ হতাশা। হতাশা কারণ আপগ্রেড করার লক্ষ্য। এসএসডি কেনা ও ইনস্টল করা কারণ দ্রুত বুট। দ্রুত বুট কারণ হাসি (সন্তুষ্টি)।
• ইচ্ছাকৃত: আন্নার লক্ষ্য: কম্পিউটারের গতি উন্নত করা। তার পরিকল্পনা: একটি এসএসডি কেনা ও ইনস্টল করা। তার বিশ্বাস: এসএসডি কম্পিউটারকে দ্রুত করবে।
• বিষয়ভিত্তিক: প্রযুক্তি আপগ্রেডের মাধ্যমে সমস্যা সমাধান সন্তুষ্টির দিকে নিয়ে যায়।

7. সমালোচনামূলক বিশ্লেষণ ও বিশেষজ্ঞ মন্তব্য

মূল অন্তর্দৃষ্টি: ডুনিয়েটজ ও সহযোগীরা কৃত্রিম বুদ্ধিমত্তা মূল্যায়নে একটি পদ্ধতিগত ক্ষয়ের কেন্দ্রে আঘাত করেছেন। এই ক্ষেত্রের বেঞ্চমার্ক-চালিত অগ্রগতি, প্রাথমিক এআই-এর "ক্লেভার হ্যান্স" প্রভাবের কথা স্মরণ করিয়ে দেয়, যা মৌলিক বোঝার চেয়ে সংকীর্ণ কর্মক্ষমতা লাভকে অগ্রাধিকার দিয়েছে। তাদের বোঝার টেমপ্লেট সম্প্রদায়ের জন্য একটি সরাসরি চ্যালেঞ্জ: লিডারবোর্ড পয়েন্টের পিছনে ছোটা বন্ধ করুন এবং সাফল্যের প্রকৃত অর্থ কী তা সংজ্ঞায়িত করা শুরু করুন। এটি রেবেকা কিয়ান এবং তাল লিনজেনের মতো গবেষকদের ক্রমবর্ধমান সন্দেহের সাথে সামঞ্জস্যপূর্ণ, যারা দেখিয়েছেন যে মডেলগুলি প্রায়শই গভীর যুক্তির পরিবর্তে পৃষ্ঠতল হিউরিস্টিক্সের মাধ্যমে কাজগুলি সমাধান করে।

যুক্তিগত প্রবাহ: যুক্তিটি অত্যন্ত সুগঠিত: (১) সমস্যা নির্ণয় (অ-পদ্ধতিগত, কঠিনতা-কেন্দ্রিক মূল্যায়ন), (২) একটি নীতিগত সমাধান প্রস্তাব (বিষয়বস্তু-প্রথম বোঝার টেমপ্লেট), (৩) একটি কংক্রিট উদাহরণ প্রদান (আখ্যানের জন্য), (৪) অভিজ্ঞতামূলক বৈধতা প্রদান (পাইলট স্টাডি যা শীর্ষস্থানীয় মডেলের ব্যর্থতা দেখায়)। এটি নতুন প্যারাডাইম সংজ্ঞায়িত করা সেমিনাল গবেষণাপত্রগুলোর কঠোর পদ্ধতির প্রতিফলন, যেমন সাইকেলজিএএন গবেষণাপত্রের আনপেয়ার্ড ইমেজ ট্রান্সলেশনের উদ্দেশ্যগুলোর স্পষ্ট রূপায়ন।

শক্তি ও ত্রুটি: গবেষণাপত্রের শক্তি হলো এর ধারণাগত স্বচ্ছতা এবং কার্যকরী সমালোচনা। বোঝার টেমপ্লেট কাঠামো অন্যান্য পাঠ্য ধারায় স্থানান্তরযোগ্য (বৈজ্ঞানিক নিবন্ধ, আইনি দলিল)। তবে, এর প্রধান ত্রুটি হলো পাইলট পরীক্ষার সীমিত স্কেল। মডেলগুলিকে সত্যিকার অর্থে চাপ পরীক্ষার জন্য একটি পূর্ণ-স্কেল বোঝার টেমপ্লেট-ভিত্তিক বেঞ্চমার্ক প্রয়োজন। তদুপরি, বোঝার টেমপ্লেট নিজেই, যদিও গঠিত, তা এখনও অসম্পূর্ণ হতে পারে—এটি কি সামাজিক যুক্তি বা জটিল কাউন্টারফ্যাকচুয়ালগুলিকে সম্পূর্ণরূপে ধারণ করে? এটি একটি প্রয়োজনীয় প্রথম পদক্ষেপ, চূড়ান্ত তত্ত্ব নয়।

কার্যকরী অন্তর্দৃষ্টি: গবেষকদের জন্য: বোঝার টেমপ্লেট-সদৃশ পদ্ধতি ব্যবহার করে পরবর্তী প্রজন্মের বেঞ্চমার্ক তৈরি করুন। প্রকৌশলীদের জন্য: বিদ্যমান বেঞ্চমার্কের ভিত্তিতে মডেলগুলি পাঠ্য "বুঝতে" পারে এমন দাবিগুলোর প্রতি গভীরভাবে সন্দেহপ্রবণ হন। প্রয়োগ-নির্দিষ্ট পদ্ধতিগত টেমপ্লেটের বিরুদ্ধে অভ্যন্তরীণভাবে মডেলগুলি মূল্যায়ন করুন। অর্থদাতাদের জন্য: ত্রুটিপূর্ণ কাজের প্রান্তিক উন্নতির চেয়ে প্রকৃত বোধগম্যতা সংজ্ঞায়িত এবং পরিমাপ করে এমন গবেষণাকে অগ্রাধিকার দিন। সামনের পথ হলো এআই মূল্যায়নে একটি আরও তত্ত্ব-চালিত, জ্ঞানীয় বিজ্ঞান-অনুপ্রাণিত পদ্ধতি গ্রহণ করা, "কঠিন সমস্যার লন্ড্রি তালিকা" মানসিকতা থেকে এগিয়ে যাওয়া।

8. ভবিষ্যতের প্রয়োগ ও গবেষণার দিকনির্দেশ

• বেঞ্চমার্ক উন্নয়ন: আখ্যান, সংবাদ এবং বৈজ্ঞানিক সারাংশের জন্য স্পষ্টভাবে বোঝার টেমপ্লেট থেকে তৈরি করা বৃহৎ-স্কেল, সর্বজনীনভাবে উপলব্ধ এমআরসি ডেটাসেট তৈরি।
• মডেল আর্কিটেকচার: নিউরাল আর্কিটেকচার ডিজাইন করা যা কেবল অন্তর্নিহিত এমবেডিংয়ের উপর নির্ভর না করে স্পষ্টভাবে গঠিত উপস্থাপনা (যেমন $R(N)$ গ্রাফ) তৈরি এবং পরিচালনা করে। এটি নিউরো-সিম্বলিক হাইব্রিডের দিকে ইঙ্গিত করে।
• মূল্যায়ন ডায়াগনস্টিকস: বিদ্যমান মডেলগুলির নির্দিষ্ট দুর্বলতা বোঝার জন্য বোঝার টেমপ্লেট-ভিত্তিক অনুসন্ধানকে সূক্ষ্ম-দানাদার ডায়াগনস্টিক টুল হিসেবে ব্যবহার করা (যেমন, "মডেল X কার্যকারণ যুক্তিতে ব্যর্থ কিন্তু সত্তা ট্র্যাকিংয়ে ভাল")।
• ক্রস-মোডাল বোধগম্যতা: বোঝার টেমপ্লেট ধারণাকে মাল্টিমোডাল বোধগম্যতায় প্রসারিত করা (যেমন, ভিডিও আখ্যান বা চিত্রিত গল্প বোঝা)।
• বাস্তব-বিশ্বের মোতায়েন: যে ডোমেইনগুলিতে গঠিত বোধগম্যতা গুরুত্বপূর্ণ সেখানে সরাসরি প্রয়োগ: গল্প বোধগম্যতা মূল্যায়নকারী স্বয়ংক্রিয় টিউটরিং সিস্টেম, মামলার আখ্যান বিশ্লেষণকারী এআই আইনি সহকারী, বা রোগীর ইতিহাসের আখ্যান ব্যাখ্যাকারী ক্লিনিকাল এআই।

9. তথ্যসূত্র

1. Dunietz, J., Burnham, G., Bharadwaj, A., Rambow, O., Chu-Carroll, J., & Ferrucci, D. (2020). To Test Machine Comprehension, Start by Defining Comprehension. arXiv preprint arXiv:2005.01525.
2. Kintsch, W. (1988). The role of knowledge in discourse comprehension: A construction-integration model. Psychological review, 95(2), 163.
3. Chen, D., Fisch, A., Weston, J., & Bordes, A. (2017). Reading Wikipedia to Answer Open-Domain Questions. Proceedings of ACL.
4. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT.
5. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of ICCV. (স্পষ্ট উদ্দেশ্য রূপায়নের উদাহরণ হিসেবে উদ্ধৃত)।
6. McCoy, R. T., Pavlick, E., & Linzen, T. (2019). Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference. Proceedings of ACL.