1. ভূমিকা ও সংক্ষিপ্ত বিবরণ
স্বয়ংক্রিয় প্রবন্ধ স্কোরিং (এইএস) ইংরেজি বিদেশী ভাষা (ইএফএল) শিক্ষায় একটি অত্যন্ত গুরুত্বপূর্ণ হাতিয়ার হিসেবে আবির্ভূত হয়েছে, যা বাস্তব-সময়ের প্রতিক্রিয়া এবং মাপযোগ্য মূল্যায়নের প্রতিশ্রুতি দেয়। তবে, এর ব্যবহারিক গ্রহণযোগ্যতা একটি গুরুত্বপূর্ণ বাধার সম্মুখীন হয়েছে: উচ্চ-মানের, শিক্ষাগতভাবে প্রাসঙ্গিক প্রশিক্ষণ তথ্যের অভাব। বিদ্যমান বেশিরভাগ ডেটাসেট, যেমন ব্যাপকভাবে ব্যবহৃত এএসএপি ডেটাসেট, শুধুমাত্র সামগ্রিক স্কোর প্রদান করে অথবা বিশেষজ্ঞ নন এমন ব্যক্তিদের দ্বারা টীকাযুক্ত, যা প্রকৃত শ্রেণিকক্ষের পরিবেশে প্রয়োজনীয় সূক্ষ্ম, বহুমাত্রিক মূল্যায়ন ধারণ করতে ব্যর্থ হয়। গবেষণার বেঞ্চমার্ক এবং শিক্ষাগত অনুশীলনের মধ্যে এই ব্যবধান প্রকৃত কার্যকর এইএস সিস্টেমের উন্নয়নকে সীমিত করে।
এই গবেষণাপত্রটি ডিআরইএসএস (ইএফএল লেখায় রুব্রিক-ভিত্তিক প্রবন্ধ স্কোরিংয়ের জন্য ডেটাসেট) উপস্থাপন করে, যা এই ব্যবধান পূরণের জন্য নকশাকৃত একটি ব্যাপক সম্পদ। ডিআরইএসএস পূর্ববর্তী কাজের মূল সীমাবদ্ধতাগুলো সমাধান করে একটি বৃহৎ-পরিসরের, বিশেষজ্ঞ-টীকাযুক্ত এবং রুব্রিক-সমন্বিত ডেটাসেট প্রদানের মাধ্যমে যা বিশেষভাবে ইএফএল প্রেক্ষাপটের জন্য উপযোগী।
মোট নমুনা
৪৮.৯ হাজার
প্রকৃত শ্রেণিকক্ষের প্রবন্ধ
২,২৭৯
কার্যকারিতা বৃদ্ধি
+৪৫.৪৪%
কেস সম্প্রসারণের মাধ্যমে
2. ডিআরইএসএস ডেটাসেট
ডিআরইএসএস একটি ত্রিপাক্ষিক ডেটাসেট হিসেবে গঠিত, যার প্রতিটি উপাদান শক্তিশালী এইএস মডেল তৈরিতে একটি স্বতন্ত্র উদ্দেশ্য পূরণ করে।
2.1 ডিআরইএসএস নিউ: প্রকৃত শ্রেণিকক্ষের তথ্য
ডিআরইএসএসের ভিত্তি হল ডিআরইএসএস নিউ, যা ইএফএল স্নাতক শিক্ষার্থীদের লেখা ২,২৭৯টি প্রবন্ধ নিয়ে গঠিত। এই প্রবন্ধগুলো ইংরেজি শিক্ষা বিশেষজ্ঞদের দ্বারা একটি সামঞ্জস্যপূর্ণ ত্রিমাত্রিক রুব্রিক ব্যবহার করে স্কোর করা হয়েছে:
- বিষয়বস্তু: ধারণার প্রাসঙ্গিকতা, বিকাশ এবং গভীরতা।
- সংগঠন: যৌক্তিক গঠন, সুসংগতি এবং অনুচ্ছেদ বিভাজন।
- ভাষা: ব্যাকরণ, শব্দভাণ্ডার এবং যান্ত্রিক দক্ষতা।
এই ডেটাসেট মডেল প্রশিক্ষণ এবং মূল্যায়নের জন্য একটি স্বর্ণমান প্রদান করে, যা প্রকৃত শিক্ষার্থীদের ভুল এবং বিশেষজ্ঞ গ্রেডিং অনুশীলন প্রতিফলিত করে।
2.2 ডিআরইএসএস স্ট্যান্ডার্ড: মানসম্মত বেঞ্চমার্ক
তুলনাযোগ্যতা নিশ্চিত করতে এবং তথ্যের ভাণ্ডার সম্প্রসারিত করতে, লেখকরা বেশ কয়েকটি বিদ্যমান পাবলিক এইএস ডেটাসেট (এএসএপি পি৭, পি৮; এএসএপি++ পি১, পি২; আইসিএনএএলই ইই) একীভূত ও মানসম্মত করে ডিআরইএসএস স্ট্যান্ডার্ড তৈরি করেছেন। এতে তাদের মূল, প্রায়শই অসামঞ্জস্যপূর্ণ, স্কোরিং রুব্রিকগুলিকে একীভূত বিষয়বস্তু, সংগঠন এবং ভাষার কাঠামোর উপর ম্যাপিং জড়িত ছিল। ডিআরইএসএস স্ট্যান্ডার্ড ৬,৫১৫টি মানসম্মত নমুনা যোগ করে, যা পূর্ববর্তী গবেষণা এবং নতুন রুব্রিক-ভিত্তিক প্যারাডাইমের মধ্যে একটি মূল্যবান সেতু তৈরি করে।
2.3 ডিআরইএসএস কেস: সিন্থেটিক সম্প্রসারণ
একটি মূল উদ্ভাবন হল ডিআরইএসএস কেস (করাপশন-ভিত্তিক অগমেন্টেশন স্ট্র্যাটেজি ফর এসেজ), যা ৪০,১৮৫টি নমুনার একটি সিন্থেটিকভাবে উৎপাদিত ডেটাসেট। কেস বিদ্যমান তথ্য থেকে বিশ্বাসযোগ্য "নিম্ন-মানের" প্রবন্ধের রূপ তৈরি করতে রুব্রিক-নির্দিষ্ট করাপশন কৌশল প্রয়োগ করে, যা কার্যকরভাবে প্রশিক্ষণ সেটের বৈচিত্র্য এবং কঠিনতার পরিসর সম্প্রসারিত করে। উদাহরণস্বরূপ, এটি যৌক্তিক ভ্রান্তি প্রবর্তন করতে পারে (বিষয়বস্তু নষ্ট করে) বা সংযোগমূলক বাক্যাংশ বিঘ্নিত করতে পারে (সংগঠন নষ্ট করে)। এই পদ্ধতিটি বেসলাইন মডেলের কার্যকারিতায় একটি উল্লেখযোগ্য ৪৫.৪৪% উন্নতি ঘটিয়েছে, যা লক্ষ্যযুক্ত তথ্য সম্প্রসারণের শক্তি প্রদর্শন করে।
3. প্রযুক্তিগত কাঠামো ও পদ্ধতি
3.1 রুব্রিক মানসম্মতকরণ
ডিআরইএসএসের উপযোগিতার মূল কেন্দ্রবিন্দু হল এর সামঞ্জস্যপূর্ণ তিন-রুব্রিক কাঠামো। পৃথক ডেটাসেটগুলিকে মানসম্মত করার মধ্যে মূল স্কোরগুলিকে (যেমন, একটি একক "স্টাইল" স্কোর) বিষয়বস্তু, সংগঠন এবং ভাষার মাত্রায় ম্যাপিং করার জন্য বিশেষজ্ঞ পরামর্শের একটি সূক্ষ্ম প্রক্রিয়া জড়িত ছিল। এটি এইএস মডেলগুলির জন্য একটি সাধারণ মূল্যায়ন ভাষা তৈরি করে, যা মূল এএসএপি ডেটাসেটের (প্রম্পট ১-৬) মতো সামগ্রিক স্কোরের বাইরে চলে যায়।
3.2 কেস সম্প্রসারণ কৌশল
কেস পদ্ধতিটি একটি নিয়ম-ভিত্তিক করাপশন ইঞ্জিন। প্রতিটি রুব্রিক মাত্রার জন্য, নিম্ন-স্কোরিং প্রতিরূপ তৈরি করতে মূল প্রবন্ধগুলিতে নির্দিষ্ট রূপান্তর নিয়ম প্রয়োগ করা হয়। গাণিতিকভাবে, যদি একটি মূল প্রবন্ধ $E$ এর বিষয়বস্তু, সংগঠন এবং ভাষার জন্য একটি স্কোর ভেক্টর $S = (s_c, s_o, s_l)$ থাকে, তাহলে কেস একটি নষ্ট প্রবন্ধ $E'$ তৈরি করে একটি লক্ষ্য নিম্ন স্কোর ভেক্টর $S' = (s'_c, s'_o, s'_l)$ সহ, যেখানে $s'_i \leq s_i$। করাপশন ফাংশন $f_i$ মাত্রা-নির্দিষ্ট:
- বিষয়বস্তু: $f_c(E)$ মূল যুক্তিগুলিকে অপ্রাসঙ্গিক বা পরস্পরবিরোধী বিবৃতি দিয়ে প্রতিস্থাপন করতে পারে।
- সংগঠন: $f_o(E)$ অনুচ্ছেদের ক্রম এলোমেলো করতে পারে বা সংহতকারী উপাদান সরিয়ে দিতে পারে।
- ভাষা: $f_l(E)$ ব্যাকরণগত ত্রুটি বা অনুপযুক্ত শব্দ পছন্দ প্রবর্তন করতে পারে।
এই নিয়ন্ত্রিত অবনতি প্রবন্ধের মানের একটি সমৃদ্ধ বর্ণালী তৈরি করে, যা মডেলগুলিকে স্কোরিংয়ের জন্য আরও শক্তিশালী বৈশিষ্ট্য উপস্থাপনা শিখতে সক্ষম করে।
4. পরীক্ষামূলক ফলাফল ও কার্যকারিতা
গবেষণাপত্রটি ডিআরইএসএস উপাদানগুলিতে প্রশিক্ষিত রিগ্রেশন মডেল (যেমন, সাপোর্ট ভেক্টর রিগ্রেসর) এবং নিউরাল আর্কিটেকচার (যেমন, এলএসটিএম, বার্ট-ভিত্তিক মডেল) ব্যবহার করে শক্তিশালী বেসলাইন স্থাপন করে। মূল ফলাফলগুলির মধ্যে রয়েছে:
- শুধুমাত্র ডিআরইএসএস নিউ (প্রকৃত তথ্য) এ প্রশিক্ষিত মডেলগুলি সেই টেস্ট সেটে উচ্চ নির্ভুলতা দেখিয়েছে কিন্তু অন্যান্য প্রম্পটে সীমিত সাধারণীকরণ ক্ষমতা দেখিয়েছে, যা বৈচিত্র্যময় তথ্যের প্রয়োজনীয়তা তুলে ধরে।
- ডিআরইএসএস স্ট্যান্ডার্ড অন্তর্ভুক্ত করা মডেলগুলিকে লেখার শৈলী এবং বিষয়ের বিস্তৃত বৈচিত্র্যের সংস্পর্শে এনে ক্রস-প্রম্পট রোবাস্টনেস উন্নত করেছে।
- ডিআরইএসএস কেস অন্তর্ভুক্তি সবচেয়ে উল্লেখযোগ্য উন্নতি প্রদান করেছে, যা শুধুমাত্র প্রকৃত তথ্যে প্রশিক্ষিত বেসলাইনের তুলনায় গড় বর্গ ত্রুটি (এমএসই) ৪৫.৪৪% কমিয়েছে। এটি সূক্ষ্ম মানের পার্থক্য চিনতে শেখানোর ক্ষেত্রে, বিশেষ করে নিম্ন-স্কোর পরিসরের জন্য যা মানুষের লেখা কর্পাসে কম প্রতিনিধিত্ব করা থাকতে পারে, সিন্থেটিক তথ্যের মূল্যকে জোর দেয়।
চিত্র ও সারণির ব্যাখ্যা: প্রদত্ত তথ্য পরিসংখ্যান সারণি (পিডিএফ-এর সারণি ১) স্পষ্টভাবে ডিআরইএসএসের গঠন এবং পরিসর দেখায়। বার চার্ট (চিত্র ১) তিন-উপাদান নির্মাণ পাইপলাইন কার্যকরভাবে চিত্রিত করে, জোর দেয় যে কেস সবচেয়ে বেশি পরিমাণ তথ্য তৈরি করে, যা কৌশলগতভাবে সংগঠন রুব্রিকের (৩১,০৮৬টি নমুনা) উপর দৃষ্টি নিবদ্ধ করে, সম্ভবত কারণ কাঠামোগত ত্রুটিগুলি ইএফএল লেখায় সাধারণ এবং নিয়ম-ভিত্তিক সিমুলেশনের জন্য উপযোগী।
5. বিশ্লেষণ কাঠামো ও কেস স্টাডি
এইএস ডেটাসেট মূল্যায়নের কাঠামো: ডিআরইএসএসের মতো একটি নতুন এইএস ডেটাসেট মূল্যায়ন করার সময়, গবেষক এবং অনুশীলনকারীদের চারটি স্তম্ভ পরীক্ষা করা উচিত: শিক্ষাগত বৈধতা (বিশেষজ্ঞ টীকাকরণ, প্রাসঙ্গিক রুব্রিক), প্রযুক্তিগত উপযোগিতা (পরিসর, সামঞ্জস্য, কাজের সংজ্ঞা), নৈতিক ও ব্যবহারিক বিবেচনা (তথ্যের উৎস, পক্ষপাত, লাইসেন্স), এবং উদ্ভাবন (কেসের মতো নতুন পদ্ধতি)।
কেস স্টাডি: ডিআরইএসএসে কাঠামো প্রয়োগ
- শিক্ষাগত বৈধতা: উচ্চ। ডিআরইএসএস নিউ প্রকৃত ইএফএল শ্রেণিকক্ষ থেকে সংগ্রহ করা হয়েছে এবং একটি আদর্শ ত্রিপাক্ষিক রুব্রিক ব্যবহার করে বিশেষজ্ঞদের দ্বারা স্কোর করা হয়েছে, যা সরাসরি নির্দেশনা লক্ষ্যের সাথে সামঞ্জস্যপূর্ণ।
- প্রযুক্তিগত উপযোগিতা: উচ্চ। ~৪৯ হাজার মোট নমুনা এবং মানসম্মত রুব্রিক সহ, এটি আধুনিক এনএলপি মডেল প্রশিক্ষণের জন্য যথেষ্ট বড় এবং সামঞ্জস্যপূর্ণ। তিনটি স্কোরিং কাজে স্পষ্ট বিভাজন আরও সূক্ষ্ম মডেল উন্নয়ন সক্ষম করে।
- নৈতিক ও ব্যবহারিক বিবেচনা: মাঝারি থেকে উচ্চ। প্রকৃত শিক্ষার্থীর তথ্য নৈতিকভাবে সংগ্রহ করা হয়েছে, এবং ডেটাসেটটি সর্বজনীনভাবে উপলব্ধ, যা পুনরুৎপাদনযোগ্যতা প্রচার করে। একটি সম্ভাব্য সীমাবদ্ধতা হল একটি নির্দিষ্ট শিক্ষার্থী জনসংখ্যার (কোরিয়ান স্নাতক) উপর দৃষ্টি নিবদ্ধ করা, যা সাধারণীকরণকে প্রভাবিত করতে পারে।
- উদ্ভাবন: উচ্চ। কেস সম্প্রসারণ কৌশলটি শিক্ষাগত তথ্য সম্প্রসারণের ক্ষেত্রে একটি অভিনব এবং কার্যকরভাবে কার্যকর অবদান।
এই কাঠামোটি নিশ্চিত করে যে ডিআরইএসএস একটি উচ্চ-মানের, উদ্ভাবনী সম্পদ যা এই ক্ষেত্রকে উল্লেখযোগ্যভাবে এগিয়ে নিয়ে যায়।
6. সমালোচনামূলক বিশ্লেষণ ও শিল্প দৃষ্টিভঙ্গি
মূল অন্তর্দৃষ্টি: ডিআরইএসএস শুধু আরেকটি ডেটাসেট নয়; এটি একটি কৌশলগত হস্তক্ষেপ যা এইএস গবেষণাকে বেঞ্চমার্ক কার্যকারিতা এর চেয়ে শিক্ষাগত উপযোগিতা এর উপর পুনঃকেন্দ্রীভূত করে। বিশেষজ্ঞ টীকাকারীদের কাছ থেকে রুব্রিক-ভিত্তিক স্কোরিংকে অগ্রাধিকার দিয়ে, লেখকরা এনএলপি সম্প্রদায়কে এমন মডেল তৈরি করতে বাধ্য করছেন যা শিক্ষকরা আসলে বিশ্বাস করবেন। এই পরিবর্তন এআই-এর বৃহত্তর প্রবণতার প্রতিফলন ঘটায় যা মানব-সমন্বিত এবং ডোমেন-নির্দিষ্ট সিস্টেমের দিকে পরিচালিত করে, যেমন মডেলগুলিকে আরও ব্যাখ্যাযোগ্য এবং ন্যায্য করার প্রচেষ্টায় দেখা যায়।
যৌক্তিক প্রবাহ ও কৌশলগত অবস্থান: গবেষণাপত্রের যুক্তি অমোঘ। এটি ক্ষেত্রের অসুস্থতা নির্ণয় করে শুরু করে (ব্যবহারিক, রুব্রিক-ভিত্তিক তথ্যের অভাব), একটি তিন-অংশের প্রতিকার নির্ধারণ করে (নিউ, স্ট্যান্ডার্ড, কেস), এবং কার্যকারিতার অপ্রতিরোধ্য প্রমাণ প্রদান করে (৪৫.৪৪% লাভ)। ডিআরইএসএস স্ট্যান্ডার্ড অন্তর্ভুক্তি বিশেষভাবে চতুর—এটি পূর্ববর্তী কাজ বাতিল করে না বরং একীভূত করে এবং মানসম্মত করে, তাৎক্ষণিক প্রাসঙ্গিকতা নিশ্চিত করে এবং এএসএপির সাথে পরিচিত গবেষকদের দ্বারা গ্রহণ সহজ করে। এটি পুরো গবেষণা ইকোসিস্টেমের জন্য একটি নিরবচ্ছিন্ন আপগ্রেড পথ তৈরি করে।
শক্তি ও ত্রুটি: প্রাথমিক শক্তি হল সামগ্রিক সমাধান: প্রকৃত তথ্য, মানসম্মত উত্তরাধিকার তথ্য এবং উদ্ভাবনী সিন্থেটিক তথ্য। কেস পদ্ধতিটি, যদিও সরল, চমৎকারভাবে কার্যকর এবং ব্যাখ্যাযোগ্য—"ব্ল্যাক-বক্স" জেনারেটিভ এআই সম্প্রসারণের তুলনায় একটি গুণ। তবে, প্রধান ত্রুটি হল পরিধির। মডেলের কার্যকারিতা এবং কেস সম্প্রসারণগুলি নির্বাচিত তিন-রুব্রিক কাঠামোর সাথে দৃঢ়ভাবে যুক্ত। সৃজনশীলতা, যুক্তির শক্তি, বা শৃঙ্খলা-নির্দিষ্ট লেখা (যেমন, বৈজ্ঞানিক প্রতিবেদন) সম্পর্কে কী? ন্যাশনাল কাউন্সিল অফ টিচার্স অফ ইংলিশ দ্বারা হাইলাইট করা হিসাবে, লেখা মূল্যায়ন বহুমুখী। ডিআরইএসএস একটি গুরুত্বপূর্ণ অংশ সমাধান করে কিন্তু যদি অসমালোচনামূলকভাবে গৃহীত হয় তবে লেখার মানের একটি সংকীর্ণ দৃষ্টিভঙ্গিকে অনিচ্ছাকৃতভাবে দৃঢ় করতে পারে।
কার্যকরী অন্তর্দৃষ্টি: এডটেক কোম্পানিগুলির জন্য, এটি একটি নীলনকশা। অন্যান্য ভাষা বা বিষয়ের জন্য (যেমন, কোডিং অ্যাসাইনমেন্ট, আইনি লেখা) অনুরূপ বিশেষজ্ঞ-টীকাযুক্ত, রুব্রিক-নির্দিষ্ট ডেটাসেট তৈরিতে বিনিয়োগ করা একটি বিশাল প্রতিবন্ধকতা হতে পারে। গবেষকদের জন্য, আদেশটি স্পষ্ট: সামগ্রিক এএসএপি স্কোরের উপর ফাইন-টিউনিং বন্ধ করুন। ডিআরইএসএসকে নতুন বেসলাইন হিসেবে ব্যবহার করুন। তদুপরি, কেস প্যারাডাইম প্রসারিত করার অন্বেষণ করুন—মেশিন লার্নিংয়ের অন্যান্য ক্ষেত্রে অন্বেষণ করা হিসাবে, অনুরূপ করাপশন মডেলগুলি স্বয়ংক্রিয়ভাবে প্রতিকূল কৌশলের মাধ্যমে শেখা যেতে পারে? ৪৫.৪৪% উন্নতি একটি ন্যূনতম সীমা, সর্বোচ্চ সীমা নয়।
7. ভবিষ্যতের প্রয়োগ ও গবেষণার দিকনির্দেশনা
ডিআরইএসএস ভবিষ্যতের কাজের জন্য বেশ কয়েকটি সম্ভাবনাময় পথ উন্মুক্ত করে:
- ব্যক্তিগতকৃত প্রতিক্রিয়া উৎপাদন: ডিআরইএসএস-এ প্রশিক্ষিত মডেলগুলিকে স্কোরিংয়ের বাইরে প্রসারিত করে নির্দিষ্ট, রুব্রিক-সমন্বিত প্রতিক্রিয়া তৈরি করতে (যেমন, বিষয়বস্তু এর জন্য "আপনার দ্বিতীয় অনুচ্ছেদের যুক্তিতে সমর্থনমূলক প্রমাণের অভাব রয়েছে")।
- ক্রস-ভাষিক স্থানান্তর: ডিআরইএসএস-এ প্রশিক্ষিত মডেলগুলি বিভিন্ন মাতৃভাষার শিক্ষার্থীদের প্রবন্ধ স্কোর করার জন্য অভিযোজিত হতে পারে কিনা তা তদন্ত করা, সম্ভাব্যভাবে বহুভাষিক এনএলপি থেকে কৌশল ব্যবহার করে।
- ইন্টেলিজেন্ট টিউটরিং সিস্টেম (আইটিএস) এর সাথে একীকরণ: ডিআরইএসএস-প্রশিক্ষিত এইএস মডেলগুলিকে আইটিএস-এ এম্বেড করা লেখার প্রক্রিয়ায় বাস্তব-সময়ের, গঠনমূলক মূল্যায়ন প্রদান করতে, শুধুমাত্র একটি চূড়ান্ত স্কোর নয়।
- উন্নত সম্প্রসারণ অন্বেষণ: নিয়ম-ভিত্তিক করাপশন (কেস) থেকে এগিয়ে গিয়ে বৃহৎ ভাষা মডেল (এলএলএম) ব্যবহার করে বিভিন্ন মানের স্তরে প্রবন্ধের বৈচিত্র্যের আরও সূক্ষ্ম, প্রসঙ্গ-সচেতন উৎপাদনের জন্য, পক্ষপাতের জন্য সতর্কতার সাথে নিয়ন্ত্রণ করে।
- রুব্রিক সেট সম্প্রসারণ: মূল্যায়ন বিশেষজ্ঞদের সাথে সহযোগিতা করে অতিরিক্ত রুব্রিকের জন্য সংজ্ঞায়িত করা এবং তথ্য সংগ্রহ করা, যেমন শ্রোতা সচেতনতা বা অলঙ্কারশাস্ত্রের কার্যকারিতা, আরও ব্যাপক ডেটাসেট তৈরি করা।
8. তথ্যসূত্র
- Yoo, H., Han, J., Ahn, S., & Oh, A. (2025). DREsS: Dataset for Rubric-based Essay Scoring on EFL Writing. arXiv preprint arXiv:2402.16733v3.
- Shermis, M. D., & Burstein, J. (Eds.). (2013). Handbook of automated essay evaluation: Current applications and new directions. Routledge. (এইএস ক্ষেত্রের মৌলিক সংক্ষিপ্ত বিবরণ)।
- National Council of Teachers of English (NCTE). (2022). Position Statement on Machine Scoring and Assessment of Student Writing. (সামগ্রিক এইএস-এর সাথে নৈতিক ও শিক্ষাগত উদ্বেগ হাইলাইট করে)।
- Taghipour, K., & Ng, H. T. (2016). A Neural Approach to Automated Essay Scoring. Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP). (সামগ্রিক এইএস-এর জন্য নিউরাল বেসলাইনের উদাহরণ)।
- Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (অযুগ্ম তথ্য অনুবাদের উপর প্রভাবশালী গবেষণাপত্র, ধারণাগতভাবে এইএস-এ তথ্য সম্প্রসারণের চ্যালেঞ্জের সাথে সাদৃশ্যপূর্ণ)।
- Kaggle. (2012). The Hewlett Foundation: Automated Essay Scoring. ASAP Dataset. (ব্যাপকভাবে ব্যবহৃত এএসএপি বেঞ্চমার্কের উৎস)।