সূচিপত্র
1. ভূমিকা ও সংক্ষিপ্ত বিবরণ
রিডিং কম্প্রিহেনশন (আরসি) প্রাকৃতিক ভাষা প্রক্রিয়াকরণে (এনএলপি) একটি মৌলিক চ্যালেঞ্জ, যার জন্য মেশিনকে পাঠ্য বুঝতে এবং এর সম্পর্কে প্রশ্নের উত্তর দিতে হয়। স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের রাজপুরকার ও সহকর্মীদের ২০১৬ সালের "এসকিউএডি: ১০০,০০০+ প্রশ্ন মেশিনের পাঠ্য বোঝার জন্য" শীর্ষক গবেষণাপত্রটি এই কাজের জন্য বৃহৎ-স্কেল, উচ্চ-মানের সম্পদের অভাব দূর করতে একটি মাইলফলক ডেটাসেট উপস্থাপন করে। এসকিউএডির আগে, আরসি ডেটাসেটগুলি হয় আধুনিক ডেটা-চালিত মডেলগুলির জন্য খুব ছোট ছিল অথবা আধা-সিন্থেটিক ছিল, যা মানুষের তৈরি প্রশ্নের সূক্ষ্মতা থেকে বঞ্চিত ছিল। এসকিউএডি এই গুরুত্বপূর্ণ ফাঁক পূরণ করে, উইকিপিডিয়া নিবন্ধের উপর ভিত্তি করে ১০০,০০০-এরও বেশি প্রশ্ন-উত্তর জোড়া সরবরাহ করে, যেখানে প্রতিটি উত্তর সংশ্লিষ্ট অনুচ্ছেদ থেকে একটি অবিচ্ছিন্ন পাঠ্য স্প্যান। এই বিন্যাসটি একটি সুসংজ্ঞায়িত, তবুও চ্যালেঞ্জিং, বেঞ্চমার্ক তৈরি করে যা এরপর থেকে এনএলপিতে ব্যাপক অগ্রগতি চালিয়েছে।
ডেটাসেট এক নজরে
- ১০৭,৭৮৫ প্রশ্ন-উত্তর জোড়া
- ৫৩৬ উইকিপিডিয়া নিবন্ধ
- ~২ অর্ডার অব ম্যাগনিচিউড পূর্ববর্তী ডেটাসেটের চেয়ে বড় (যেমন, এমসিটেস্ট)
- উত্তর বিন্যাস: অনুচ্ছেদ থেকে পাঠ্য স্প্যান
2. এসকিউএডি ডেটাসেট
2.1 ডেটাসেট নির্মাণ ও স্কেল
এসকিউএডি তৈরি করা হয়েছিল ক্রাউডওয়ার্কারদের ব্যবহার করে যারা উইকিপিডিয়া অনুচ্ছেদ পড়ে এবং এমন প্রশ্ন তৈরি করেছিল যার উত্তর ছিল সেই অনুচ্ছেদের মধ্যে পাঠ্যের একটি অংশ। এই পদ্ধতিটি নিশ্চিত করেছিল যে প্রশ্নগুলি প্রাকৃতিক ও বৈচিত্র্যময়, যা প্রকৃত মানুষের কৌতূহল ও বোঝার চ্যালেঞ্জ প্রতিফলিত করে। ১০৭,৭৮৫টি কিউএ জোড়া নিয়ে, এটি এমসিটেস্ট (রিচার্ডসন ও সহকর্মী, ২০১৩) এর মতো পূর্বসূরীদের স্কেলকে উল্লেখযোগ্যভাবে ছাড়িয়ে গেছে, যা আরও জটিল নিউরাল মডেলগুলির প্রশিক্ষণ সক্ষম করেছে।
2.2 প্রধান বৈশিষ্ট্য ও উত্তর বিন্যাস
এসকিউএডির সংজ্ঞায়িত বৈশিষ্ট্য হল এর স্প্যান-ভিত্তিক উত্তর বিন্যাস। বহু-বিকল্প প্রশ্নের বিপরীতে, সিস্টেমগুলিকে অবশ্যই অনুচ্ছেদের মধ্যে উত্তরের সঠিক শুরু এবং শেষ সূচক চিহ্নিত করতে হবে। এটি উত্তর পছন্দের সূচনা প্রভাব দূর করে এবং মডেলগুলিকে প্রকৃত পাঠ্য বোঝা এবং প্রমাণের অবস্থান নির্ণয় করতে বাধ্য করে। গবেষণাপত্রে উল্লেখ করা হয়েছে যে যদিও এটি উন্মুক্ত-প্রান্তের ব্যাখ্যামূলক প্রশ্নের চেয়ে বেশি সীমাবদ্ধ, এটি সুনির্দিষ্ট মূল্যায়নের অনুমতি দেয় এবং এখনও প্রশ্নের প্রকারের সমৃদ্ধ বৈচিত্র্য অন্তর্ভুক্ত করে।
3. পদ্ধতি ও বিশ্লেষণ
3.1 প্রশ্নের কঠিনতা ও যুক্তির প্রকার
লেখকরা ভাষাগত বিশ্লেষণ প্রয়োগ করেছেন, নির্ভরতা এবং কনস্টিটুয়েন্সি ট্রি ব্যবহার করে, প্রশ্নগুলিকে কঠিনতা এবং প্রয়োজনীয় যুক্তির প্রকার অনুসারে শ্রেণীবদ্ধ করতে। তারা প্রশ্ন এবং উত্তর বাক্যের মধ্যে বাক্য গঠনগত পার্থক্য পরিমাপ করেছে, এবং উত্তর প্রকারগুলিকে শ্রেণীবদ্ধ করেছে (যেমন, ব্যক্তি, অবস্থান, তারিখ)। এই বিশ্লেষণ ডেটাসেটের চ্যালেঞ্জগুলির একটি সূক্ষ্ম দৃষ্টিভঙ্গি প্রদান করেছে, যা দেখায় যে কর্মদক্ষতা বাক্য গঠনগত জটিলতা বৃদ্ধি এবং নির্দিষ্ট উত্তর প্রকারের সাথে অবনতি ঘটে।
3.2 বেসলাইন মডেল: লজিস্টিক রিগ্রেশন
একটি বেসলাইন স্থাপন করতে, লেখকরা একটি লজিস্টিক রিগ্রেশন মডেল প্রয়োগ করেছেন। এই মডেলটি বৈশিষ্ট্যের সংমিশ্রণ ব্যবহার করেছে, যার মধ্যে রয়েছে শব্দভাণ্ডারিক ওভারল্যাপ (শব্দ ম্যাচিং) এবং নির্ভরতা ট্রি পথ থেকে উদ্ভূত বৈশিষ্ট্য যা প্রশ্ন শব্দগুলিকে প্রার্থী উত্তর স্প্যানের সাথে সংযুক্ত করে। একটি শক্তিশালী রৈখিক মডেলের পছন্দ একটি স্বচ্ছ এবং ব্যাখ্যাযোগ্য বেঞ্চমার্ক হিসাবে কাজ করেছে যার বিরুদ্ধে আরও জটিল নিউরাল মডেলগুলির তুলনা করা যেতে পারে।
4. পরীক্ষামূলক ফলাফল
4.1 কর্মদক্ষতা মেট্রিক (এফ১ স্কোর)
প্রাথমিক মূল্যায়ন মেট্রিক ছিল এফ১ স্কোর, যা প্রিসিশন (সঠিক হওয়া পূর্বাভাসিত উত্তর টোকেনের অনুপাত) এবং রিকল (পূর্বাভাসিত হওয়া সত্য উত্তর টোকেনের অনুপাত) এর মধ্যে ভারসাম্য বজায় রাখে। লজিস্টিক রিগ্রেশন বেসলাইন ৫১.০% এফ১ স্কোর অর্জন করেছে, যা একটি সাধারণ শব্দ-ম্যাচিং বেসলাইনের (২০%) তুলনায় উল্লেখযোগ্য উন্নতি।
4.2 মানুষের বনাম মেশিনের কর্মদক্ষতার ব্যবধান
একটি গুরুত্বপূর্ণ অনুসন্ধান ছিল মেশিন এবং মানুষের মধ্যে বড় কর্মদক্ষতার ব্যবধান। ক্রাউডওয়ার্কাররা মূল্যায়ন সেটে ৮৬.৮% এফ১ স্কোর অর্জন করেছে। এই ৩৫.৮-পয়েন্ট ব্যবধান স্পষ্টভাবে প্রদর্শন করেছে যে এসকিউএডি একটি "ভাল চ্যালেঞ্জ সমস্যা" উপস্থাপন করেছে যা সমাধান থেকে অনেক দূরে, এইভাবে সম্প্রদায়ের জন্য একটি স্পষ্ট এবং আকর্ষণীয় গবেষণা লক্ষ্য নির্ধারণ করেছে।
5. মূল অন্তর্দৃষ্টি ও বিশ্লেষকের দৃষ্টিভঙ্গি
মূল অন্তর্দৃষ্টি: এসকিউএডি গবেষণাপত্রটি কেবল ডেটা প্রকাশের বিষয়ে ছিল না; এটি ছিল বেঞ্চমার্ক ইঞ্জিনিয়ারিং এর একটি মাস্টারক্লাস। লেখকরা সঠিকভাবে চিহ্নিত করেছেন যে ক্ষেত্রের অগ্রগতি ডেটার গুণমান এবং স্কেল দ্বারা বাধাগ্রস্ত ছিল, যা কম্পিউটার ভিশনে ইমেজনেটের গুরুত্বপূর্ণ ভূমিকার প্রতিফলন ঘটায়। একটি কঠিন তবুও সুনির্দিষ্টভাবে পরিমাপযোগ্য (স্প্যান-ভিত্তিক উত্তর) কাজ তৈরি করে, তারা এনএলপিতে গভীর শিক্ষার বিপ্লবের জন্য একটি রানওয়ে তৈরি করেছিলেন।
যুক্তিপূর্ণ প্রবাহ: গবেষণাপত্রের যুক্তি অমোঘ: ১) ক্ষেত্রের ডেটা সমস্যা নির্ণয় করুন (ছোট বা সিন্থেটিক ডেটাসেট), ২) নির্দিষ্ট, সুবিধাজনক সীমাবদ্ধতা সহ একটি সমাধান প্রস্তাব করুন (উইকিপিডিয়ায় স্প্যান-ভিত্তিক কিউএ), ৩) নতুন ডেটাসেটের বৈশিষ্ট্যগুলি কঠোরভাবে বিশ্লেষণ করুন, ৪) কঠিনতা ক্যালিব্রেট করার জন্য একটি শক্তিশালী, ব্যাখ্যাযোগ্য বেসলাইন স্থাপন করুন, এবং ৫) ভবিষ্যতের কাজকে অনুপ্রাণিত করতে মানুষের-মেশিনের উল্লেখযোগ্য ব্যবধান তুলে ধরুন। এই নীলনকেশ পরবর্তী অসংখ্য বেঞ্চমার্ক গবেষণাপত্রে অনুকরণ করা হয়েছে।
শক্তি ও ত্রুটি: এর সর্বশ্রেষ্ঠ শক্তি হল এর অনুঘটক প্রভাব। এসকিউএডি সরাসরি BiDAF, QANet, এবং BERT-এর প্রাথমিক সংস্করণের মতো মডেলগুলির দ্রুত পুনরাবৃত্তি এবং তুলনা সক্ষম করেছে, একটি স্পষ্ট লিডারবোর্ড তৈরি করেছে যা উদ্ভাবন চালিয়েছে। তবে, এর ত্রুটি, যা এর স্রষ্টা এবং পরবর্তী সমালোচকদের দ্বারা স্বীকৃত, তা হল স্প্যান-ভিত্তিক সীমাবদ্ধতা। বাস্তব-বিশ্বের বোঝার জন্য প্রায়শই সংশ্লেষণ, অনুমান, বা বহু-স্প্যান উত্তর প্রয়োজন। এটি এসকিউএডি ২.০ (অনুত্তরযোগ্য প্রশ্ন সহ) এবং হটপটকিউএ (মাল্টি-হপ যুক্তি) এর মতো আরও জটিল উত্তরসূরি ডেটাসেটের সৃষ্টির দিকে পরিচালিত করেছে। "ন্যাচারাল কোয়েশ্চেনস" গবেষণাপত্রে (কোয়িয়াটকোস্কি ও সহকর্মী, ২০১৯) উল্লিখিত হিসাবে, প্রকৃত ব্যবহারকারীর প্রশ্নগুলির প্রায়শই আক্ষরিক স্প্যান উত্তর থাকে না, যা ক্ষেত্রটিকে এসকিউএডির মূল প্যারাডাইমের বাইরে ঠেলে দেয়।
কার্যকরী অন্তর্দৃষ্টি: অনুশীলনকারী এবং গবেষকদের জন্য, পাঠ দ্বিমুখী। প্রথমত, একটি সুগঠিত বেঞ্চমার্কের মূল্য অপরিমেয়—এটি খেলার মাঠকে সংজ্ঞায়িত করে। দ্বিতীয়ত, এসকিউএডি আমাদের "বেঞ্চমার্ক ওভারফিটিং" সম্পর্কে সতর্ক হতে শেখায়। এসকিউএডির এফ১ স্কোরে উৎকর্ষতা প্রদর্শনকারী মডেলগুলি আরও বাস্তবসম্মত, বিশৃঙ্খল কিউএ সেটিংসে সাধারণীকরণ নাও করতে পারে। ভবিষ্যত, যেমন অ্যালেন ইনস্টিটিউট ফর এআই-এর ড্রপ (বিচ্ছিন্ন যুক্তি) এর মতো ডেটাসেটে বা ওপেন-ডোমেইন কিউএ-এর দিকে ধাক্কায় দেখা যায়, এমন কাজগুলিতে রয়েছে যা মানুষের ভাষা বোঝার জটিলতা এবং অস্পষ্টতার আরও ভাল অনুমান করে। এসকিউএডি সেই পথে অপরিহার্য প্রথম প্রধান পদক্ষেপ ছিল, প্রমাণ করে যে বৃহৎ-স্কেল, উচ্চ-মানের ডেটা এআই অগ্রগতির জন্য অপরিহার্য জ্বালানি, একটি নীতি যা আজ বড় ভাষা মডেলগুলির সাথে ২০১৬ সালের মতোই সত্য।
6. প্রযুক্তিগত বিবরণ
6.1 গাণিতিক সূত্রায়ন
স্প্যান নির্বাচন কাজটিকে একটি প্রশ্ন $Q$ দেওয়া হলে, দৈর্ঘ্য $n$ এর একটি অনুচ্ছেদ $P$ এর মধ্যে উত্তর স্প্যানের শুরু সূচক $i$ এবং শেষ সূচক $j$ পূর্বাভাস দেওয়া হিসাবে ফ্রেম করা যেতে পারে। বেসলাইন লজিস্টিক রিগ্রেশন মডেল একটি ফিচার ভেক্টর $\phi(P, Q, i, j)$ ব্যবহার করে প্রতিটি প্রার্থী স্প্যান $(i, j)$ স্কোর করে:
$\text{score}(i, j) = \mathbf{w}^T \phi(P, Q, i, j)$
মডেলটি তারপর সর্বোচ্চ স্কোর সহ স্প্যানটি নির্বাচন করে। একটি স্প্যানের সঠিক উত্তর হওয়ার সম্ভাবনা সমস্ত সম্ভাব্য স্প্যানের উপর সফটম্যাক্স ফাংশন ব্যবহার করে মডেল করা যেতে পারে:
$P((i, j) | P, Q) = \frac{\exp(\text{score}(i, j))}{\sum_{i', j'} \exp(\text{score}(i', j'))}$
6.2 ফিচার ইঞ্জিনিয়ারিং
ফিচার সেট $\phi$ অন্তর্ভুক্ত করেছিল:
- শব্দভাণ্ডারিক বৈশিষ্ট্য: প্রশ্ন এবং অনুচ্ছেদ শব্দগুলির মধ্যে টার্ম ফ্রিকোয়েন্সি (টিএফ) এবং ইনভার্স ডকুমেন্ট ফ্রিকোয়েন্সি (আইডিএফ) মিল।
- বাক্য গঠনগত বৈশিষ্ট্য: নির্ভরতা পার্স ট্রি পথের উপর ভিত্তি করে বৈশিষ্ট্য যা প্রশ্ন শব্দগুলিকে (যেমন "কী", "কারণ") অনুচ্ছেদের প্রার্থী উত্তর শব্দের সাথে সংযুক্ত করে।
- স্প্যান বৈশিষ্ট্য: প্রার্থী স্প্যানের দৈর্ঘ্য, অনুচ্ছেদে এর অবস্থান।
7. বিশ্লেষণ কাঠামো: উদাহরণ কেস
কেস স্টাডি: "বৃষ্টিপাত" অনুচ্ছেদ বিশ্লেষণ
গবেষণাপত্রের চিত্র ১ থেকে উদাহরণটি বিবেচনা করুন:
- অনুচ্ছেদ স্নিপেট: "...বৃষ্টিপাত... মাধ্যাকর্ষণে পড়ে।"
- প্রশ্ন: "বৃষ্টিপাত পড়ার কারণ কী?"
- সোনালি উত্তর স্প্যান: "মাধ্যাকর্ষণ"
বিশ্লেষণ কাঠামোর ধাপসমূহ:
- প্রার্থী স্প্যান উৎপাদন: অনুচ্ছেদে সমস্ত সম্ভাব্য অবিচ্ছিন্ন শব্দ ক্রম গণনা করুন (যেমন, "বৃষ্টিপাত", "পড়ে", "মাধ্যাকর্ষণে", "মাধ্যাকর্ষণ", "পড়ে মাধ্যাকর্ষণে", "মাধ্যাকর্ষণে পড়ে", ইত্যাদি)।
- বৈশিষ্ট্য নিষ্কাশন: প্রার্থী স্প্যান "মাধ্যাকর্ষণ" এর জন্য, বৈশিষ্ট্য নিষ্কাশন করুন:
- শব্দভাণ্ডারিক মিল: প্রশ্নের "কারণ" শব্দটি "মাধ্যাকর্ষণে পড়ে" এর "মাধ্যাকর্ষণে" এর কারণগত প্রভাবের সাথে দুর্বলভাবে সারিবদ্ধ হতে পারে।
- নির্ভরতা পথ: নির্ভরতা ট্রিতে, প্রশ্নের মূল ("কারণ") থেকে উত্তর শব্দ ("মাধ্যাকর্ষণ") পর্যন্ত পথটি একটি অব্যয়সূচক পরিবর্তক ("মাধ্যাকর্ষণে") অতিক্রম করতে পারে, যা একটি কারণগত সম্পর্ক নির্দেশ করে।
- স্প্যান দৈর্ঘ্য: ১ (একটি শব্দ)।
- মডেল স্কোরিং: লজিস্টিক রিগ্রেশন মডেল এই বৈশিষ্ট্যগুলিকে ওজন দেয়। একটি কারণগত সংযোগ নির্দেশকারী নির্ভরতা পথ বৈশিষ্ট্যটি সম্ভবত উচ্চ ইতিবাচক ওজন পাবে, যার ফলে "মাধ্যাকর্ষণ" স্প্যানের জন্য উচ্চ স্কোর হবে।
- পূর্বাভাস ও মূল্যায়ন: মডেলটি "মাধ্যাকর্ষণ" কে পূর্বাভাসিত উত্তর হিসাবে নির্বাচন করে। সোনালি স্প্যানের সাথে একটি সঠিক মিল এই উদাহরণের জন্য একটি নিখুঁত স্কোরের ফলাফল দেয়।
এই কেসটি চিত্রিত করে যে কীভাবে একটি রৈখিক মডেলও, যখন অর্থপূর্ণ বাক্য গঠনগত বৈশিষ্ট্যগুলির সাথে সজ্জিত হয়, সঠিক উত্তর খুঁজে পেতে অ-তুচ্ছ যুক্তি সম্পাদন করতে পারে।
8. ভবিষ্যতের প্রয়োগ ও দিকনির্দেশনা
এসকিউএডি ডেটাসেট এবং এটি দ্বারা অনুপ্রাণিত গবেষণা অসংখ্য অগ্রগতির ভিত্তি স্থাপন করেছে:
- প্রাক-প্রশিক্ষণ ও স্থানান্তর শিক্ষা: এসকিউএডি BERT, GPT, এবং T5 এর মতো প্রাক-প্রশিক্ষিত ভাষা মডেলগুলির মূল্যায়নের জন্য একটি প্রধান বেঞ্চমার্ক হয়ে উঠেছে। এসকিউএডিতে সাফল্য একটি মডেলের সাধারণ ভাষা বোঝার ক্ষমতা প্রদর্শন করেছে, যা তারপর অন্যান্য ডাউনস্ট্রিম কাজে স্থানান্তরিত হতে পারে।
- স্প্যান নিষ্কাশনের বাইরে: স্প্যান-ভিত্তিক কিউএ-এর সীমাবদ্ধতা আরও জটিল সূত্রায়নের গবেষণাকে উদ্দীপিত করেছে:
- মাল্টি-হপ কিউএ: একাধিক নথি বা অনুচ্ছেদ জুড়ে যুক্তি প্রয়োজন (যেমন, হটপটকিউএ)।
- মুক্ত-ফর্ম/জেনারেটিভ কিউএ: যেখানে উত্তরগুলি উৎপন্ন হয়, নিষ্কাশিত নয় (যেমন, এমএস মার্কো)।
- অনুত্তরযোগ্য প্রশ্ন: পাঠ্যে কোন উত্তর নেই এমন প্রশ্নগুলি পরিচালনা করা (এসকিউএডি ২.০)।
- বাস্তব-বিশ্বের সিস্টেম: এসকিউএডির জন্য বিকশিত মূল প্রযুক্তি আধুনিক সার্চ ইঞ্জিনের প্রশ্নোত্তর বৈশিষ্ট্য, চ্যাটবট এবং বুদ্ধিমান নথি বিশ্লেষণ সরঞ্জামগুলিকে শক্তি দেয়।
- ব্যাখ্যাযোগ্য এআই (এক্সএআই): একটি মডেল কেন একটি নির্দিষ্ট স্প্যান নির্বাচন করে তা বোঝার প্রয়োজন এনএলপিতে মনোযোগ দৃশ্যায়ন এবং মডেল ব্যাখ্যাযোগ্যতা কৌশলগুলির গবেষণাকে চালিত করেছে।
ভবিষ্যতের দিকনির্দেশনা, ওপেনএআই-এর চ্যাটজিপিটির মতো মডেল দ্বারা প্রমাণিত, ওপেন-ডোমেইন, কথোপকথনমূলক, এবং জেনারেটিভ কিউএ এর দিকে এগিয়ে চলেছে, যেখানে মডেলটিকে প্রাসঙ্গিক জ্ঞান পুনরুদ্ধার করতে, তার উপর যুক্তি প্রয়োগ করতে, এবং একটি সুসংগত, প্রাকৃতিক ভাষা প্রতিক্রিয়া প্রকাশ করতে হবে—একটি প্যারাডাইম যা এসকিউএডির মতো ডেটাসেটে ঘষামাজা করা মৌলিক রিডিং কম্প্রিহেনশন দক্ষতার উপর সরাসরি গড়ে উঠেছে।
9. তথ্যসূত্র
- Rajpurkar, P., Zhang, J., Lopyrev, K., & Liang, P. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2383–2392.
- Deng, J., Dong, W., Socher, R., Li, L. J., Li, K., & Fei-Fei, L. (2009). ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition.
- Marcus, M. P., Marcinkiewicz, M. A., & Santorini, B. (1993). Building a large annotated corpus of English: The Penn Treebank. Computational linguistics, 19(2), 313-330.
- Richardson, M., Burges, C. J., & Renshaw, E. (2013). MCTest: A Challenge Dataset for the Open-Domain Machine Comprehension of Text. Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP).
- Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., & Blunsom, P. (2015). Teaching Machines to Read and Comprehend. Advances in Neural Information Processing Systems (NeurIPS).
- Kwiatkowski, T., Palomaki, J., Redfield, O., Collins, M., Parikh, A., Alberti, C., ... & Petrov, S. (2019). Natural Questions: a Benchmark for Question Answering Research. Transactions of the Association for Computational Linguistics, 7, 452-466.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT).