مدل‌های زبانی RNN و سوگیری نحوی بین‌زبانی: الحاق بند موصولی در انگلیسی در مقابل اسپانیایی

1. مقدمه

این مقاله به بررسی سوگیری‌های نحوی آموخته‌شده توسط مدل‌های زبانی شبکه عصبی بازگشتی (RNN) می‌پردازد و به طور خاص بر پدیده ابهام در الحاق بند موصولی (RC) تمرکز دارد. فرضیه اصلی این است که سوگیری‌های معماری RNNها (مانند سوگیری تازگی) به طور اتفاقی با ترجیح غالب تجزیه‌ی انسانی در زبان انگلیسی (الحاق پایین) همسو می‌شود، اما با ترجیح متضاد موجود در زبان اسپانیایی (الحاق بالا) همخوانی ندارد. این امر توهمی از شایستگی نحوی مشابه انسان در مدل‌های انگلیسی ایجاد می‌کند که به صورت بین‌زبانی تعمیم نمی‌یابد و فرض وجود سوگیری‌های زبانی ضروری در داده‌های آموزشی را به چالش می‌کشد.

2. روش‌شناسی و طراحی آزمایش

2.1. ابهام در الحاق بند موصولی

این مطالعه مدل‌ها را با استفاده از جملات دارای الحاق‌های مبهم بند موصولی بررسی می‌کند، مانند: "اندرو دیروز با برادرزاده معلمی که طلاق گرفته بود شام خورد." دو تفسیر ممکن است: الحاق به عبارت اسمی بالاتر («برادرزاده» - بالا) یا عبارت اسمی پایین‌تر («معلم» - پایین). در حالی که هر دو از نظر دستوری معتبر هستند، انگلیسی‌زبانان سوگیری قابل اعتمادی به الحاق پایین نشان می‌دهند، در حالی که اسپانیایی‌زبانان سوگیری به الحاق بالا نشان می‌دهند.

2.2. معماری مدل و آموزش

مدل‌های زبانی استاندارد مبتنی بر RNN (مانند LSTM یا GRU) بر روی پیکره‌های بزرگ متون انگلیسی و اسپانیایی آموزش داده شدند. هدف آموزشی، کمینه‌سازی لگاریتم درست‌نمایی منفی کلمه بعدی با توجه به زمینه قبلی است: $L(\theta) = -\sum_{t=1}^{T} \log P(w_t | w_{

2.3. معیارهای ارزیابی

ترجیح مدل با مقایسه احتمال شرطی‌ای که مدل به ادامه جمله تحت هر تفسیر (بالا در مقابل پایین) اختصاص می‌دهد، کمی‌سازی می‌شود. نمره سوگیری به عنوان تفاوت لگاریتم احتمال محاسبه می‌شود: $\text{Bias} = \log P(\text{LOW}) - \log P(\text{HIGH})$.

3. نتایج و تحلیل

3.1. عملکرد مدل انگلیسی

مدل‌های زبانی RNN آموزش‌دیده بر روی متن انگلیسی، به طور مداوم سوگیری قابل توجهی به الحاق پایین نشان دادند که بازتاب‌دهنده ترجیح مستند انسانی است. این نشان می‌دهد که بازنمایی‌های داخلی مدل با پردازش نحوی انسانی برای این پدیده در زبان انگلیسی همسو است.

3.2. عملکرد مدل اسپانیایی

در تضاد کامل، مدل‌های زبانی RNN آموزش‌دیده بر روی متن اسپانیایی، در نمایش سوگیری الحاق بالا مشابه انسان ناموفق بودند. در عوض، آن‌ها اغلب سوگیری ضعیف یا حتی معکوس (پایین) نشان دادند که نشان‌دهنده عدم موفقیت در ثبت ترجیح نحوی رایج گونه‌شناختی موجود در داده‌های اسپانیایی است.

3.3. مقایسه بین‌زبانی

واگرایی در عملکرد مدل بین انگلیسی و اسپانیایی به شدت نشان می‌دهد که موفقیت ظاهری در انگلیسی ناشی از یادگیری قواعد نحوی انتزاعی از داده‌ها نیست، بلکه از همپوشانی بین سوگیری تازگی ذاتی RNN (ترجیح الحاق به آخرین اسم) و ترجیح الحاق پایین انگلیسی ناشی می‌شود. این سوگیری معماری در برابر یادگیری ترجیح الحاق بالا مورد نیاز برای اسپانیایی عمل می‌کند.

4. جزئیات فنی و چارچوب ریاضی

هسته مدل زبانی، پیش‌بینی ترتیبی کلمه $w_t$ با توجه به زمینه آن است. برای یک RNN، حالت پنهان $h_t$ به این صورت به‌روز می‌شود: $h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b_h)$، که در آن $f$ یک تابع فعال‌سازی غیرخطی است (مانند تانژانت هذلولوی یا سلول LSTM). توزیع احتمال روی واژگان به این صورت است: $P(w_t | w_{

5. چارچوب تحلیل: یک مطالعه موردی غیرکدی

مورد: ارزیابی درک یک مدل زبانی RNN از الحاق بند موصولی در جمله: «روزنامه‌نگار با دستیار سناتوری که جنجالی بود مصاحبه کرد.»

1. مرحله 1 - تولید تجزیه: دو ادامه جمله با حداقل تفاوت بسازید که یا تفسیر بالا (دستیار جنجالی است) یا تفسیر پایین (سناتور جنجالی است) را تحمیل کنند.
2. مرحله 2 - پرس‌وجوی احتمال: هر جمله کامل (زمینه + ادامه تحمیلی) را به مدل زبانی RNN آموزش‌دیده وارد کنید و احتمال دنباله $P(\text{sentence})$ را استخراج کنید.
3. مرحله 3 - محاسبه سوگیری: $\Delta = \log P(\text{LOW continuation}) - \log P(\text{HIGH continuation})$ را محاسبه کنید.
4. مرحله 4 - تفسیر: مقدار مثبت $\Delta$ نشان‌دهنده سوگیری پایین (مشابه انگلیسی) است؛ مقدار منفی $\Delta$ نشان‌دهنده سوگیری بالا (مشابه اسپانیایی) است. این را با داده‌های روان‌زبانی انسانی مقایسه کنید.

6. بینش اصلی و دیدگاه تحلیلگر

بینش اصلی: این مقاله یک بررسی واقعیت حیاتی برای جامعه پردازش زبان طبیعی ارائه می‌دهد. این مقاله نشان می‌دهد که آنچه به عنوان «یادگیری نحو» در یک مدل زبانی به نظر می‌رسد، اغلب می‌تواند یک سراب باشد—یک تصادف خوش‌یمن بین کاستی‌های معماری یک مدل (مانند سوگیری تازگی) و الگوهای آماری یک زبان خاص (انگلیسی). عدم موفقیت در تکرار نتیجه در اسپانیایی، شکنندگی این «یادگیری» را آشکار می‌سازد. همان‌طور که در کار بنیادی لینزن و همکاران (۲۰۱۶) در مورد ارزیابی دانش نحوی در مدل‌های زبانی برجسته شده است، باید از نسبت دادن شایستگی زبانی مشابه انسان به مدل‌ها بر اساس موفقیت‌های محدود و زبان‌خاص برحذر بود.

جریان منطقی: استدلال به شیوه‌ای ظریف ساخته شده است. این کار با یک تضاد زبانی انسانی شناخته‌شده (سوگیری پایین انگلیسی در مقابل بالا اسپانیایی) آغاز می‌شود، مدل‌های استاندارد را بر روی هر دو زبان آموزش می‌دهد و یک ناهم‌خوانی عملکردی می‌یابد. سپس نویسندگان به طور منطقی این ناهم‌خوانی را به یک ویژگی غیرزبانی شناخته‌شده از RNNها (سوگیری تازگی) مرتبط می‌کنند و توضیحی مختصر ارائه می‌دهند که نیازمند فرض یادگیری قاعده انتزاعی نیست. این جریان به طور مؤثری فرض کافی بودن سیگنال آموزشی به تنهایی برای یادگیری نحو عمیق را تضعیف می‌کند.

نقاط قوت و ضعف: نقطه قوت اصلی، استفاده هوشمندانه از تنوع بین‌زبانی به عنوان یک آزمایش کنترل‌شده برای جدا کردن یادگیری مبتنی بر داده از سوگیری معماری است. این یک مشارکت روش‌شناختی قدرتمند است. با این حال، تحلیل تا حدی به دلیل تمرکز بر یک پدیده نحوی واحد، هرچند مهم، محدود شده است. این سوال را باز می‌گذارد که این مسئله چقدر گسترده است—آیا سایر شایستگی‌های نحوی ظاهری در مدل‌های زبانی انگلیسی نیز به طور مشابه واهی هستند؟ علاوه بر این، این مطالعه از معماری‌های قدیمی‌تر RNN استفاده می‌کند؛ آزمایش با مدل‌های مدرن مبتنی بر ترنسفورمر (که سوگیری‌های استقرایی متفاوتی دارند، مانند توجه) گام بعدی حیاتی است، همان‌طور که تکامل مشاهده‌شده از مدل‌هایی مانند GPT-2 به GPT-3 پیشنهاد می‌کند.

بینش‌های عملی: برای پژوهشگران و مهندسان، این مقاله مستلزم تغییر در استراتژی ارزیابی است. اول، ارزیابی بین‌زبانی باید به یک آزمون استرس استاندارد برای هر ادعایی در مورد قابلیت‌های زبانی یک مدل تبدیل شود و فراتر از مجموعه معیارهای انگلومحور حرکت کند. دوم، ما به «کاوشگرهای» بیشتری نیاز داریم که سوگیری معماری را از یادگیری واقعی جدا کنند، شاید با طراحی مجموعه داده‌های متخاصم در یک زبان واحد. سوم، برای کسانی که سیستم‌های تولیدی برای زبان‌های غیرانگلیسی می‌سازند، این یک هشدار جدی است: معماری‌های آماده ممکن است سوگیری‌های نحوی را در خود جای دهند که با زبان هدف بیگانه است و به طور بالقوه عملکرد در وظایف تجزیه پیچیده را کاهش می‌دهد. مسیر پیش رو شامل طراحی معماری‌های مدل آگاه‌تر از زبان یا توسعه اهداف آموزشی است که صراحتاً این سوگیری‌های استقرایی ناخواسته را جریمه می‌کنند و فراتر از پیش‌بینی ساده کلمه بعدی حرکت می‌کنند.

7. کاربردهای آتی و جهت‌های پژوهشی

• پردازش زبان طبیعی چندزبانه و کم‌منبع: توسعه چارچوب‌های ارزیابی و معماری‌های مدلی که در بین زبان‌های متنوع از نظر گونه‌شناسی مقاوم هستند و عملکرد عادلانه‌ای را تضمین می‌کنند.
• معیارسازی تشخیصی: ایجاد مجموعه‌ای از وظایف «تشخیص سوگیری» برای حسابرسی مدل‌های از پیش آموزش‌دیده برای همبستگی‌های کاذب و مصنوعات معماری قبل از استقرار.
• طراحی مدل آگاه از زبان: کاوش مدل‌های ترکیبی که پیش‌فرض‌های زبانی صریح و پارامتری‌شده را (مانند مبتنی بر وابستگی‌های جهانی) برای هدایت یادگیری، به ویژه برای زبان‌های کم‌منبع، در خود جای می‌دهند.
• مدل‌سازی شناختی: استفاده از گسست بین عملکرد مدل و داده‌های انسانی (مانند اسپانیایی) برای تولید فرضیه‌های جدید درباره پردازش زبان انسان و ماهیت «سیگنال آموزشی» که انسان‌ها استفاده می‌کنند.
• ترجمه ماشینی مقاوم: بهبود کیفیت ترجمه برای جملات شامل ابهام‌های ساختاری با اطمینان از اینکه سوگیری‌های تجزیه زبان مبدأ به اشتباه به زبان هدف منتقل نمی‌شوند.

8. منابع

1. Davis, F., & van Schijndel, M. (2020). Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment. arXiv:2005.00165.
2. Linzen, T., Dupoux, E., & Goldberg, Y. (2016). Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics.
3. Carreiras, M., & Clifton, C. (1999). Another word on parsing relative clauses: Eye-tracking evidence from Spanish and English. Memory & Cognition.
4. Fernández, E. M. (2003). Bilingual sentence processing: Relative clause attachment in English and Spanish. John Benjamins Publishing.
5. Radford, A., et al. (2018). Improving language understanding by generative pre-training. OpenAI Blog.
6. Dyer, C., et al. (2019). How to train your RNN to capture linguistic structure. BlackboxNLP Workshop.