شواهدی مبنی بر یادگیری واحدها و قواعد ریخت‌نحوی انگلیسی توسط مدل‌های زبانی کاراکترمحور

فهرست مطالب

1.1 مقدمه

مدل‌های زبانی سطح کاراکتر (LMs) قابلیت‌های قابل توجهی در تولید واژگان باز از خود نشان داده‌اند که کاربردهایی در تشخیص گفتار و ترجمه ماشینی فراهم می‌آورد. این مدل‌ها از طریق اشتراک‌گذاری پارامترها در میان کلمات پرتکرار، نادر و نادیده موفقیت خود را به دست می‌آورند که منجر به ادعاهایی درباره توانایی آن‌ها در یادگیری ویژگی‌های ریخت‌نحوی شده است. با این حال، این ادعاها عمدتاً شهودی بوده و پشتیبانی تجربی نداشته‌اند. این پژوهش بررسی می‌کند که مدل‌های کاراکترمحور در واقع چه چیزی را درباره ریخت‌شناسی یاد می‌گیرند و چگونه آن را فرا می‌گیرند، با تمرکز بر پردازش زبان انگلیسی.

1.2 مدل‌سازی زبان

این مطالعه از یک شبکه عصبی بازگشتی (RNN) کاراکترمحور «بدون کلمه» با واحدهای LSTM استفاده می‌کند، که در آن ورودی به کلمات تقسیم‌بندی نشده و فاصله‌ها به عنوان کاراکترهای معمولی در نظر گرفته می‌شوند. این معماری با اجازه دادن به ورودی‌های جزئی کلمات و تکالیف تکمیل، امکان تحلیل در سطح ریخت‌شناسی را فراهم می‌آورد.

1.2.1 فرمول‌بندی مدل

در هر گام زمانی $t$، کاراکتر $c_t$ به فضای تعبیه‌شده نگاشت می‌شود: $x_{c_t} = E^T v_{c_t}$، که در آن $E \in \mathbb{R}^{|V| \times d}$ ماتریس تعبیه کاراکتر است، $|V|$ اندازه واژگان کاراکترها، $d$ بعد تعبیه، و $v_{c_t}$ یک بردار one-hot است.

حالت پنهان به صورت زیر محاسبه می‌شود: $h_t = \text{LSTM}(x_{c_t}; h_{t-1})$

توزیع احتمال روی کاراکترهای بعدی به این صورت است: $p(c_{t+1} = c | h_t) = \text{softmax}(W_o h_t + b_o)_i$ برای همه $c \in V$

1.2.2 جزئیات آموزش

مدل بر روی ۷ میلیون توکن کاراکتری اول از داده‌های متنی انگلیسی آموزش داده شد، با استفاده از انتشار معکوس استاندارد در طول زمان و بهینه‌سازی تابع زیان آنتروپی متقاطع.

2.1 فرآیندهای زایای ریخت‌شناسی

هنگام تولید متن، مدل زبانی فرآیندهای ریخت‌شناسی انگلیسی را به صورت زایا در بافت‌های جدید به کار می‌گیرد. این یافته شگفت‌انگیز نشان می‌دهد که مدل می‌تواند تک‌واژهای مرتبط با این فرآیندها را شناسایی کند، که نشان‌دهنده یادگیری ریخت‌شناسی انتزاعی فراتر از الگوهای سطحی است.

2.2 واحد تشخیص مرز

تحلیل واحدهای پنهان مدل زبانی، یک واحد خاص را آشکار می‌کند که در مرزهای تک‌واژ و کلمه فعال می‌شود. این مکانیزم تشخیص مرز به نظر برای توانایی مدل در شناسایی واحدهای زبانی و ویژگی‌های آن‌ها حیاتی است.

3.1 یادگیری مرزهای تک‌واژ

مدل زبانی مرزهای تک‌واژ را از طریق استقراء از مرزهای کلمات یاد می‌گیرد. این رویکرد یادگیری پایین به بالا به مدل امکان می‌دهد تا بازنمایی‌های سلسله‌مراتبی از ساختار زبانی را بدون نظارت صریح توسعه دهد.

3.2 کدگذاری اجزای کلام

فراتر از ریخت‌شناسی، مدل زبانی اطلاعات نحوی درباره کلمات، از جمله مقوله‌های اجزای کلام آن‌ها را کدگذاری می‌کند. این کدگذاری دوگانه ویژگی‌های ریخت‌شناسی و نحوی، پردازش زبانی پیچیده‌تری را ممکن می‌سازد.

4.1 محدودیت‌های انتخابی

مدل زبانی محدودیت‌های انتخابی نحوی تک‌واژهای اشتقاقی انگلیسی را درک می‌کند، که نشان‌دهنده آگاهی در سطح رابط ریخت‌شناسی-نحو است. با این حال، مدل برخی تعمیم‌های نادرست انجام می‌دهد که نشان‌دهنده محدودیت‌هایی در یادگیری آن است.

4.2 نتایج آزمایشی

آزمایش‌ها نشان می‌دهند که مدل زبانی کاراکترمحور می‌تواند:

1. واحدهای زبانی مرتبه بالاتر (تک‌واژها و کلمات) را شناسایی کند
2. ویژگی‌ها و قواعد زبانی زیربنایی این واحدها را یاد بگیرد
3. فرآیندهای ریخت‌شناسی را به صورت زایا در بافت‌های جدید به کار گیرد
4. هم اطلاعات ریخت‌شناسی و هم اطلاعات نحوی را کدگذاری کند

5. بینش و تحلیل محوری

6. جزئیات فنی

6.1 فرمول‌بندی ریاضی

فرآیند تعبیه کاراکتر را می‌توان به صورت زیر صوری کرد:

$\mathbf{x}_t = \mathbf{E}^\top \mathbf{v}_{c_t}$

که در آن $\mathbf{E} \in \mathbb{R}^{|V| \times d}$ ماتریس تعبیه است، $\mathbf{v}_{c_t}$ بردار one-hot برای کاراکتر $c_t$ است، و $d$ بعد تعبیه است.

معادلات به‌روزرسانی LSTM از فرمول‌بندی استاندارد پیروی می‌کنند:

$\mathbf{f}_t = \sigma(\mathbf{W}_f [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_f)$

$\mathbf{i}_t = \sigma(\mathbf{W}_i [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_i)$

$\tilde{\mathbf{C}}_t = \tanh(\mathbf{W}_C [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_C)$

$\mathbf{C}_t = \mathbf{f}_t \odot \mathbf{C}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{C}}_t$

$\mathbf{o}_t = \sigma(\mathbf{W}_o [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_o)$

$\mathbf{h}_t = \mathbf{o}_t \odot \tanh(\mathbf{C}_t)$

6.2 تنظیمات آزمایشی

مدل از حالت‌های پنهان LSTM ۵۱۲ بعدی و تعبیه‌های کاراکتری آموزش دیده بر روی ۷ میلیون کاراکتر استفاده می‌کند. ارزیابی شامل هر دو معیار کمی (درهم‌ریختگی، دقت) و تحلیل کیفی متن تولیدشده و فعال‌سازی واحدها است.

7. نمونه چارچوب تحلیل

7.1 روش‌شناسی کاوش

این پژوهش از چندین تکنیک کاوش برای بررسی آنچه مدل یاد می‌گیرد استفاده می‌کند:

1. تکالیف تکمیل: تغذیه کلمات جزئی (مثلاً "unhapp") و تحلیل احتمالات تخصیص داده شده به تکمیل‌های ممکن ("-y" در مقابل "-ily")
2. تحلیل مرز: نظارت بر فعال‌سازی واحدهای پنهان خاص اطراف کاراکترهای فاصله و مرزهای تک‌واژ
3. آزمون‌های محدودیت انتخابی: ارائه بن‌واژه‌ها با تک‌واژهای اشتقاقی و ارزیابی قضاوت‌های دستوری بودن

7.2 مطالعه موردی: تحلیل واحد مرز

هنگام پردازش کلمه "unhappiness"، واحد تشخیص مرز اوج فعال‌سازی را در موارد زیر نشان می‌دهد:

• موقعیت ۰ (آغاز کلمه)
• بعد از "un-" (مرز پیشوند)
• بعد از "happy" (مرز بن‌واژه)
• بعد از "-ness" (پایان کلمه)

این الگو نشان می‌دهد که واحد یاد می‌گیرد در هر دو مرز کلمه و تک‌واژ از طریق مواجهه با الگوهای مشابه در داده‌های آموزشی تقسیم‌بندی کند.

8. کاربردها و جهت‌های آتی

8.1 کاربردهای فوری

• زبان‌های کم‌منبع: مدل‌های کاراکترمحور می‌توانند برای زبان‌های دارای ریخت‌شناسی غنی و داده آموزشی محدود، از مدل‌های مبتنی بر کلمه بهتر عمل کنند
• تحلیلگرهای ریخت‌شناسی: تشخیص مرز ظهور یافته می‌تواند سیستم‌های تقسیم‌بندی ریخت‌شناسی بدون نظارت را راه‌اندازی کند
• ابزارهای آموزشی: مدل‌هایی که به طور طبیعی ریخت‌شناسی را یاد می‌گیرند می‌توانند به آموزش ساختار زبان کمک کنند

8.2 جهت‌های پژوهشی

• مطالعات میان‌زبانی: آزمون اینکه آیا یافته‌ها به زبان‌های پیوندی (ترکی) یا همجوشی (روسی) تعمیم می‌یابند
• اثرات مقیاس: بررسی چگونگی تغییر یادگیری ریخت‌شناسی با اندازه مدل و مقدار داده آموزشی
• نوآوری‌های معماری: طراحی مدل‌هایی با اجزای ریخت‌شناسی صریح که از این یافته‌ها الهام گرفته‌اند
• یکپارچگی چندوجهی: ترکیب یادگیری زبانی سطح کاراکتر با ورودی‌های دیداری یا شنیداری

8.3 پیامدهای بلندمدت

این پژوهش نشان می‌دهد که مدل‌های سطح کاراکتر ممکن است رویکردی باورپذیرتر از نظر شناختی برای یادگیری زبان ارائه دهند، که به طور بالقوه منجر به موارد زیر می‌شود:

1. مدل‌های زبانی با کارایی داده‌ای بیشتر
2. مدیریت بهتر کلمات جدید و خلاقیت ریخت‌شناسی
3. قابل تفسیرسازی بهبود یافته از طریق بازنمایی‌های معنادار از نظر زبانی
4. پل‌هایی میان زبانشناسی محاسباتی و روان‌زبانی

9. منابع

1. Kementchedjhieva, Y., & Lopez, A. (2018). Indications that character language models learn English morpho-syntactic units and regularities. arXiv preprint arXiv:1809.00066.
2. Sutskever, I., Martens, J., & Hinton, G. E. (2011). Generating text with recurrent neural networks. Proceedings of the 28th International Conference on Machine Learning.
3. Chung, J., Cho, K., & Bengio, Y. (2016). A character-level decoder without explicit segmentation for neural machine translation. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics.
4. Kim, Y., Jernite, Y., Sontag, D., & Rush, A. M. (2016). Character-aware neural language models. Proceedings of the AAAI Conference on Artificial Intelligence.
5. Vaswani, A., et al. (2017). Attention is all you need. Advances in Neural Information Processing Systems.
6. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. Proceedings of the IEEE International Conference on Computer Vision.
7. Kirov, C., et al. (2018). UniMorph 2.0: Universal Morphology. Proceedings of the Eleventh International Conference on Language Resources and Evaluation.
8. Karpathy, A. (2015). The unreasonable effectiveness of recurrent neural networks. Andrej Karpathy blog.