RNN Dil Modelleri ve Diller Arası Sözdizimsel Önyargı: İngilizce ve İspanyolca İlgi Tümceciği Bağlanımı Karşılaştırması

1. Giriş

Bu makale, Yinelenen Sinir Ağı (RNN) Dil Modelleri tarafından öğrenilen sözdizimsel önyargıları araştırmakta ve özellikle ilgi tümceciği (RC) bağlanım belirsizliği olgusuna odaklanmaktadır. Temel hipotez, RNN'lerin mimari önyargılarının (örneğin, yakınlık önyargısı) tesadüfen İngilizce'deki baskın insan ayrıştırma tercihi (DÜŞÜK bağlanım) ile uyumlu olduğu, ancak İspanyolca'da bulunan zıt tercih (YÜKSEK bağlanım) ile uyumlu olmadığıdır. Bu durum, İngilizce modellerinde, diller arasında genelleştirilemeyen ve eğitim verilerinde gerekli dilsel önyargıların bulunduğu varsayımını sorgulatan, insan benzeri sözdizimsel yetkinlik yanılsaması yaratmaktadır.

2. Metodoloji & Deneysel Tasarım

2.1. İlgi Tümceciği Bağlanımı Belirsizliği

Çalışma, belirsiz RC bağlanımlı cümleler kullanarak modelleri inceler, örneğin: "Andrew dün, boşanmış olan öğretmenin yeğeniyle akşam yemeği yedi." İki yorum mümkündür: daha yüksek isim öbeğine ("yeğen" - YÜKSEK) veya daha düşük isim öbeğine ("öğretmen" - DÜŞÜK) bağlanım. Her ikisi de dilbilgisi açısından geçerli olsa da, İngilizce konuşanlar güvenilir bir DÜŞÜK-bağlanım önyargısı gösterirken, İspanyolca konuşanlar YÜKSEK-bağlanım önyargısı gösterir.

2.2. Model Mimarisi & Eğitim

Standart RNN tabanlı dil modelleri (örn., LSTM'ler veya GRU'lar) büyük İngilizce ve İspanyolca metin derlemleri üzerinde eğitilmiştir. Eğitim hedefi, önceki bağlam verildiğinde bir sonraki kelimenin negatif log-olabilirliğini en aza indirmektir: $L(\theta) = -\sum_{t=1}^{T} \log P(w_t | w_{

2.3. Değerlendirme Metrikleri

Model tercihi, modelin her bir yorum (YÜKSEK vs. DÜŞÜK) altında cümle devamına atadığı koşullu olasılıkları karşılaştırarak nicelleştirilir. Önyargı puanı, log olasılık farkı olarak hesaplanır: $\text{Önyargı} = \log P(\text{DÜŞÜK}) - \log P(\text{YÜKSEK})$.

3. Sonuçlar & Analiz

3.1. İngilizce Model Performansı

İngilizce metin üzerinde eğitilen RNN LM'ler, iyi belgelenmiş insan tercihini yansıtan tutarlı bir şekilde önemli bir DÜŞÜK-bağlanım önyargısı sergilemiştir. Bu, modelin içsel temsillerinin, İngilizce'deki bu olgu için insan sözdizimsel işlemesiyle uyumlu olduğunu göstermektedir.

3.2. İspanyolca Model Performansı

Buna keskin bir tezat oluşturarak, İspanyolca metin üzerinde eğitilen RNN LM'ler, insan benzeri YÜKSEK-bağlanım önyargısını sergilemekte başarısız olmuştur. Bunun yerine, genellikle zayıf hatta tersine dönmüş (DÜŞÜK) bir önyargı göstermişlerdir. Bu, İspanyolca verisinde bulunan tipolojik olarak yaygın sözdizimsel tercihi yakalayamadıklarını göstermektedir.

3.3. Diller Arası Karşılaştırma

İngilizce ve İspanyolca arasındaki model performansı farklılığı, İngilizce'deki görünür başarının veriden soyut sözdizimsel kurallar öğrenmekten değil, RNN'nin doğasında bulunan yakınlık önyargısı (en yakın zamandaki isme bağlanımı tercih etme) ile İngilizce DÜŞÜK-bağlanım tercihi arasındaki örtüşmeden kaynaklandığını güçlü bir şekilde öne sürmektedir. Bu mimari önyargı, İspanyolca için gerekli olan YÜKSEK-bağlanım tercihinin öğrenilmesine karşı çalışmaktadır.

4. Teknik Detaylar & Matematiksel Çerçeve

Dil modelinin çekirdeği, bağlamı verilen $w_t$ kelimesinin sıralı tahminidir. Bir RNN için gizli durum $h_t$ şu şekilde güncellenir: $h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b_h)$, burada $f$ doğrusal olmayan bir aktivasyondur (örn., tanh veya LSTM hücresi). Kelime dağarcığı üzerindeki olasılık dağılımı şudur: $P(w_t | w_{

5. Analiz Çerçevesi: Kod İçermeyen Bir Vaka Çalışması

Vaka: Bir RNN LM'nin "Gazeteci, tartışmalı olan senatörün asistanıyla röportaj yaptı." cümlesindeki RC bağlanımını anlayışını değerlendirmek.

1. Adım 1 - Ayrıştırma Üretimi: Ya YÜKSEK (asistan tartışmalıdır) ya da DÜŞÜK (senatör tartışmalıdır) yorumunu zorlayan, minimal farklılıklara sahip iki cümle devamı oluşturun.
2. Adım 2 - Olasılık Sorgusu: Her tam cümleyi (bağlam + zorlanmış devam) eğitilmiş RNN LM'ye besleyin ve dizi olasılığını $P(\text{cümle})$ çıkarın.
3. Adım 3 - Önyargı Hesaplaması: $\Delta = \log P(\text{DÜŞÜK devam}) - \log P(\text{YÜKSEK devam})$ hesaplayın.
4. Adım 4 - Yorumlama: Pozitif bir $\Delta$, DÜŞÜK önyargısını (İngilizce benzeri); negatif bir $\Delta$, YÜKSEK önyargısını (İspanyolca benzeri) gösterir. Bunu insan psikodilbilimsel verileriyle karşılaştırın.

6. Temel İçgörü & Analist Perspektifi

Temel İçgörü: Bu makale, Doğal Dil İşleme topluluğu için kritik bir gerçeklik kontrolü sunmaktadır. Bir LM'de "sözdizimi öğrenme" gibi görünen şeyin, çoğu zaman bir modelin mimari eksiklikleri (yakınlık önyargısı gibi) ile belirli bir dilin (İngilizce) istatistiksel kalıpları arasındaki şanslı bir tesadüften ibaret olabileceğini göstermektedir. Sonucun İspanyolca'da tekrarlanamaması, bu "öğrenmenin" kırılganlığını ortaya çıkarmaktadır. Linzen ve diğerlerinin (2016) LM'lerde sözdizimsel bilgiyi değerlendirme üzerine yaptığı öncü çalışmada vurgulandığı gibi, dar, dile özgü başarılara dayanarak modellere insan benzeri dilsel yetkinlik atfetmekten kaçınmalıyız.

Mantıksal Akış: Argüman zarif bir şekilde inşa edilmiştir. Bilinen bir insan dilsel karşıtlıkla (EN DÜŞÜK vs. ES YÜKSEK önyargı) başlar, her iki dilde standart modeller eğitir ve bir performans asimetrisi bulur. Yazarlar daha sonra bu asimetriyi, RNN'lerin bilinen, dilsel olmayan bir özelliğiyle (yakınlık önyargısı) mantıksal olarak bağlar ve soyut kural öğrenimi varsayımı gerektirmeyen, tutumlu bir açıklama sunar. Bu akış, eğitim sinyalinin tek başına derin sözdizimi öğrenmek için yeterli bilgi içerdiği varsayımını etkili bir şekilde zayıflatır.

Güçlü Yönler & Eksiklikler: En büyük güç, veriye dayalı öğrenmeyi mimari önyargıdan ayırmak için kontrollü bir deney olarak diller arası varyasyonun akıllıca kullanılmasıdır. Bu güçlü bir metodolojik katkıdır. Ancak, analiz tek bir (önemli olsa da) sözdizimsel olguya odaklanması nedeniyle biraz sınırlıdır. Bu sorunun ne kadar yaygın olduğu sorusunu açık bırakmaktadır—İngilizce LM'lerdeki diğer görünür sözdizimsel yetkinlikler de benzer şekilde yanılsamalı mıdır? Ayrıca, çalışma eski RNN mimarilerini kullanmaktadır; modern Transformer tabanlı modellerle (dikkat gibi farklı tümevarımsal önyargılara sahip) test yapmak, GPT-2'den GPT-3'e kadar görülen evrimde önerildiği gibi, kritik bir sonraki adımdır.

Uygulanabilir İçgörüler: Araştırmacılar ve mühendisler için bu makale, değerlendirme stratejisinde bir değişikliği zorunlu kılmaktadır. İlk olarak, diller arası değerlendirme, bir modelin dilsel yetenekleri hakkındaki herhangi bir iddia için, Anglo-merkezli kıyaslama paketinin ötesine geçerek standart bir stres testi haline gelmelidir. İkinci olarak, mimari önyargıyı gerçek öğrenmeden ayıran daha fazla "sonda"ya ihtiyacımız var, belki de tek bir dilde karşıt veri kümeleri tasarlayarak. Üçüncü olarak, İngilizce dışındaki diller için üretim sistemleri geliştirenler için bu, sert bir uyarıdır: hazır mimariler, hedef dil için yabancı olan sözdizimsel önyargılar gömülü olabilir ve bu da karmaşık ayrıştırma görevlerinde performansı düşürebilir. İleriye giden yol, ya daha dilbilimsel olarak bilgilendirilmiş model mimarileri tasarlamayı ya da basit bir sonraki kelime tahmininin ötesine geçerek, bu istenmeyen tümevarımsal önyargıları açıkça cezalandıran eğitim hedefleri geliştirmeyi içerir.

7. Gelecek Uygulamalar & Araştırma Yönleri

• Çok Dilli & Düşük Kaynaklı NLP: Tipolojik olarak çeşitli diller arasında sağlam olan ve eşit performansı garanti eden değerlendirme çerçeveleri ve model mimarileri geliştirmek.
• Tanısal Kıyaslama: Dağıtımdan önce önceden eğitilmiş modelleri, sahte korelasyonlar ve mimari eserler için denetlemek üzere bir dizi "önyargı tespiti" görevi oluşturmak.
• Dilbilimsel Olarak Bilgilendirilmiş Model Tasarımı: Özellikle daha düşük kaynaklı diller için öğrenmeyi yönlendirmek amacıyla açık, parametreli dilsel önbilgiler (örn., Evrensel Bağımlılıklar'a dayalı) içeren hibrit modelleri keşfetmek.
• Bilişsel Modelleme: Model performansı ile insan verileri arasındaki kopukluğu (İspanyolca'daki gibi) kullanarak, insan dil işleme ve insanların kullandığı "eğitim sinyali"nin doğası hakkında yeni hipotezler üretmek.
• Sağlam Makine Çevirisi: Kaynak dil ayrıştırma önyargılarının hedef diline yanlış aktarılmamasını sağlayarak, yapısal belirsizlikler içeren cümleler için çeviri kalitesini iyileştirmek.

8. Kaynaklar

1. Davis, F., & van Schijndel, M. (2020). Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment. arXiv:2005.00165.
2. Linzen, T., Dupoux, E., & Goldberg, Y. (2016). Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics.
3. Carreiras, M., & Clifton, C. (1999). Another word on parsing relative clauses: Eye-tracking evidence from Spanish and English. Memory & Cognition.
4. Fernández, E. M. (2003). Bilingual sentence processing: Relative clause attachment in English and Spanish. John Benjamins Publishing.
5. Radford, A., et al. (2018). Improving language understanding by generative pre-training. OpenAI Blog.
6. Dyer, C., et al. (2019). How to train your RNN to capture linguistic structure. BlackboxNLP Workshop.