Sinirsel Dil Modellerinin Dil Edinimi Bilişsel Modelleri Olarak Değerlendirilmesi

1 Giriş

Bu makale, sinirsel dil modellerinin (LM'ler) insan dil edinimi teorilerinin vekilleri olarak kullanılmasındaki artan eğilimi eleştirel bir şekilde inceliyor. LM'ler çeşitli Doğal Dil İşleme (NLP) görevlerinde dikkate değer başarılar elde etmiş olsa da, eğitim verilerinin ölçeği ve doğası açısından çocuk dil öğrenimiyle olan temel farklılıklar nedeniyle bilişsel modeller olarak ilgileri sorgulanıyor.

Yazarlar, popüler sözdizimsel değerlendirme kıyaslamalarının (örn. BLiMP, SyntaxGym), LM'lerin dili insan benzeri bir şekilde edinip edinmediğini değerlendirmek için gerekli olan yapısal çeşitlilik ve psikolojik geçerlilikten yoksun olabileceğini savunuyor. Ana dil konuşurlarından gelen dereceli kabul edilebilirlik yargılarını içeren LI-Adger veri kümesi gibi daha titiz, dilbilimsel olarak küratörlük yapılmış veri kümelerinin kullanılmasını öneriyorlar.

1.1 Dil Edinimi İçin Çıkarımlar?

Bu bölüm, çarpıcı veri farklılığını vurguluyor: BERT gibi modeller milyarlarca token üzerinde eğitilirken, bir çocuk yılda sadece yaklaşık 10 milyon kelime alır. Son çalışmalar, modelleri daha insan benzeri bir ölçekte (örn. 5M token) çocuklara yönelik konuşma (CDS) üzerinde eğiterek bu boşluğu kapatmaya çalışıyor. Temel soru, bu şekilde "budanmış" girdi üzerinde eğitilen modellerin davranışsal kıyaslamalarda hala iyi performans gösterip gösteremeyeceği ve dolayısıyla geçerli bilişsel modeller olarak hizmet edip edemeyeceğidir.

2 Temel İçgörü: Kıyaslama Serabı

Makalenin temel tezi, NLP topluluğunun rehavetine doğrudan bir meydan okumadır. BLiMP gibi şablonlanmış, sentetik kıyaslamalardaki etkileyici performans, dilbilgisel yeterlilik illüzyonu yaratır. Yazarlar bunu yöntemsel bir yapaylık olarak ortaya koyuyor. LM'ler, belirli sözdizimsel ilkeleri araştırmak için teorik dilbilimciler tarafından tasarlanmış, dikkatlice oluşturulmuş minimal çiftler seti olan LI-Adger veri kümesi üzerinde test edildiğinde, değerlendirmeleri insan yargılarından önemli ölçüde sapıyor. Bu sadece bir performans boşluğu değil; temsili bir uyumsuzluğun kanıtıdır. LM'ler, basit sözdizimsel şablonlarla tesadüfen örtüşen yüzeysel istatistiksel kalıpları öğreniyor olabilir, insan dilbilgisinin temelini oluşturan soyut, hiyerarşik yapıları değil.

3 Mantıksal Akış: Veri Farklılığından Yöntemsel Eleştiriye

Argüman cerrahi bir hassasiyetle ilerliyor. İlk olarak, LM eğitimi ve çocuk edinimi arasındaki inkâr edilemez veri-ölçeği uçurumunu tespit ederek, "küçük ölçekli eğitim" araştırmasını gerekli ancak yetersiz bir düzeltme olarak çerçeveliyor. İkinci olarak, bu dengelenmiş zeminde (küçük veri) bile, LM'lerin daha basit temel modellerle eşleştirilebileceğini göstererek, onların eklenen bilişsel değerini sorguluyor. Mantıksal dönüm noktası, kıyaslama tasarımına yönelik eleştiridir: şablonlanmış görevler, gerçek dilsel sorgulamanın "yapısal çeşitliliğinden" yoksundur. Son, ağır kanıt ise LI-Adger testinden geliyor; burada LM performansı, insan dilsel sezgisiyle açıkça çelişiyor. Akış şu şekildedir: problem ifadesi (veri uyumsuzluğu) -> denenmiş çözüm (küçük ölçekli eğitim) -> daha derin problemin ortaya çıkarılması (kusurlu değerlendirme) -> kesin karşıt kanıt.

4 Güçlü ve Zayıf Yönler: Eleştirel Bir İnceleme

Güçlü Yönler: Makalenin en büyük gücü, yöntemsel titizliği ve disiplinler arası temelidir. Sadece eleştirmiyor; daha üstün bir alternatif (LI-Adger) sunuyor. Değerlendirmeyi temel teorik dilbilim ve psikodilbilimle ilişkilendirerek, "insan benzeri" bilginin kanıtı olarak neyin sayılacağı konusunda çıtayı yükseltiyor. Veri ölçeğine odaklanma da öngörülüdür ve verimli ML'deki daha geniş eğilimlerle uyumludur.

Zayıf Yönler ve Eksiklikler: Analiz keskin olsa da, başarısızlığı potansiyel olarak abartıyor olabilir. LI-Adger'daki sapma, LM öğrenimi ve edinimi arasındaki tüm paralellikleri geçersiz kılar mı? Belki de hayır. Makale, LM'lerin neyi doğru anladığı ve nedenini daha fazla ele alabilirdi. Ayrıca, ağırlıklı olarak sözdizimsel bilgiye dayanıyor; daha eksiksiz bir bilişsel model, anlamsal, edimsel ve sosyal öğrenme yönlerini de hesaba katmalıdır. "Daha gerçekçi veri" çağrısı geçerli ancak yetersiz tanımlanmıştır—çocuklara yönelik girdinin çok modlu, etkileşimli ve hatalarla dolu doğasını nasıl modelleyeceğiz?

5 Uygulanabilir İçgörüler: İleriye Giden Bir Yol

Araştırmacılar için talimat açıktır: kolay kıyaslamaların rahatlığından vazgeçin. Teorik dilbilimden (LI-Adger paradigması gibi) ve gelişim psikolojisinden kaynakları değerlendirme paketlerine entegre edin. İnsan dil öğreniminin belirleyici özelliklerini test eden "bilişsel kıyaslamaların" oluşturulmasına öncelik verin: seyrek veriden genelleme, gürültüye karşı dayanıklılık ve soyut dilbilgisi ilkelerine bağlılık. Model geliştiriciler için, hedef, kıyaslama puanlarını maksimize etmekten, verimli ve insan benzeri girdiden öğrenebilen mimariler ve eğitim rejimleri tasarlamaya kaymalıdır (örn., gelişimden esinlenen müfredat öğrenimi veya aktif öğrenme mekanizmalarını dahil etmek). Nihai içgörü: gerçek bir bilişsel model inşa etmek, performanslı bir NLP sistemi inşa etmekten farklı—ve daha zor—bir problemdir.

6 Özgün Analiz: Dil Modellemedeki Bilişsel Uçurum

Vázquez Martínez ve arkadaşlarının bu makalesi, sıklıkla ölçekten büyülenen bir çağda gerekli ve ayıltıcı bir eleştiri sunuyor. Temel bir gerilimi doğru bir şekilde tespit ediyor: modern LM'ler, özellikle büyük dil modelleri (LLM'ler), etkileyici yüzeysel dilsel yeterlilik sergilerken, bu yeterliliğe giden yolları bir çocuğunkinden astronomik olarak farklıdır. Yazarların kıyaslama yetersizliğine odaklanması özellikle zekicedir. Bu, kıyaslama performansının sağlam, genellenebilir zekaya dönüşemediği diğer AI alanlarındaki endişeleri yankılamaktadır. Örneğin, bilgisayarlı görüde, ImageNet'te mükemmel performans gösteren modeller, basit düşmanca bozulmalarla kandırılabilir, bu da gerçek bir görsel anlayış eksikliğini ortaya koyar—MIT ve Google Brain gibi kurumlardaki araştırmalarda ayrıntılı olarak açıklanan bir fenomen. Benzer şekilde, makale, LM'lerin BLiMP'teki başarısının, altta yatan sözdizimsel kuralı öğrenmek yerine, kıyaslama yapısındaki istatistiksel düzenliliklerden yararlanan benzer bir "Clever Hans" etkisi olabileceğini gösteriyor.

LI-Adger veri kümesinin savunuculuğu, makalenin en önemli katkısıdır. Değerlendirmeyi minimal çiftlere ve dereceli kabul edilebilirlik yargılarına—teorik sözdizimindeki altın standart—dayandırarak, modelleri sadece olasılık değil, dilbilgiselliğe ilişkin bilgi göstermeye zorlar. LM'lerin burada başarısız olduğu bulgusu anlamlıdır. Bu, geniş metin derlemlerinden öğrenilen olasılık dağılımlarının ($P(w_n | w_{1:n-1})$), insan dilbilgisi bilgisini karakterize eden kategorik veya dereceli yargılara yakınsamak zorunda olmadığını gösterir. Bu, Noam Chomsky gibi dilbilimcilerin, yüzeysel formlardan istatistiksel öğrenmenin, uyaran yoksulluğunu ve sözdizimsel kuralların soyut doğasını açıklamak için yetersiz olduğu yönündeki uzun süredir devam eden iddialarıyla uyumludur.

Ancak, makalenin vardığı sonuç, LM'lerin bilişsel bilim için ilgisiz olduğu olmamalıdır. Bunun yerine, meydan okumayı yeniden çerçeveliyor. Gelecek, "bilişsel mimari-bilgili" modellemede yatıyor. Bu, bazı nöro-sembolik yaklaşımlarda görüldüğü gibi, dilbilim teorisinden esinlenen tümevarımsal önyargıları (örn., hiyerarşik yapıya yatkınlık) dahil etmeyi veya bir sonraki kelime tahmininin ötesine geçen eğitim hedefleri tasarlamayı içerebilir. Brenden Lake ve Marco Baroni gibi araştırmacıların az-örnekli öğrenme ve bileşimsellik üzerine çalışmaları bu yöne işaret ediyor. İleriye giden yol, LM'leri atmak değil, onları doğru bilişsel kıyaslamalara karşı titizlikle test etmek ve başarısızlıklara dayanarak yinelemeli olarak yeniden tasarlamaktır, tıpkı diğer bilimlerdeki teori ve deney döngüsü gibi.

7 Teknik Detaylar ve Matematiksel Çerçeve

Tartışılan temel değerlendirme yöntemi, bir dil modelinin çıktı olasılıklarını, insan kabul edilebilirlik yargılarını tahmin etmek için kullanmaktır. Bir cümle $S = w_1, w_2, ..., w_n$ için, standart bir otoregresif LM bir olasılık atar: $$P_{LM}(S) = \prod_{i=1}^{n} P(w_i | w_1, ..., w_{i-1}; \theta)$$ burada $\theta$ model parametreleridir. Şaşkınlık veya negatif log-olabilirlik genellikle (kabul)edilemezlik için bir vekil olarak kullanılır: $$\text{Şaşkınlık}(S) = -\frac{1}{n} \sum_{i=1}^{n} \log P(w_i | w_1, ..., w_{i-1}; \theta)$$ Hipotez, daha yüksek olasılığın (daha düşük şaşkınlık) daha yüksek insan kabul edilebilirlik dereceleriyle ilişkili olması gerektiğidir. Makalenin kritik bulgusu, bu korelasyonun LI-Adger veri kümesinde bozulduğu, yani LM'nin olasılık temelli "dilbilgisellik" metriği ile insan yargısı arasında bir kopukluk olduğunu göstermesidir.

Makale ayrıca çocuklara yönelik konuşma üzerinde eğitilmiş modellere atıfta bulunuyor. Buradaki temel teknik zorluk, standart LM derlemelerine ($>10^9$ token) kıyasla çok küçük veri kümelerinden ($\approx 5\times10^6$ token) öğrenmektir. Bu, aşırı uyumu önlemek ve seyrek veriden genellenebilir kalıplar çıkarmak için verimli mimariler ve eğitim teknikleri gerektirir.

8 Deneysel Sonuçlar ve Grafik Analizi

Makale, Şekil 1'de (PDF içeriğinde açıklandığı gibi) kilit bir sonuç sunuyor. Grafik, farklı LM'lerin (BabyBERTa, AO-CHILDES, AO-NEWSELA, Wikipedia-1) LI-Adger veri kümesindeki performansını, insan performansının bir temel çizgisiyle karşılaştırıyor.

9 Analiz Çerçevesi: LI-Adger Vaka Çalışması

Çerçeve: LM'leri Minimal Çift Kabul Edilebilirliği Üzerinden Bilişsel Modeller Olarak Değerlendirme.

Amaç: Bir LM'nin dahili olasılık dağılımının, yapısal olarak karşıt cümleler için insan dilbilgisi sezgisiyle örtüşüp örtüşmediğini belirlemek.

Prosedür:

1. Uyaran Seçimi: LI-Adger gibi, belirli bir sözdizimsel ilkeye (örn., "that-trace" filtresi) dayalı olarak bir varyantın dilbilgisel, diğerinin daha az kabul edilebilir veya dilbilgisi dışı olduğu minimal çiftlerden (örn., "Who do you think that John saw?" vs. "Who do you think John saw?") oluşan bir veri kümesi kullanın.
2. Model Sorgulama: Minimal bir çiftteki her cümle $S$ için, modelin ortalama token şaşkınlığını hesaplayın: $\text{Şaşkınlık}(S) = -\frac{1}{|S|} \sum \log P(w_i | context)$.
3. Tahmin Üretimi: Model, daha düşük şaşkınlığa sahip cümleyi "tercih eder". Minimal bir çift (A, B) için, eğer $\text{Şaşkınlık}(A) < \text{Şaşkınlık}(B)$ ise, model A'nın daha kabul edilebilir olduğunu tahmin eder.
4. İnsan Verisiyle Karşılaştırma: Modelin tercih kalıbını yüzlerce bu tür minimal çift üzerinden, insan katılımcılardan gelen toplanmış kabul edilebilirlik yargılarıyla karşılaştırın. Model şaşkınlığı ile insan derecelendirme puanları arasında bir korelasyon katsayısı (örn., Spearman'ın $\rho$) hesaplayın.
5. Yorumlama: Yüksek, anlamlı bir pozitif korelasyon, LM'nin bilgisinin insan sözdizimsel yargısıyla örtüştüğünü gösterir. Düşük veya anlamlı olmayan bir korelasyon (makalede bulunduğu gibi) bir sapmayı gösterir.

Kod Olmayan Örnek: Dikkat dağıtıcı bir yan cümle boyunca özne-fiil uyumu bilgisini test etmeyi düşünün: "The key to the cabinets *are/*is on the table." İnsanlar "is"i güçlü bir şekilde doğru olarak derecelendirir. Soyut uyum kuralını (özne 'key' -> fiil 'is') öğrenmiş bir LM, doğru cümleye daha yüksek olasılık atamalıdır. Yerel n-gram istatistiklerine dayanan bir LM, "cabinets"in yakınlığıyla yanıltılabilir ve "are"ı tercih edebilir. Yukarıdaki çerçeveyi birçok bu tür çifte uygulamak, LM'nin edindiği bilginin doğasını ortaya çıkarır.

10 Gelecekteki Uygulamalar ve Araştırma Yönleri

1. "Bilişsel Kıyaslamaların" Geliştirilmesi: Büyük bir yön, sözdiziminin ötesine geçerek anlambilim, edimbilim ve dil edinimi kilometre taşlarını (örn., kelime dağarcığı patlaması, aşırı genelleme hataları) içeren standartlaştırılmış, çok yönlü değerlendirme paketlerinin oluşturulmasıdır. Bu kıyaslamalar, hesaplamalı dilbilimciler, gelişim psikologları ve bilişsel bilimciler tarafından birlikte tasarlanmalıdır.

2. Dilbilimsel Tümevarımsal Önyargılara Sahip Mimariler: Gelecekteki modeller açık yapısal öncelikler içerebilir. Örneğin, doğası gereği hiyerarşik temsiller oluşturan veya üretim sırasında sözdizimsel kısıtlamalar uygulayan mimariler, dilbilimdeki ilkeler-ve-parametreler çerçevesine daha da yaklaşabilir.

3. Etkileşimli ve Çok Modlu Eğitim: Çocuk öğrenimini daha iyi simüle etmek için, modeller statik metin yerine, somutlaşmış AI araştırmalarında keşfedildiği gibi, temellendirilmiş bir ortamda etkileşimli, çok modlu veri akışları (görüntü + konuşma + metin) üzerinde eğitilebilir.

4. Verimli ve Müfredat Öğrenimi: Çocuklara yönelik konuşmadaki karmaşıklık ilerleyişini yansıtan müfredat öğrenimi stratejileri uygulayarak, muhtemelen kat kat daha az veriyle başarılı olan eğitim algoritmaları geliştirmek.

5. Nörodilbilime Köprü Kurma: LM'lerin dahili temsillerini ve işleme dinamiklerini, dil görevleri sırasında insanlardan alınan sinirsel verilerle (örn., fMRI, EEG) karşılaştırmak, MIT'nin McGovern Enstitüsü'ndeki araştırmacıların çalışmalarında öncülük edildiği gibi, bilişsel modeller için yeni bir doğrulama seviyesi sağlayabilir.

11 Kaynaklar

• Linzen, T., & Baroni, M. (2021). Syntactic structure from deep learning. Annual Review of Linguistics.
• Warstadt, A., et al. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs. Proceedings of ACL.
• Huebner, P. A., et al. (2021). BabyBERTa: Learning More Grammar With Small-Scale Child-Directed Language. Proceedings of CoNLL.
• Chomsky, N. (1965). Aspects of the Theory of Syntax. MIT Press.
• Lake, B. M., & Baroni, M. (2023). Human-like systematic generalization through a meta-learning neural network. Nature.
• Hewitt, J., & Manning, C. D. (2019). A Structural Probe for Finding Syntax in Word Representations. Proceedings of NAACL.
• Warstadt, A., & Bowman, S. R. (2022). What Artificial Neural Networks Can Tell Us About Human Language Acquisition. Algebraic Structures in Natural Language.
• Fenson, L., et al. (1994). Variability in early communicative development. Monographs of the Society for Research in Child Development.