1. Giriş

Çocuklarda dil edinimi, dikkat çekici derecede tutarlı bir sıra izler: fonem kategorizasyonundan sözcük dağarcığı gelişimine ve nihayetinde karmaşık sözdizimsel yapılara hakim olmaya kadar. Bebeklikten yaklaşık altı yaşına kadar gözlemlenen bu gelişimsel seyir, altta yatan hesaplama ilkeleri hakkında temel soruları gündeme getirir. Bu aşamalı öğrenme, insan nörobiyolojisine özgü bir özellik midir, yoksa yapay sistemlerde de ortaya çıkabilir mi? Bu çalışma, 54 çocuğun (18 ay - 6 yaş) öğrenme seyirlerini sıfırdan eğitilmiş 48 GPT-2 modelinin seyirleriyle karşılaştırarak bu soruyu doğrudan ele alıyor. Temel hipotez, eğer her ikisinde de benzer aşamalar ortaya çıkarsa, bunun ortak, veri odaklı öğrenme kısıtlamalarına işaret edebileceğidir.

2. Metodoloji

Araştırma, hem insan hem de yapay öğrenenleri gelişimlerinin birden fazla aşamasında inceleyen karşılaştırmalı bir çerçeve kullanmaktadır.

2.1 Deneysel Kurulum

Çocuklar: 54 çocukta dilsel üretim analiz edildi. Friedmann ve diğerleri (2021) tarafından oluşturulan metodolojiler takip edilerek, kendiliğinden konuşmaları ve farklı sözdizimsel karmaşıklıktaki cümleleri tekrarlama yetenekleri değerlendirildi.

GPT-2 Modelleri: GPT-2 modelinin (124M parametre varyantı) 48 örneği, standart dil modelleme hedefleri (örn., WebText) üzerinde rastgele başlatmadan eğitildi. İç durumları, eğitim boyunca düzenli aralıklarla incelendi.

2.2 Veri Toplama & Sondalar

Yerleşik kıyaslamalardan 96 tanısal sonda seçkisi oluşturuldu:

  • BLiMP: 67 sözdizimsel olgu üzerinden dilbilgisi bilgisini değerlendirmek için.
  • Zorro: Anlamsal ve sağduyusal muhakemeyi incelemek için.
  • BIG-Bench: Daha geniş dilsel ve bilişsel yetenekleri değerlendirmek için.

Bu sondalar, GPT-2 modellerine her eğitim kontrol noktasında uygulandı ve çocukların üretim görevlerine benzer ölçütler olarak hizmet etti.

3. Sonuçlar & Analiz

3.1 Öğrenme Seyri Karşılaştırması

Analiz, GPT-2 modellerinin de tıpkı çocuklar gibi dil becerilerini sistematik bir sırayla edindiğini ortaya koydu. Daha basit görevler (örn., temel dilbilgisi uyumu) eğitimde daha erken kazanılırken, daha karmaşık görevler (örn., ilgi tümcecikleri gibi iç içe geçmiş sözdizimsel yapılar) önemli ölçüde daha fazla eğitim adımı (gelişimsel zamana benzer) gerektiriyor.

3.2 Paralel Öğrenme Şeması

Anahtar bir bulgu, öğrenmenin paralel doğasıdır. Eğitimin sonlarına doğru tamamen kazanılan görevler bile ilk adımlardan itibaren ölçülebilir bir gelişme gösterir. Bu, modelin katı, izole bir sırayla beceriler öğrenmekten ziyade, sürekli olarak iyileştirilen temel temsiller inşa ettiğini düşündürmektedir.

3.3 Ortak vs. Farklı Aşamalar

Çalışma hem örtüşmeleri hem de kritik farklılıkları belirlemektedir:

  • Ortak: Basitten karmaşığa doğru sözdizimsel formların geniş ilerleyişi.
  • Farklı: Bazı alt becerilerin özel sıralaması farklılık gösterdi. Örneğin, modeller belirli biçimsel sözdizimsel kuralları, eğitim verisi dağılımının insan algısal ve sosyal deneyiminden farklı olmasından dolayı, çocuklardan farklı bir sırayla edinebilir.

Bu, veri odaklı baskının aşamalandırma yaratırken, aşama sırasının ayrıntılarının öğrenenin mimarisi ve girdisi tarafından düzenlendiğini vurgulamaktadır.

Anahtar Deneysel Metrikler

Eğitilen Modeller: 48 GPT-2 örneği

Tanısal Sondalar: BLiMP, Zorro, BIG-Bench'ten 96 görev

Çocuk Katılımcılar: 54 (18 ay - 6 yaş)

Temel Bulgu: Çocuklar ve modeller arasında öğrenme aşaması sırasında anlamlı bir korelasyon, ancak özdeş değil.

4. Teknik Çerçeve

4.1 Matematiksel Formülasyon

GPT-2 için temel öğrenme hedefi, maksimum olabilirlik tahmini yoluyla bir sonraki belirteci tahmin etmektir. $x_1, x_2, ..., x_t$ belirteç dizisi verildiğinde, $ heta$ ile parametrelendirilen model, negatif log-olabilirliği en aza indirmek üzere eğitilir:

$L(\theta) = -\sum_{t} \log P(x_t | x_{

Belirli bir dilsel sonda $p$ için eğitim adımı $\tau$'daki sonda doğruluğu $A_p(\theta, \tau)$, ortaya çıkan yeteneği ölçer. Öğrenme seyri, $\tau \rightarrow \{A_{p_1}(\theta, \tau), A_{p_2}(\theta, \tau), ...\}$ fonksiyonudur. Çalışmanın analizi, farklı sondaların $p$'nin bir performans eşiğini (örn., %80 doğruluk) modeller için $\tau$ boyunca ve çocuklar için yaş boyunca geçme sırasını karşılaştırır.

4.2 Analiz Çerçevesi Örneği

Vaka: İlgi Tümceciği Edinimini İzleme

Sonda Görevi: Dilbilgisel ("Gördüğüm çocuk şarkı söyledi") ve dilbilgisel olmayan ("Gördüğüm çocuk şarkı söylemek") cümleleri ayırt etmek.

Analiz Adımları:

  1. Veri Çıkarımı: Her model kontrol noktası $\tau$ için, dengeli bir 100 ilgi tümceciği sonda seti üzerinde doğruluk hesaplayın.
  2. Eşikleme: Edinim adımı $\tau_{acquire}$'yi, doğruluğun > %80 olduğu ve sonraki kontrollerde de üzerinde kaldığı ilk kontrol noktası olarak tanımlayın.
  3. Korelasyon: İlgi tümceciği sondasının $\tau_{acquire}$ sıra sırasını diğer sözdizimsel sondalarla (örn., özne-fiil uyumu, soru oluşturma) karşılaştırın.
  4. İnsan Hizalaması: $\tau_{acquire}$'yi, çocukların bu yapıya üretimde hakim olduğu tipik yaş aralığına (örn., ~42 ay) eşleyin.

Bu çerçeve, temelde farklı öğrenme sistemleri arasında gelişimsel programların nicel bir karşılaştırmasına olanak tanır.

5. Sonuçların Görselleştirilmesi

Kavramsal Grafik: Öğrenme Seyri Karşılaştırması

Sonuçlar çift eksenli bir grafikte görselleştirilebilir:

  • X-Ekseni (Zaman): Çocuklar için bu Yaş (ay). GPT-2 için bu Eğitim Adımları (log ölçek).
  • Y-Ekseni: Normalleştirilmiş ölçekte Performans Doğruluğu (%).
  • Çoklu Çizgiler: Her çizgi farklı bir dil becerisini temsil eder (örn., Fonem Ayrımı, Temel Ö-F-N, Soru Oluşturma, İç İçe Sözdizim).

Grafik, her beceri için her iki seyrin de S şeklinde bir öğrenme eğrisi sergilediğini, ancak çizgilerin sıralamasının (hangi becerinin önce yükseldiğinin) benzer ancak mükemmel şekilde özdeş olmadığını gösterecektir. İkinci bir anahtar görselleştirme, model topluluğu için tüm 96 sonda üzerinden edinim sırasının korelasyon matrisini, çocuklardaki gözlemlenen sıraya karşı gösteren, yüksek ve düşük korelasyon kümelerini vurgulayan bir ısı haritası olacaktır.

6. Temel İçgörü & Analist Perspektifi

Temel İçgörü: Bu makale, kritik ve nüanslı bir bulgu sunuyor: dil öğreniminin aşamalandırılması insana özgü bir gizem değil, kısıtlamalar altında artımlı, veri odaklı optimizasyonun ortaya çıkan bir özelliğidir. Ancak, bu aşamaların şablonu öğrenenin doğuştan gelen mimarisi tarafından birlikte yazılır. GPT-2 ve çocuklar, veri bu müfredatı içerdiği için "basitten karmaşığa" bir müfredatta birleşirler. Ayrıntılarda ayrışırlar çünkü bir transformer'ın "tümevarımsal önyargıları" (Vaswani ve diğerleri, 2017) bir insan çocuğunun bilişsel ve algısal ön kabullerinden farklıdır.

Mantıksal Akış: Argüman zarif bir şekilde inşa edilmiştir. İyi yerleşmiş bir ampirik gerçekle (çocuklarda sıralı aşamalar) başlar, hesaplamalı bir soru sorar (bu sıra YZ'de ortaya çıkar mı?) ve bunu test etmek için sağlam, çoklu sonda metodolojisini kullanır. "Sıra var"ı göstermekten, onun "paralel doğasını" analiz etmeye ve nihayetinde "ortak/farklı" unsurları incelemeye geçiş mantıksal olarak güçlüdür. Bu, CycleGAN makalesi (Zhu ve diğerleri, 2017) gibi temel çalışmalardaki analitik ilerlemeyi yansıtır; bu çalışma sadece yeni bir model sunmakla kalmamış, aynı zamanda eşleştirilmemiş görüntü çevirisi problemini döngüsel tutarlılık kısıtlamalarına sistematik olarak ayırmıştır.

Güçlü Yönler & Zayıflıklar: Çalışmanın gücü, metodolojik titizliği ve doğrudan karşılaştırılabilirliğidir. Birden fazla model örneği ve geniş bir sonda seti kullanmak gürültüyü azaltır. Örtük olarak kabul edilen ana zayıflık, ölçümdeki asimetridir: çocuklarda üretim vs. modellerde iç sonda doğruluğu. Bir modelin bir sondada bir sözdizimsel kuralı "biliyor" olması, bir çocuğun onu kendiliğinden konuşmada "kullanmasına" eşit midir? Tam olarak değil. Bu, modellerin kısayollar öğrendiği ImageNet gibi kıyaslamaların eleştirilerine benzer (Geirhos ve diğerleri, 2020). Sonda paketi geniş olsa da, insan dil ediniminin bütünleşik, iletişimsel özünü yakalayamayabilir.

Uygulanabilir İçgörüler: YZ araştırmacıları için bu, müfredat öğrenimi ve model tanılaması için bir altın madenidir. Modellerin insanlar gibi öğrenmesini istiyorsak, insan gelişimsel programını daha iyi yansıtan eğitim verisi sıraları veya kayıp fonksiyonları tasarlamamız gerekir. Bilişsel bilimciler için bu çalışma, yeni, manipüle edilebilir bir test ortamı sağlar: modelin mimarisini değiştirin (örn., LSTM'lerde olduğu gibi tekrarlayan bağlantılar ekleyin) veya eğitim verisini değiştirin (örn., çok modlu girdi ekleyin) ve gelişimsel seyrin nasıl değiştiğini görün. Bu, belirli insan önyargılarının katkısını izole etmeye yardımcı olabilir. Nihai içgörü, daha iyi YZ inşa etmenin ve insan bilişini anlamanın artık tek, iç içe geçmiş bir çaba olduğudur.

7. Gelecek Uygulamalar & Yönelimler

  • YZ için Gelişimsel Kıyaslamalar: Büyük Dil Modelleri için standartlaştırılmış "gelişimsel dönüm noktaları" kıyaslamaları oluşturun, statik değerlendirmeden dinamik seyir analizine geçin.
  • Bilgilendirilmiş Müfredat Tasarımı: Çocuk gelişiminden elde edilen içgörüleri, daha verimli ve sağlam model eğitimi için eğitim verisi sırasını yapılandırmak üzere kullanın, potansiyel olarak veri ve hesaplama gereksinimlerini azaltın.
  • Mimari Yenilik: Varsayılan insan bilişsel önyargılarını (örn., nesne devamlılığı, sosyal ödül sinyalleri) içeren yeni sinir ağı mimarileri tasarlayarak bunların daha insan benzeri öğrenme seyrine yol açıp açmadığını görün.
  • Klinik Araçlar: Atipik öğrenme seyirleri izleyen (gelişimsel dil bozukluklarını simüle eden) YZ modelleri geliştirerek hipotezler üretin ve müdahaleleri bilgisayar ortamında test edin.
  • Çok Modlu Entegrasyon: Bu araştırmayı çok modlu modellere (görüntü, ses, metin) genişletin. Bebek öğrenimini yansıtacak şekilde, çapraz mod entegrasyonunun (örn., görsel bağlamdan kelime anlamları öğrenme) saf dilsel aşamalardan önce mi yoksa sonra mı geldiği aşamalar ortaya çıkıyor mu?

8. Kaynaklar

  1. Evanson, L., Lakretz, Y., & King, J. (2023). Dil edinimi: çocuklar ve dil modelleri benzer öğrenme aşamalarını mı izler? arXiv preprint arXiv:2306.03586.
  2. Friedmann, N., Reznick, J., & et al. (2021). Sözdizimsel yapıların edinim sırası: İbranice konuşan çocuklar üzerine bir çalışma. Dil Edinimi.
  3. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Dikkat her şeydir. Sinirsel bilgi işleme sistemlerindeki gelişmeler, 30.
  4. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Döngü tutarlı rakip ağlar kullanarak eşleştirilmemiş görüntüden görüntüye çeviri. IEEE uluslararası bilgisayarlı görü konferansı bildirileri (s. 2223-2232).
  5. Geirhos, R., Jacobsen, J. H., Michaelis, C., Zemel, R., Brendel, W., Bethge, M., & Wichmann, F. A. (2020). Derin sinir ağlarında kısayol öğrenme. Nature Makine Zekası, 2(11), 665-673.
  6. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Dil modelleri denetimsiz çok görevli öğrenenlerdir. OpenAI blog, 1(8), 9.
  7. Bowman, S. R., & Dahl, G. E. (2021). Doğal dil anlamada kıyaslamayı düzeltmek ne gerektirecek? Kuzey Amerika Bölümü Derneği 2021 Konferansı Bildirileri Hesaplamalı Dilbilim: İnsan Dili Teknolojileri.