SLABERT: BERT ile İkinci Dil Edinimi Modellemesi

İçindekiler

1. Giriş

Bu araştırma, ikinci dil ediniminde (SLA) negatif aktarım konusunda Doğal Dil İşleme literatüründeki kritik boşluğu ele almaktadır. Diller arası aktarım insan SLA araştırmalarında kapsamlı bir şekilde incelenmiş olsa da, çoğu Doğal Dil İşleme yaklaşımı öncelikle pozitif aktarım etkilerine odaklanmış, bir anadilin (L1) dilsel yapılarının yabancı bir dilin (L2) edinimine müdahale ettiği durumlarda ortaya çıkan negatif aktarımın önemli etkisini göz ardı etmiştir.

Çalışma, Çocuk Yönelimli Konuşma (CDS) verilerini kullanarak sıralı ikinci dil edinimini modelleyen yeni bir çerçeve olan SLABERT'ı (İkinci Dil Edinimi BERT) tanıtmaktadır. Bu yaklaşım, insan dil öğrenme süreçlerinin ekolojik olarak geçerli bir simülasyonunu sağlayarak araştırmacıların L1'in L2 edinimi üzerindeki hem kolaylaştırıcı hem de engelleyici etkilerini incelemelerine olanak tanır.

2. Metodoloji

2.1 SLABERT Çerçevesi

SLABERT çerçevesi, modellerin önce L1 (anadil) verileri üzerinde eğitildiği ve ardından L2 (İngilizce) verileri üzerinde ince ayar yapıldığı sıralı dil öğrenimini uygular. Bu sıralı yaklaşım, insanın ikinci dil edinim süreçlerini yansıtarak araştırmacıların L1'den gelen dilsel bilginin L2 öğrenimini etkilediği aktarım etkilerini gözlemlemelerine olanak tanır.

2.2 MAO-CHILDES Veri Kümesi

Araştırmacılar, tipolojik olarak farklı beş dilden (Almanca, Fransızca, Lehçe, Endonezce ve Japonca) oluşan Çok Dilli Yaş Sıralı CHILDES (MAO-CHILDES) veri kümesini oluşturmuşlardır. Bu veri kümesi, doğal Çocuk Yönelimli Konuşma'dan oluşarak gerçek dil edinim ortamlarını yansıtan ekolojik olarak geçerli eğitim verileri sağlamaktadır.

2.3 TILT Tabanlı Aktarımlı Öğrenme

Çalışma, Papadimitriou ve Jurafsky (2020) tarafından oluşturulan Dil Modeli Aktarımı Yoluyla Tümevarımsal Önyargı Testi (TILT) yaklaşımını kullanmaktadır. Bu metodoloji, farklı eğitim verisi türlerinin diller arası aktarımı kolaylaştıran veya engelleyen yapısal özellikleri nasıl tetiklediğinin sistematik olarak incelenmesini sağlar.

3. Deneysel Sonuçlar

3.1 Dil Ailesi Mesafe Etkileri

Deneyler, dil ailesi mesafesinin negatif aktarımı önemli ölçüde tahmin ettiğini göstermektedir. İngilizce'yle daha uzak akraba olan diller (Japonca ve Endonezce gibi) daha fazla müdahale etkisi gösterirken, daha yakın akrabalar (Almanca ve Fransızca) daha fazla pozitif aktarım sergilemiştir. Bu bulgu, insan SLA araştırmalarıyla uyumlu olup SLABERT yaklaşımının ekolojik geçerliliğini doğrulamaktadır.

3.2 Konuşma Diline Karşı Senaryolu Konuşma

Önemli bir bulgu, konuşma dili verilerinin, senaryolu konuşma verilerine kıyasla dil edinimi için daha fazla kolaylaştırma sağladığını ortaya koymaktadır. Bu, doğal, etkileşimli dil girdisinin diller arasında daha aktarılabilir yapısal özellikler içerdiğini, muhtemelen evrensel konuşma kalıplarının ve onarım mekanizmalarının varlığından kaynaklandığını göstermektedir.

4. Teknik Analiz

4.1 Matematiksel Çerçeve

L1 ve L2 arasındaki aktarım etkisi aşağıdaki formülasyon kullanılarak ölçülebilir:

$T_{L1 \rightarrow L2}$, L1 ön eğitiminden sonra L2 görevlerindeki performans iyileşmesi olarak ölçülen L1'den L2'ye aktarım etkisini temsil etsin. Aktarım verimliliği şu şekilde ifade edilebilir:

$\eta_{transfer} = \frac{P_{L2|L1} - P_{L2|random}}{P_{L2|monolingual} - P_{L2|random}}$

Burada $P_{L2|L1}$, L1 ön eğitiminden sonraki L2 performansı, $P_{L2|monolingual}$ tek dilli L2 performansı ve $P_{L2|random}$ rastgele başlatma ile performanstır.

Diller arasındaki dil mesafe metriği $D(L1,L2)$, Berzak vd. (2014) yaklaşımını izleyerek WALS (Dünya Dil Yapıları Atlası) gibi veritabanlarındaki tipolojik özellikler kullanılarak hesaplanabilir:

$D(L1,L2) = \sqrt{\sum_{i=1}^{n} w_i (f_i(L1) - f_i(L2))^2}$

Burada $f_i$ tipolojik özellikleri, $w_i$ ise bunların ilgili ağırlıklarını temsil eder.

4.2 Analiz Çerçevesi Örneği

Araştırma, BLiMP (Dilbilgisel Minimal Çiftler Kıyaslaması) test paketini kullanan sistematik bir değerlendirme çerçevesi kullanmaktadır. Bu kıyaslama, belirli sözdizimsel olguları test eden minimal çiftler aracılığıyla dilbilgisi bilgisini değerlendirir. Değerlendirme protokolü şu şekildedir:

1. L1 Ön Eğitim: Modeller beş dilin her birinden CDS verileri üzerinde eğitilir
2. L2 İnce Ayar: İngilizce dil verileri üzerinde sıralı eğitim
3. Değerlendirme: BLiMP dilbilgisellik yargıları üzerinde performans ölçümü
4. Aktarım Analizi: Tek dilli ve diller arası temel çizgilerle karşılaştırma

Bu çerçeve, farklı dil çiftleri ve dilsel olgular arasında hem pozitif aktarım (kolaylaştırma) hem de negatif aktarım (müdahale) etkilerinin hassas ölçümüne olanak tanır.

5. Gelecek Uygulamalar

SLABERT çerçevesi, gelecekteki araştırma ve uygulamalar için birkaç umut verici yön açmaktadır:

• Eğitim Teknolojisi: Öğrenenlerin anadil geçmişlerini hesaba katan kişiselleştirilmiş dil öğrenme sistemlerinin geliştirilmesi
• Düşük Kaynaklı Doğal Dil İşleme: Sınırlı eğitim verisine sahip diller için performansı iyileştirmek üzere aktarım kalıplarından yararlanma
• Bilişsel Modelleme: İnsan dil edinim süreçlerinin gelişmiş hesaplamalı modelleri
• Kültürler Arası Yapay Zeka: Dil çeşitliliğini daha iyi anlayan ve uyum sağlayan yapay zeka sistemlerinin geliştirilmesi

Gelecekteki çalışmalar, çerçevenin daha fazla dil çiftine genişletilmesini, ek dilsel özelliklerin dahil edilmesini ve farklı yeterlilik seviyelerindeki aktarım etkilerinin araştırılmasını keşfetmelidir.

6. Referanslar

1. Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Learn Language. In 58. Doğal Dil İşleme Derneği Yıllık Toplantısı Bildiriler Kitabı.
2. Warstadt, A., vd. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Hesaplamalı Dilbilim Derneği İşlemleri.
3. Berzak, Y., vd. (2014). Reconstructing Native Language Typology from Foreign Language Usage. In 18. Hesaplamalı Doğal Dil Öğrenimi Konferansı Bildiriler Kitabı.
4. Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
5. Conneau, A., vd. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. In 2017 Ampirik Doğal Dil İşleme Yöntemleri Konferansı Bildiriler Kitabı.