SLABERT: Kuiga Usajili wa Lugha ya Pili kwa BERT

Yaliyomo

1. Utangulizi

Utafiti huu unashughulikia pengo muhimu katika fasihi ya NLP kuhusu uhamisho hasi katika usajili wa lugha ya pili (SLA). Ingawa uhamisho wa kiisimu umesomwa kwa kina katika utafiti wa SLA ya kibinadamu, mbinu nyingi za NLP zimezingatia hasa athari za uhamisho mzuri, zikipuuza athari kubwa ya uhamisho hasi unaotokea wakati miundo ya kimofolojia ya lugha ya asili (L1) inakwamisha usajili wa lugha ya kigeni (L2).

Utafiti huu unaanzisha SLABERT (Usajili wa Lugha ya Pili BERT), mfumo mpya unaoiga usajili wa lugha ya pili kwa kutumia data ya Usemezano wa Kumwelekea Mtoto (CDS). Mbinu hii inatoa uigaji halisi wa michakato ya usajili wa lugha ya kibinadamu, kuwawezesha watafiti kuchunguza athari za kusaidia na za kukwamisha za L1 kwenye usajili wa L2.

2. Mbinu

2.1 Mfumo wa SLABERT

Mfumo wa SLABERT unatekeleza usajili wa lugha kwa mlolongo ambapo miundo hufunzwa kwanza kwenye data ya L1 (lugha ya asili) kisha kuboreshwa kwenye data ya L2 (Kiingereza). Mbinu hii ya mlolongo inaigia michakato ya usajili wa lugha ya pili ya kibinadamu, ikiruhusu watafiti kutazama athari za uhamisho zinazotokea wakati ujuzi wa kiisimu kutoka L1 unavyoathiri usajili wa L2.

2.2 Seti ya Data ya MAO-CHILDES

Watafiti waliunda seti ya data ya Multilingual Age Ordered CHILDES (MAO-CHILDES), inayojumuisha lugha tano zenye aina tofauti za kimofolojia: Kijerumani, Kifaransa, Kipoland, Kiindonesia, na Kijapani. Seti hii ya data inajumuisha Usemezano wa Kumwelekea Mtoto wa asili, ikitoa data halisi ya mafunzo inayojenga mazingira halisi ya usajili wa lugha.

2.3 Usajili wa Uhamisho unaotegemea TILT

Utafiti huu unatumia mbinu ya Upimaji wa Upendeleo wa Kihalisi kupitia Uhamisho wa Mfumo wa Lugha (TILT) iliyoanzishwa na Papadimitriou na Jurafsky (2020). Mbinu hii inawezesha uchunguzi wa kimfumo wa jinsi aina tofauti za data ya mafunzo zinavyoleta vipengele vya kimuundo vinavyosaidia au kuzuia uhamisho wa kiisimu.

3. Matokeo ya Majaribio

3.1 Athari za Umbali wa Familia ya Lugha

Majaribio yanaonyesha kuwa umbali wa familia ya lugha unatabiri kwa usahihi uhamisho hasi. Lugha zilizo mbali zaidi na Kiingereza (kama Kijapani na Kiindonesia) zilionyesha athari kubwa za kukwamisha, huku jamaa wa karibu (Kijerumani na Kifaransa) ukionyesha uhamisho mzuri zaidi. Ugunduzi huu unafanana na utafiti wa SLA ya kibinadamu, ukithibitisha uhalisi wa kiikolojia wa mbinu ya SLABERT.

3.2 Usemezano dhidi ya Usemezano Ulioandikwa

Ugunduzi muhimu unaonyesha kuwa data ya usemezano hutoa urahisishaji mkubwa kwa usajili wa lugha ikilinganishwa na data ya usemezano ulioandikwa. Hii inaonyesha kuwa usemi wa asili, wa kushirikiana una sifa za kimuundo ambazo zinaweza kuhamishika kati ya lugha, pengine kwa sababu ya uwepo wa mifumo ya ulimwengu ya mazungumzo na utaratibu wa kurekebisha.

4. Uchambuzi wa Kiufundi

4.1 Mfumo wa Kihisabati

Athari ya uhamisho kati ya L1 na L2 inaweza kupimwa kwa kutumia fomula ifuatayo:

Acha $T_{L1 \rightarrow L2}$ iwakilishe athari ya uhamisho kutoka L1 hadi L2, ikipimwa kama uboreshaji wa utendaji kwenye kazi za L2 baada ya mafunzo ya awali ya L1. Ufanisi wa uhamisho unaweza kuonyeshwa kama:

$\eta_{transfer} = \frac{P_{L2|L1} - P_{L2|random}}{P_{L2|monolingual} - P_{L2|random}}$

ambapo $P_{L2|L1}$ ni utendaji wa L2 baada ya mafunzo ya awali ya L1, $P_{L2|monolingual}$ ni utendaji wa L2 ya lugha moja, na $P_{L2|random}$ ni utendaji na uanzishaji wa nasibu.

Kipimo cha umbali wa lugha $D(L1,L2)$ kati ya lugha kinaweza kuhesabiwa kwa kutumia vipengele vya kimofolojia kutoka kwenye hifadhidata kama vile WALS (World Atlas of Language Structures), kufuatia mbinu ya Berzak et al. (2014):

$D(L1,L2) = \sqrt{\sum_{i=1}^{n} w_i (f_i(L1) - f_i(L2))^2}$

ambapo $f_i$ inawakilisha vipengele vya kimofolojia na $w_i$ ni uzani zao mtambuka.

4.2 Mfano wa Mfumo wa Uchambuzi

Utafiti huu unatumia mfumo wa tathmini wa kimfumo kwa kutumia mkusanyiko wa vipimo vya BLiMP (Benchmark of Linguistic Minimal Pairs). Kigezo hiki kinatathmini ujuzi wa kisarufi kupitia jozi ndogo zinazochunguza matukio maalum ya kisintaksia. Itifaki ya tathmini inafuata:

1. Mafunzo ya Awali ya L1: Miundo hufunzwa kwenye data ya CDS kutoka kwa kila moja ya lugha tano
2. Uboreshaji wa L2: Mafunzo ya mlolongo kwenye data ya lugha ya Kiingereza
3. Tathmini: Upimaji wa utendaji kwenye uamuzi wa kisarufi wa BLiMP
4. Uchambuzi wa Uhamisho: Kulinganisha na viwango vya lugha moja na vya kiisimu

Mfumo huu unawezesha upimaji sahihi wa athari za uhamisho mzuri (urahisishaji) na uhamisho hasi (kukwamisha) kwenye jozi tofauti za lugha na matukio ya kiisimu.

5. Matumizi ya Baadaye

Mfumo wa SLABERT unafungua mwelekeo kadhaa wa matumizi ya baadaye:

• Teknolojia ya Elimu: Uundaji wa mifumo ya kielimu ya lugha inayozingatia asili ya lugha ya kwanza ya wanafunzi
• NLP yenye Rasilimali Chache: Kuitumia mifumo ya uhamisho kuboresha utendaji kwa lugha zenye data ndogo ya mafunzo
• Kuiga Kikognitivo: Miundo iliyoboreshwa ya kikokotoo ya michakato ya usajili wa lugha ya kibinadamu
• AKI ya Kiisimu: Uundaji wa mifumo ya AKI inayoelewa vyema na kustawisha utofauti wa lugha

Kazi ya baadaye inapaswa kuchunguza kupanua mfumo huu kwa jozi za lugha zaidi, kujumuisha vipengele vya ziada vya kiisimu, na kuchunguza athari za uhamisho katika viwango tofauti vya ujuzi.

6. Marejeo

1. Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Learn Language. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.
2. Warstadt, A., et al. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the Association for Computational Linguistics.
3. Berzak, Y., et al. (2014). Reconstructing Native Language Typology from Foreign Language Usage. In Proceedings of the 18th Conference on Computational Natural Language Learning.
4. Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
5. Conneau, A., et al. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.