Kutathmini Mifano ya Lugha ya Neural kama Mifano ya Kisaikolojia ya Ujifunzaji wa Lugha

Yaliyomo

1 Utangulizi

Maendeleo ya haraka ya mifano ya lugha ya neural (LM) yamesababisha hamu katika uwezekano wao wa kuwa mifano ya kisaikolojia ya ujifunzaji wa lugha ya binadamu. Hata hivyo, kuna mapengo makubwa ya kimbinu kati ya mifumo ya tathmini ya LM na mazoea ya utafiti wa kisayansi ya lugha. Karatasi hii inachunguza kwa kina ikiwa njia za sasa za kuweka viwango vya kulinganisha zinashika kikamilifu utata wa kimuundo wa lugha ya binadamu na ikiwa LM zilizofunzwa kwa data ya kiwango cha mtoto zinaweza kweli kutuongoza katika kuelewa ujifunzaji wa lugha.

2 Mapungufu ya Kimbinu ya Viwango vya Kulinganisha vya Sasa

2.1 Mapungufu ya Kigezo cha Kulinganisha Kilichojengwa kwa Kiolezo

Viwango vya sasa vya tathmini ya kisintaksia vinakumbwa na ufanano wa kimuundo ambao hauwakilishi utofauti unaopatikana katika isimu ya kinadharia. Njia zilizojengwa kwa kiolezo katika viwango vya kulinganisha kama vile BLiMP na SyntaxGum hazina miundo ya kisarufi iliyoboreshwa inayojulikana katika ujifunzaji wa lugha asilia. Waandishi wanaonyesha kwamba wakati LM zinatathminiwa kwa data ya kiwango kidogo inayofananisha ujifunzaji wa lugha ya mtoto, hazifanyi vizuri zaidi ya mifano rahisi ya msingi, hivyo kuibua maswali kuhusu uwezo wao wa kweli wa lugha.

2.2 Matatizo ya Kutolingana kwa Kadiri ya Data

Tofauti ya data ya mafunzo kati ya LM na wanafunzi binadamu inaleta changamoto ya msingi. Wakati mifano kama BERT inafunzwa kwa ishara mabilioni, watoto hujifunza lugha wakiwa wamepitishwa na takriban maneno milioni 10 kwa mwaka, huku msamiati wao ukiwa na maneno mamia tu umri wa miaka mitatu. Kutolingana huku kwa kadiri kunadhoofisha ulinganisho wa moja kwa moja kati ya utendaji wa LM na ujifunzaji wa lugha ya binadamu.

3 Mfumo wa Majaribio na Matokeo

3.1 Tathmini ya Seti ya Data ya LI-Adger

Utafiti huu unatumia seti ya data ya LI-Adger, mkusanyiko ulioandaliwa kwa uangalifu uliothaminishwa kwa ukubalifu wa daraja na wenye makuzi na ulioundwa mahsusi kuchunguza ujuzi wa kimuundo wa kisarufi. Seti hii ya data hutoa uwanja wa majaribio madhubuti zaidi kuliko viwango vya kulinganisha vilivyojengwa kwa kiolezo, na kutoa ufahamu ikiwa LM zinashika maamuzi ya kisarufi yaliyoboreshwa ambayo yanajulikana katika uwezo wa lugha ya binadamu.

3.2 Uchambuzi wa Ulinganisho wa Utendaji

Matokeo ya majaribio yanaonyesha kwamba LM zinathmini sentensi kwa njia zisizolingana na watumiaji wa lugha ya binadamu kwenye seti ya data ya LI-Adger. Kama inavyoonyeshwa kwenye Mchoro 1, mifano ikiwemo BabyBERTa, AO-CHILDES, AO-NEWSELA, na Wikipedia-1 zote zinaonyesha mienendo tofauti sana na utendaji wa binadamu, ikionyesha tofauti za msingi katika jinsi mifano hii inavyowakilisha na kuchakata habari ya kisintaksia.

4 Mfumo wa Kiufundi na Msingi wa Hisabati

Tathmini ya mifano ya lugha hutegemea vipimo vya msingi vya uwezekano vinavyotathmini jinsi mifano inavyotabiri miundo ya kisarufi. Mfumo wa msingi wa hisabati unahusisha kuhesabu uwezekano wa mlolongo wa sentensi:

$P(w_1, w_2, ..., w_n) = \prod_{i=1}^n P(w_i | w_1, w_2, ..., w_{i-1})$

Ambapo $w_i$ inawakilisha maneno katika mlolongo, na uwezo wa mfano wa kugawa uwezekano wa juu zaidi kwa sentensi za kisarufi dhidi ya zisizo za kisarufi hutumika kama msingi wa kutathmini ujuzi wa kisintaksia. Hata hivyo, njia hii ina mapungufu katika kushika maamuzi ya ukubalifu yaliyoboreshwa yanayojulikana katika uwezo wa lugha ya binadamu.

5 Mfumo wa Uchambuzi: Mfano wa Utafiti wa Kesi

Kesi: Kutathmini Makubaliano ya Kitenzi na Kielezi

Mfumo wa uchambuzi unahusisha kulinganisha utendaji wa LM kwenye jozi ndogo zinazojaribu hali maalum za kisarufi. Kwa mfano, kutathmi usambazaji wa uwezekano wa mfano kwa:

• Ya kisarufi: "Paka kwenye meza wamelala"
• Isiyo ya kisarufi: "Paka kwenye meza amelala"

Mfumo huu unatathmini ikiwa mfano hutoa uwezekano wa juu zaidi kwa miundo ya kisarufi katika mazingira mbalimbali ya kisintaksia, hivyo kuacha tathmini rahisi zilizojengwa kwa kiolezo na kujaribu ujuzi wa kweli wa kisarufi.

6 Matumizi ya Baadaye na Mwelekeo wa Utafiti

Utafiti wa baadaye unapaswa kulenga kuunda mifumo ya tathmini inayolingana zaidi na michakato ya ujifunzaji wa lugha ya binadamu. Mwelekeo muhimu ni pamoja na:

• Kuunda viwango vya kulinganisha vilivyo na maamuzi ya ukubalifu ya daraja yaliyothaminishwa na binadamu
• Kuunda mifano iliyofunzwa kwa data ya kiwango cha mtoto na mapungufu ya kweli ya mawasilisho
• Kujumuisha ujifunzaji wa hali nyingi ili kuiga vyema ujifunzaji wa lugha ya binadamu
• Kuanzisha vipimo vya tathmini vinavyoshika njia za maendeleo

Uchambuzi wa Mtaalamu: Ufahamu wa Msingi, Mtiririko wa Mantiki, Nguvu na Mapungufu, Ufahamu Unaoweza Kutekelezwa

Ufahamu wa Msingi

Karatasi hii inatoa ukosoaji mkali wa mazoea ya sasa ya tathmini ya LM, ikionyesha jinsi viwango vya kulinganisha vilivyojengwa kwa kiolezo vinavyounda dhana ya uwezo wa lugha inayoporomoka chini ya majaribio makali. Waandishi wanaonyesha kwamba kile tunachokipima sio ujuzi wa kweli wa kisarufi bali utambuzi wa muundo kwenye seti za data zilizozuiwa kwa njia bandia.

Mtiririko wa Mantiki

Hoja inaendelea kwa usahihi wa upasuaji: kwanza kuonyesha kutokukamilika kwa viwango vya kulinganisha, kisha kuonyesha jinsi mifano rahisi ya msingi inavyolingana na LM kwenye data ya kiwango cha mtoto, na mwishowe kuonyesha pengo la utendaji kwenye seti za data zilizothaminishwa na binadamu. Mnyororo wa mantiki hauwezi kuvunjika - ikiwa LM haziwezi kufanya vizuri zaidi ya mifano rahisi kwenye data ya kiwango cha ujifunzaji na kushindwa kwenye usahihi wa kisarufi uliohukumiwa na binadamu, thamani yao kama mifano ya kisaikolojia inaweza kuwa ya kutiliwa shaka kimsingi.

Nguvu na Mapungufu

Nguvu: Ukosoaji wa kimbinu ni bora na umekawia sana. Kwa kuonyesha uhitaji wa kimuundo wa viwango vya sasa vya kulinganisha, waandishi wanamlazimisha uwanja huu kukabiliana na ukweli usioridhisha. Matumizi yao ya seti za data zilizothaminishwa na binadamu yanawakilisha hatua muhimu kuelekea tathmini yenye maana zaidi.

Mapungufu: Karatasi hii haitoi mapendekezo maalum ya viwango mbadala vya kulinganisha, na kuwaacha watafiti na ukosoaji lakini mwongozo mdogo wa ujenzi. Zaidi ya hayo, wakati wanaonyesha tatizo la kadiri ya data, hawajaeleza kikamilifu ikiwa miundo ya sasa inaweza kamwe kujifunza kutoka kwa data ya kiwango cha mtoto, bila kujali njia za tathmini.

Ufahamu Unaoweza Kutekelezwa

Timu za utafiti lazima ziachie mara moja viwango vya kulinganisha vilivyojengwa kwa kiolezo kwa ajili ya tathmini ya kisintaksia na kuhama kwenye seti za data zilizohukumiwa na binadamu. Uwanja huu unahitaji mkusanyiko wa kawaida, wa kiwango kikubwa wa maamuzi ya ukubalifu ya daraja sawa na njia ya LI-Adger. Kwa msingi zaidi, lazima tufikirie tena ikiwa miundo ya sasa ya LM ina uwezo wa kushika ujuzi wa kisarufi kama wa binadamu, au ikiwa tunahitaji njia tofauti kabisa za kuiga kisaikolojia kwa kikokotoo.

7 Marejeo

1. Warstadt, A., et al. (2020). BLiMP: Kigezo cha Kulinganisha cha Jozi Ndogo za Kiisimu. arXiv:1912.00582
2. Linzen, T., & Baroni, M. (2021). Muundo wa Kisintaksia Kutoka kwa Ujifunzaji wa Kina. Jarida la Mwaka la Isimu
3. Huebner, P. A., et al. (2021). BabyBERTa: Kujifunza Sarufi Zaidi Kwa Lugha ya Kuelekezwa kwa Mtoto ya Kiwango Kidogo. arXiv:2106.02144
4. Chowdhury, S. R., & Zamparelli, R. (2018). Uigaji wa RNN wa Maamuzi ya Usahihi wa Kisarufi kwenye Utegemezi wa Umbali Mrefu. Matukio ya COLING
5. Goodfellow, I., et al. (2014). Mitandao ya Kuzalisha ya Kupingana. Maendeleo katika Mifumo ya Usindikaji wa Habari ya Neural