Yaliyomo
1. Utangulizi
Karatasi hii inachunguza upendeleo wa kisintaksia unaojifunzwa na Miundo ya Lugha ya Mitandao ya Neva Inayorudiwa (RNN), ikilenga hasa tukio la kutokuwa wazi kwa uunganishaji wa kirai husishi (RC). Dhana kuu ni kwamba upendeleo wa kimuundo wa RNN (mfano, upendeleo wa karibuni) unalingana kwa bahati na upendeleo mkuu wa usindikaji wa binadamu katika Kiingereza (uunganishaji wa CHINI), lakini haulingani na upendeleo tofauti unaopatikana katika Kihispania (uunganishaji wa JUU). Hii inaunda udanganyifu wa uwezo wa kisintaksia kama wa binadamu katika miundo ya Kiingereza ambao haujidhihirishi kati ya lugha, na hivyo kukiuka dhana kwamba upendeleo wa lugha unaohitajika upo katika data ya mafunzo.
2. Mbinu & Ubunifu wa Majaribio
2.1. Kutokuwa Wazi kwa Uunganishaji wa Kirai Husishi
Utafiti huu unachunguza miundo kwa kutumia sentensi zenye uunganishaji usio wazi wa RC, kama vile: "Andrew alikula chakula cha jioni jana na mpwa wa mwalimu aliyetalikiwa." Tafsiri mbili zinawezekana: kuunganishwa kwa kirai nomino ya juu zaidi ("mpwa" - JUU) au kirai nomino ya chini ("mwalimu" - CHINI). Ingawa zote mbili ni sahihi kisarufi, wazungumzaji wa Kiingereza wanaonyesha upendeleo thabiti wa uunganishaji wa CHINI, huku wazungumzaji wa Kihispania wakionyesha upendeleo wa uunganishaji wa JUU.
2.2. Muundo wa Mfano & Mafunzo
Miundo ya kawaida ya lugha yenye msingi wa RNN (mfano, LSTM au GRU) ilifunzwa kwenye mkusanyiko mkubwa wa maandishi ya Kiingereza na Kihispania. Lengo la mafunzo ni kupunguza uwezekano hasi wa logi ya neno linalofuata kutokana na muktadha uliopita: $L(\theta) = -\sum_{t=1}^{T} \log P(w_t | w_{ Upendeleo wa mfano hupimwa kwa kulinganisha uwezekano masharti unaobebwa na mfano kwa mwendelezo wa sentensi chini ya kila tafsiri (JUU dhidi ya CHINI). Alama ya upendeleo huhesabiwa kama tofauti ya uwezekano wa logi: $\text{Upendeleo} = \log P(\text{CHINI}) - \log P(\text{JUU})$. Miundo ya Lugha ya RNN iliyofunzwa kwenye maandishi ya Kiingereza ilionyesha kwa uthabiti upendeleo mkubwa wa uunganishaji wa CHINI, ikioanisha na upendeleo unaojulikana wa binadamu. Hii inaonyesha kwamba uwakilishi wa ndani wa mfano unaendana na usindikaji wa kisintaksia wa binadamu kwa tukio hili katika Kiingereza. Kinyume kabisa, Miundo ya Lugha ya RNN iliyofunzwa kwenye maandishi ya Kihispania ilishindwa kuonyesha upendeleo wa uunganishaji wa JUU kama wa binadamu. Badala yake, mara nyingi ilionyesha upendeleo dhaifu au hata uliopindukia (CHINI), ikionyesha kushindwa kukamata upendeleo wa kawaida wa kisintaksia unaopatikana katika data ya Kihispania. Tofauti katika utendaji wa mfano kati ya Kiingereza na Kihispania inaonyesha kwa nguvu kwamba mafanikio yanayoonekana katika Kiingereza hayatokani na kujifunza sheria za kisintaksia kutoka kwa data, bali kutokana na mwingiliano kati ya upendeleo wa asili wa karibuni wa RNN (unapendelea kuunganishwa kwa nomino ya hivi karibuni zaidi) na upendeleo wa uunganishaji wa CHINI wa Kiingereza. Upendeleo huu wa kimuundo unapingana na kujifunza upendeleo wa uunganishaji wa JUU unaohitajika kwa Kihispania. Kiini cha muundo wa lugha ni utabiri wa mfululizo wa neno $w_t$ kutokana na muktadha wake. Kwa RNN, hali ya siri $h_t$ inasasishwa kama: $h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b_h)$, ambapo $f$ ni uanzishaji usio laini (mfano, tanh au seli ya LSTM). Usambazaji wa uwezekano juu ya msamiati ni: $P(w_t | w_{ Kesi: Kutathmini uelewa wa Muundo wa Lugha ya RNN kuhusu uunganishaji wa RC katika sentensi: "Mwandishi wa habari alimhoji msaidizi wa seneta ambaye alikuwa mwenye utata." Uelewa Mkuu: Karatasi hii inatoa ukaguzi muhimu wa ukweli kwa jamii ya NLP. Inaonyesha kwamba kile kinachoonekana kama "kujifunza sintaksia" katika Muundo wa Lugha mara nyingi kunaweza kuwa mirage—mwingiliano wa bahati kati ya mapungufu ya kimuundo ya mfano (kama upendeleo wa karibuni) na muundo wa takwimu wa lugha maalum (Kiingereza). Kushindwa kurudia matokeo katika Kihispania kunafichua urahisi wa "kujifunza" huku. Kama ilivyoelezwa katika kazi muhimu ya kutathmini ujuzi wa kisintaksia katika Miundo ya Lugha na Linzen et al. (2016), lazima tuwe waangalifu katika kumhusisha mfano na uwezo wa lugha kama wa binadamu kutokana na mafanikio madogo maalum ya lugha. Mtiririko wa Mantiki: Hoja imejengwa kwa ustadi. Huanza na tofauti inayojulikana ya lugha ya binadamu (upendeleo wa CHINI wa KI vs. JUU wa KH), hufunza miundo ya kawaida kwenye lugha zote mbili, na kupata usawa katika utendaji. Waandishi kisha huunganisha kimantiki usawa huu na sifa inayojulikana, isiyo ya lugha ya RNN (upendeleo wa karibuni), wakitoa maelezo rahisi ambayo hayahitaji kudhani kujifunza sheria za kufikirika. Mtiririko huu unakiuka kwa ufanisi dhana kwamba ishara ya mafunzo pekee ina taarifa za kutosha za kujifunza sintaksia ya kina. Nguvu & Mapungufu: Nguvu kuu ni matumizi mazuri ya tofauti kati ya lugha kama jaribio lililodhibitiwa kutenganisha kujifunza kutokana na data na upendeleo wa kimuundo. Hii ni mchango wenye nguvu wa kimbinu. Hata hivyo, uchambuzi huo ni mdogo kwa kiasi fulani kwa kuzingatia tukio moja la kisintaksia, ingawa muhimu. Inaacha wazi swali la jinsi suala hili linavyojitokeza—je, uwezo mwingine unaoonekana wa kisintaksia katika Miundo ya Lugha ya Kiingereza pia ni udanganyifu? Zaidi ya hayo, utafiti huu unatumia miundo ya zamani ya RNN; kujaribu na miundo ya kisasa yenye msingi wa Transformer (ambayo ina upendeleo tofauti wa kufundisha, kama umakini) ni hatua muhimu inayofuata, kama ilivyopendekezwa na mageuzi yaliyoonwa kutoka kwa miundo kama GPT-2 hadi GPT-3. Uelewa Unaoweza Kutekelezwa: Kwa watafiti na wahandisi, karatasi hii inahitaji mabadiliko katika mkakati wa tathmini. Kwanza, tathmini kati ya lugha lazima ikawa jaribio la kawaida la msongo kwa madai yoyote kuhusu uwezo wa lugha wa mfano, kukiuka vigezo vinavyozingatia Kiingereza tu. Pili, tunahitaji "vichunguzi" zaidi vinavyotenganisha upendeleo wa kimuundo na kujifunza kweli, labda kwa kubuni seti za data za kupingana katika lugha moja. Tatu, kwa wale wanaojenga mifumo ya uzalishaji kwa lugha zisizo za Kiingereza, hii ni onyo kali: miundo ya kawaida inaweza kuingiza upendeleo wa kisintaksia usio wa kawaida kwa lugha lengwa, na kwa uwezekano kudhoofisha utendaji kwenye kazi ngumu za usindikaji. Njia ya mbele inahusisha ama kubuni miundo ya mfano yenye uelewa zaidi wa lugha au kukuza malengo ya mafunzo ambayo yanadhibiti kwa uwazi upendeleo huu usiotakiwa wa kufundisha, kukiuka utabiri rahisi wa neno linalofuata.2.3. Vipimo vya Tathmini
Vigezo Muhimu vya Jaribio
3. Matokeo & Uchambuzi
3.1. Utendaji wa Mfano wa Kiingereza
3.2. Utendaji wa Mfano wa Kihispania
3.3. Ulinganisho Kati ya Lugha
4. Maelezo ya Kiufundi & Mfumo wa Kihisabati
5. Mfumo wa Uchambuzi: Utafiti wa Kesi Usio na Msimbo
6. Uelewa Mkuu & Mtazamo wa Mchambuzi
7. Matumizi ya Baadaye & Mwelekeo wa Utafiti
8. Marejeo