1. Utangulizi
Karatasi hii inawasilisha utafiti wa awali uliofanywa na mfumo wa MODOMA, mazingira ya maabara ya kompyuta ya wakala wengi kwa majaribio ya kupata lugha bila usimamizi. Mfumo huu unaiga mwingiliano wa mzazi na mtoto ambapo wakala wote wawili ni miundo ya lugha yenye uwakilishi wa maarifa ya sarufi wazi. Tofauti na miundo mikubwa ya lugha (LLMs) inayotegemea mitandao ya neva isiyo wazi, MODOMA hutoa miundo ya sarufi inayoonekana na inayoweza kupatikana.
2. Wazo Kuu: Mfumo wa MODOMA
Mfumo wa MODOMA (moeder-dochter-machine) ni mazingira ya uigaji yaliyowekwa vigezo kikamilifu. Wakala mama huzalisha matamshi kwa kutumia sheria za lugha wazi, wakati wakala mtoto hutumia mbinu za takwimu kukisia muundo wa sheria za lugha lengwa. Mbinu hii mseto inaunganisha dhana za sheria na takwimu.
2.1 Muundo wa Wakala Wengi
Mfumo huu unatekeleza mzunguko wa mwingiliano wa mzazi na mtoto. Wakala mama hutoa mifano, na wakala mtoto husasisha uwakilishi wake wa sarufi kulingana na pembejeo. Taratibu zote zinarekodiwa, kuwezesha ufuatiliaji kamili wa mchakato wa kupata lugha.
2.2 Uwakilishi wa Maarifa Wazi
Wakala wote wawili wanadumisha uwakilishi wazi wa kategoria za sarufi (k.m., nomino, kitenzi, kibainishi) na sheria. Hii inatofautisha MODOMA na miundo ya neva inayosimba maarifa kwa njia isiyo wazi katika uzani.
3. Mtiririko wa Mantiki: Muundo wa Jaribio
Utafiti unachunguza ikiwa wakala binti anaweza kupata kategoria za utendaji na maudhui kutoka kwa data ya mafunzo iliyozalishwa na wakala mtu mzima. Majaribio yanabadilisha kiasi cha mifano iliyotolewa.
3.1 Data ya Mafunzo na Majaribio
Wakala mtu mzima huzalisha matamshi yenye utata tofauti. Wakala mtoto hupokea matamshi haya na kujaribu kukisia kategoria za sarufi. Data ya majaribio inatathmini usahihi wa sarufi iliyopatikana.
3.2 Vipimo vya Tathmini
Mafanikio ya kupata lugha hupimwa kwa uwezo wa wakala mtoto kuainisha maneno kwa usahihi na kuzalisha/kuchambua matamshi mapya. Matokeo yanaonyesha mifumo sawa na upataji wa lugha ya binadamu, na utendaji unakuwa bora kadri idadi ya mifano inavyoongezeka.
4. Nguvu na Udhaifu: Uchambuzi Muhimu
Nguvu: Uwakilishi wazi wa maarifa ya sarufi ni faida kubwa juu ya LLMs za sanduku nyeusi. Muundo uliowekwa vigezo unaruhusu majaribio yaliyodhibitiwa. Mwingiliano wa wakala wengi unaiga ujifunzaji wa asili.
Udhaifu: Majaribio ya sasa yamepunguzwa kwa miundo rahisi ya sarufi. Uwezo wa kupanuka kwa lugha tata ya ulimwengu halisi bado haujathibitishwa. Utegemezi wa sheria zilizoundwa kwa mkono kwa wakala mama unaweza kuleta upendeleo.
5. Maarifa Yanayoweza Kutekelezwa: Athari kwa NLP
MODOMA inatoa njia mbadala ya uwazi kwa miundo ya lugha ya neva kwa ajili ya kusoma upataji wa lugha. Watafiti wanaweza kuitumia kujaribu nadharia za lugha kwa kompyuta. Mfumo unaweza kupanuliwa kuiga lugha mbili au matatizo ya lugha.
6. Maelezo ya Kiufundi na Uundaji wa Hisabati
Algorithmu ya upataji inaweza kurasimishwa kama tatizo la uingizaji wa sarufi ya uwezekano. Hebu $G$ iwe sarufi yenye kategoria $C$ na sheria $R$. Wakala mtoto husasisha imani yake juu ya $G$ kwa kuzingatia matamshi yaliyozingatiwa $U$:
$$P(G|U) \propto P(U|G) P(G)$$
ambapo $P(U|G)$ ni uwezekano wa kuzalisha $U$ chini ya $G$, na $P(G)$ ni kipaumbele juu ya sarufi. Wakala mtoto hutumia utaratibu wa uelekezaji wa Bayesian kuhesabu nyuma.
7. Matokeo ya Majaribio na Maelezo ya Mchoro
Kielelezo 1 (dhana): Chati ya pau inayoonyesha usahihi wa upataji (mhimili y) dhidi ya idadi ya mifano ya mafunzo (mhimili x). Usahihi unaongezeka kutoka ~40% kwa mifano 50 hadi ~85% kwa mifano 500, na kusimama baada ya mifano 300. Pau za makosa zinaonyesha tofauti katika matokeo.
Jedwali 1: Usahihi wa upataji wa kategoria kwa aina tofauti za maneno: nomino (92%), vitenzi (88%), vibainishi (95%), viambishi (78%). Wakala mtoto hufanya vizuri zaidi kwenye kategoria za utendaji zenye mzunguko wa juu.
8. Mfano wa Mfumo wa Uchambuzi: Uchunguzi Kifani
Fikiria lugha rahisi kama Kiingereza yenye kategoria: D (kibainishi), N (nomino), V (kitenzi). Wakala mama huzalisha matamshi kama "the cat runs" (D N V). Wakala mtoto hupokea hili na kukisia kategoria. Baada ya mifano mingi, anajifunza kwamba "the" ni kibainishi, "cat" na "dog" ni nomino, na "runs" na "sleeps" ni vitenzi. Sarufi iliyopatikana inaweza kuchambua pembejeo mpya kama "a dog sleeps".
9. Matumizi na Maelekezo ya Baadaye
MODOMA inaweza kupanuliwa kuiga upataji wa lugha ya pili, ubadilishaji wa msimbo, na jukumu la mwingiliano wa kijamii katika ujifunzaji. Ushirikiano na vipengele vya neva unaweza kuchanganya bora zaidi ya dhana zote mbili. Mfumo pia una uwezo katika teknolojia ya elimu kwa ajili ya mafunzo ya lugha ya kibinafsi.
10. Uchambuzi wa Asili
Mfumo wa MODOMA unawakilisha mkengeuko mkubwa kutoka kwa miundo mikuu ya lugha ya neva kwa kuweka kipaumbele uwazi na uwakilishi wazi wa sarufi. Ingawa LLMs kama GPT-3 (Brown et al., 2020) hufikia utendaji wa kuvutia, kazi zao za ndani zinabaki kuwa wazi kwa kiasi kikubwa. Mbinu ya MODOMA inalingana na wito unaoongezeka wa AI inayoweza kufasiriwa katika isimu (Baroni, 2022). Upataji wenye mafanikio wa kategoria tofauti unaakisi matokeo katika ukuaji wa lugha ya mtoto (Tomasello, 2003), kuhalalisha uhalali wa ikolojia wa uigaji. Hata hivyo, utegemezi wa mfumo kwenye sheria zilizoundwa kwa mkono kwa wakala mama unapunguza uwezo wake wa kupanuka. Kazi ya baadaye inapaswa kuchunguza uingizaji wa sheria kiotomatiki kutoka kwa makusanyo ya asili. Uwakilishi wazi wa maarifa ya sarufi pia unafungua njia za ulinganisho wa lugha mbalimbali, kwani lugha tofauti zinaweza kuhitaji mifumo tofauti ya kategoria. Kazi hii inakamilisha utafiti juu ya uingizaji wa sarufi kwa kutumia miundo ya Bayesian (Perfors et al., 2011) na inatoa uwanja wa majaribio kwa nadharia za lugha. Mfumo wa MODOMA unaweza kuwa muhimu hasa kwa kusoma nadharia ya kipindi muhimu na jukumu la kiasi cha pembejeo katika upataji.
11. Marejeleo
- Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
- Baroni, M. (2022). On the proper role of linguistically-oriented deep net analysis in linguistic theorizing. In Algebraic Structures in Natural Language.
- Tomasello, M. (2003). Constructing a Language: A Usage-Based Theory of Language Acquisition. Harvard University Press.
- Perfors, A., Tenenbaum, J. B., & Regier, T. (2011). The learnability of abstract syntactic principles. Cognition, 118(3), 306-338.
- Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.