Kupanua Usanidi-mchanganyiko wa Kabla ya Mafunzo kuwa Lugha Nyingi kupitia Ujifunzaji wa Lugha

Kipima-msingi cha Ujifunzaji wa Lugha ni moduli yenye ufanisi wa vigezo iliyoingizwa kwenye kipima-msingi cha maandishi cha VLP ya lugha moja iliyofunzwa awali. Kwa kawaida hujumuisha tabaka ndogo za viambatisho au mtandao wa transformer wa kina kifupi. Usanidi wake unahakikisha kwamba idadi kubwa ya vigezo vya muundo (msingi wa VLP uliogandamizwa) hubaki bila kubadilika, na kusababisha akiba kubwa katika gharama ya mafunzo na kumbukumbu. Kipima-msingi hujifunza utendakazi wa ramani $f_{\theta}: \mathcal{Z}_{lang} \rightarrow \mathcal{Z}_{en}$, ambapo $\mathcal{Z}_{lang}$ ni nafasi ya uwakilishi ya lugha lengwa na $\mathcal{Z}_{en}$ ni nafasi ya maana iliyolinganishwa na Kiingereza ya VLP iliyogandamizwa.

2.3. Mkakati wa Mafunzo ya Hatua Mbili

MLA hutumia mkakati wa mafunzo ya hatua mbili uliochochewa na kibayolojia ili kuboresha kipima-msingi cha ujifunzaji wa lugha:

1. Hatua ya Uhamishaji wa Lugha Asilia: Kwanza, kipima-msingi hufunzwa ili kulinganisha maandishi ya lugha lengwa na maandishi ya Kiingereza, kwa kutumia jozi za sentensi zinazofanana. Hii inafanana na mwelekeo wa binadamu wa kuweka msamiati mpya kwenye dhana zinazojulikana katika lugha yake ya asili. Lengo ni hasara ya kulinganisha inayovuta uwakilishi wa lugha lengwa karibu na tafsiri yake ya Kiingereza: $\mathcal{L}_{NLT} = -\log\frac{\exp(\text{sim}(z_{t}, z_{e})/\tau)}{\sum_{j}\exp(\text{sim}(z_{t}, z_{e_j})/\tau)}$.
2. Hatua ya Kufichuliwa kwa Lugha: Baadaye, kipima-msingi hurekebishwa moja kwa moja kwenye jozi za picha-maandishi au video-maandishi ya lugha lengwa. Hatua hii inafanana na "kuzama kwa lugha," na kuiruhusu muundo kuweka lugha mpya moja kwa moja kwenye dhana za kuona bila Kiingereza kama kati, na kuboresha ulinganifu wa usanidi-mchanganyiko.

3. Majaribio & Matokeo

3.1. Seti za Data na Vigezo

Muundo ulitathminiwa kwenye vigezo vya kawaida vya utaftaji wa lugha nyingi:

• Utaftaji wa Picha-Maandishi wa Lugha Nyingi: MSCOCO (Kiingereza) na tafsiri zake katika Kichina, Kijapani, Kikorea, n.k.
• Utaftaji wa Video-Maandishi wa Lugha Nyingi: VATEX (Kiingereza, Kichina) na HowTo100M (lugha nyingi).

3.2. Uchambuzi wa Utendaji

MLA ilipata utendaji wa kisasa au wenye ushindani mkubwa kwenye vigezo hivi huku ikitumia sehemu ndogo tu ya data ya mafunzo ya lugha nyingi na rasilimali za hesabu zinazohitajika na miundo kamili ya M-VLP. Matokeo muhimu yalionyesha:

• Ufanisi wa Juu: Uwiano bora wa utendaji-kwa-kigezo na utendaji-kwa-saa-ya-hesabu.
• Uwezekano wa Zero-shot: Mfumo ulionyesha matokeo ya matumaini katika uhamishaji wa zero-shot kwa lugha ambazo hazikuonekana wakati wa mafunzo ya kipima-msingi cha ujifunzaji, shukrani kwa msingi imara wa maana wa msingi uliogandamizwa.
• Hakuna Kusahau Kibaya: Muhimu zaidi, utendaji kwenye kazi za asili za Kiingereza ulibaki kamili, kwa kuwa muundo mkuu wa VLP ulikuwa umegandamizwa.

4. Uchambuzi wa Kiufundi & Mawazo

Ufahamu Mkuu: Mafanikio ya msingi ya karatasi hii ni mabadiliko ya paradigma kutoka "kufundisha mtu anayezungumza lugha nyingi kutoka utotoni" hadi "kumfundisha mtaalamu wa lugha lugha mpya." Inatambua kwa usahihi kwamba ramani kuu ya kuona-maana kwa kiasi kikubwa haitegemei lugha; changamoto ni makadirio ya kisintaksia na msamiati. Kwa kugandamiza kiini cha kuona-maana (VLP), MLA hupitia sehemu ya gharama kubwa zaidi ya ujifunzaji wa usanidi-mchanganyiko.

Mtiririko wa Mantiki: Hoja ni nadhifu na ya kushawishi. Huanza kwa kutambua tatizo lisiloweza kudumishwa la kuongeza ukubwa wa M-VLP (gharama, ukakamizi). Kisha, hupata mfano katika utambuzi wa binadamu (kuzingatia lugha asilia, kisha kuzama). Hatimaye, inatafsiri hii kuwa muundo halisi wa neva wenye ufanisi wa vigezo (msingi uliogandamizwa + kiambatisho chenye uzito mwepesi) na mtaala unaolingana wa mafunzo (hamisha kisha ficha). Mtiririko kutoka tatizo hadi ushawishi wa kibayolojia hadi suluhisho la uhandisi unaofanana.

Nguvu & Kasoro:

• Nguvu: Hoja ya ufanisi haiwezi kukanushwa. Katika enzi ya wasiwasi unaozidi kuongezeka kuhusu wanya kaboni wa AI, njia kama MLA sio tu za busara—ni muhimu. Umiliki wake wa moduli ni nguvu kuu kwa utekelezaji na matengenezo. Njia hii inalingana na mienendo katika urekebishaji mzuri wenye ufanisi wa vigezo (k.m., viambatisho, LoRA) inayoonekana katika miundo mikubwa ya lugha.
• Kasoro: Njia hii kiasili hurithi upendeleo wowote au ukomo wa VLP ya msingi ya lugha moja. Ikiwa VLP ya Kiingereza ina mantiki duni ya muundo au upendeleo wa kitamaduni, MLA hueneza. Hatua ya "kufichuliwa kwa lugha" bado inahitaji data fulani ya usanidi-mchanganyiko katika lugha lengwa, ambayo inaweza kuwa chache kwa lugha zenye rasilimali chache. Tathmini ya karatasi, ingawa imara, imewekewa kikomo kwa lugha chache tu; madai yake ya kushughulikia "lugha 6,900+" bado ni ya kinadharia.

Mawazo Yanayoweza Kutekelezwa:

1. Kwa Watafiti: Hii ni mchoro wa "AI ya kijani" katika utafiti wa usanidi-mchanganyiko. Kazi ya baadaye inapaswa kuchunguza kufanya kipima-msingi cha ujifunzaji kiwe na ufanisi zaidi (k.m., wataalamu wachache kwa familia tofauti za lugha) na kuchunguza matumizi yake kwa lugha zenye rasilimali chache sana zenye maandishi ya lugha moja tu.
2. Kwa Wahandisi: Tekeleza MLA kama mfuatano wa kawaida wa urekebishaji mzuri wa kupanua miundo ya kampuni ya VLP (kama CLIP au ALIGN) kwa masoko mapya. Mafunzo ya hatua mbili ni rahisi kuendesha.
3. Kwa Wa mikakati: Njia hii inapunguza kikwazo cha kuingia kwa kuunda bidhaa za AI za lugha nyingi. Kampuni sasa zinaweza kujenga juu ya VLP zenye nguvu za Kiingereza za wazi badala ya kufadhili mafunzo ya gharama kubwa ya kabla ya mafunzo ya M-VLP, na kuwezesha upatikanaji wa AI ya usanidi-mchanganyiko kwa watu wote.

Mfano wa Mfumo wa Uchambuzi

Hali: Huduma ya kutiririsha inataka kupanua mfumo wake wa kupendekeza maudhui (uliofunzwa kwenye data ya video-maandishi ya Kiingereza) ili kusaidia Kithai na Kivietinamu.

1. Muundo wa Msingi: Gandamiza muundo wa VLP wa Kiingereza uliofunzwa awali (k.m., tofauti ya CLIP).
2. Usanidi wa Kipima-msingi cha Ujifunzaji: Ambatisha mtandao mdogo wa kiambatisho kwenye kipima-msingi cha maandishi.
3. Hatua 1 - Hamisha: Fundisha kiambatisho kwa kutumia mkusanyiko wa manukuu yanayofanana ya Kithai-Kiingereza na Kivietinamu-Kiingereza. Kiambatisho hujifunza kuweka viambatanisho vya sentensi za Kithai/Kivietinamu kwenye viambatanisho vya sentensi za Kiingereza vinavyolingana kutoka kwa muundo uliogandamizwa.
4. Hatua 2 - Ficha: Rekebisha kiambatisho kwenye seti ndogo ya data ya video za Kithai na Kivietinamu zilizo na maelezo ya lugha asilia (k.m., vitambulisho vilivyotengenezwa na watumiaji au muhtasari).
5. Utekelezaji: Mfumo sasa unaweza kuhesabu ufanano kati ya maswali ya watumiaji wa Kithai/Kivietinamu na viambatanisho vya video vya Kiingereza kupitia kiambatisho kilichofunzwa, na kuwezesha upendekezo wa kuvuka lugha bila kufunza upya kiini chote cha kuona.

5. Matumizi ya Baadaye & Mwelekeo

• Ujumuishaji wa Lugha zenye Rasilimali Chache: Ufanisi wa MLA unaufanya kuwa mgombea bora wa kuleta faida za AI kwa lugha zenye rasilimali kidogo za kidijitali, lengo kuu la miradi kama vile No Language Left Behind (NLLB) ya Meta.
• Ujifunzaji wa Nguvu & Maisha Yote: Toleo la baadaye linaweza kusaidia kuongeza lugha hatua kwa hatua bila kufunza upya kutoka mwanzo, na kuelekea kwenye mifumo ya usanidi-mchanganyiko ya ujifunzaji maisha yote.
• Uzalishaji wa Kuvuka Usanidi: Kupanua mfumo kwa kazi za uzalishaji kama vile utungaji wa maelezo ya picha ya lugha nyingi au kurekebisha sauti ya video.
• Ujumuishaji na LLM: Kuchanganya MLA na miundo mikubwa ya lugha nyingi (LLM) kama msingi wa maandishi kunaweza kuunda mifumo yenye nguvu zaidi na ya kifahari zaidi ya usanidi-mchanganyiko.

6. Marejeo

1. Zhang, L., Hu, A., & Jin, Q. (2022). Generalizing Multimodal Pre-training into Multilingual via Language Acquisition. arXiv preprint arXiv:2206.11091.
2. Jain, A., et al. (2021). MURAL: Multimodal, Multitask Retrieval Across Languages. arXiv preprint arXiv:2109.05125.
3. Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. International Conference on Machine Learning (ICML).
4. Houlsby, N., et al. (2019). Parameter-Efficient Transfer Learning for NLP. International Conference on Machine Learning (ICML).
5. Meta AI. (2022). No Language Left Behind. https://ai.facebook.com/research/no-language-left-behind/