Kutatua Maswali ya Kujaza Sentensi za ESL Kupitia Mifano ya Lugha ya Neural Iliyofunzwa Mapema

Yaliyomo

1. Utangulizi

Maswali ya Kujaza Sentensi (SC) ni zana muhimu katika kutathmini uwezo wa Kiingereza kama Lugha ya Pili (ESL). Yanawasilisha sentensi yenye nafasi moja au zaidi zilizo wazi na seti ya maneno au vishazi mbadala. Kutatua kiotomatiki maswali haya kunatoa faida kubwa kwa wanafunzi wa lugha (maoni ya papo hapo), waalimu (tathmini ya ubora wa swali), na ukuzaji wa mifumo ya akili ya kufundisha.

Njia za zamani za kikokotoa, kama vile mifano ya lugha ya n-gram au mifano maalum ya lugha yenye nafasi wazi, zinakabiliwa na changamoto katika mazingira halisi ya kielimu: vipingamizi vinavyochanganya sana vilivyoundwa na wataalam, hitaji la ujuzi wa kina wa lugha (sarufi, sintaksia, semantiki), na idadi tofauti ya nafasi wazi na vitenzi kwa kila nafasi wazi.

Kazi hii inapendekeza mfumo wa neural unaotumia mifano ya lugha iliyofunzwa mapema kwa kiwango kikubwa kukabiliana na changamoto hizi, na kuonyesha utendakazi bora zaidi kwenye seti ya data halisi ya ESL ya K-12.

2. Njia Yetu

2.1 Uundaji wa Tatizo

Swali la SC limefafanuliwa kama tuple $(q, O)$, ambapo $q$ ni sentensi yenye nafasi wazi $m$ zilizoonyeshwa kwa vitenzi vya `[MASK]`, na $O = \{o_1, o_2, ..., o_n\}$ ni seti ya chaguo $n$ mbadala (kawaida 3-5). Kila chaguo $o_i$ ni mlolongo wa vitenzi vilivyokusudiwa kujaza nafasi zote wazi pamoja. Lengo ni kuchagua chaguo $o^* \in O$ ambalo hufanya sentensi iliyokamilika kuwa yenye maana zaidi.

2.2 Muundo wa Mfano

Kiini cha njia hii ni mfano wa mlolongo-hadi-mlolongo unaotegemea muundo wa Transformer, uliofunzwa mapema kwa kutumia lengo la denoising autoencoder (k.m., BART au T5). Mfano huo umeboreshwa kwa kazi ya SC. Kwa swali fulani $q$ na chaguo $o_i$, kazi ya mfano ni kujenga upya sentensi asili iliyokamilika.

Ingizo kwa kichocheo ni mlolongo ulioharibika (swali lenye nafasi wazi). Kichujaji kinawekwa kwenye hali hii na lazima kizalishwe sentensi asili. Chaguo $o_i$ linaingizwa kwenye nafasi wazi za $q$ ili kuunda mlolongo lengwa kwa kichujaji. Utendakazi wa mfano hupimwa kwa logi hasi ya uwezekano wa kuzalisha mlolongo lengwa kutokana na ingizo.

2.3 Mafunzo na Utoaji Hitimisho

Wakati wa mafunzo, mfano hujifunza kujenga upya sentensi kutoka kwa matoleo yake yaliyofichwa. Kwa utoaji hitimisho, kwa swali $q$ na chaguo zake $O$, mfano hukokotoa alama $s_i$ kwa kila chaguo $o_i$: $$s_i = -\sum_{t=1}^{T} \log P(w_t | w_{

3. Majaribio na Matokeo

3.1 Seti ya Data

Seti ya data halisi iliyokusanywa kutoka kwa jukwaa la mtandaoni la kielimu la K-12 ilitumika. Ina maelfu ya maswali ya SC yaliyoundwa na wataalamu wa kufundisha Kiingereza kwa wanafunzi wa ESL wa Kichina. Seti ya data ina maswali yenye nafasi wazi 1-3 na vipingamizi vya ubora wa juu, vinavyofanana kimaana.

3.2 Viwango vya Msingi

Mfano uliopendekezwa ulilinganishwa na viwango kadhaa vikali vya msingi:

1. Mfano wa Lugha ya N-gram (LM): Mfano wa kitamaduni wa takwimu uliofunzwa kwenye mkusanyiko mkubwa wa maandishi.
2. Mfano wa Lugha Yenye Nafasi Wazi [Shen et al.]: Mfano maalum wa lugha wa kurudia kwa kujaza nafasi wazi.
3. Mfano wa Lugha Uliofichwa (k.m., BERT): Kutumia mfano wa lugha uliofichwa uliofunzwa mapema kupima uwezekano wa vitenzi vya chaguo katika nafasi wazi.
4. Mfano wa Lugha wa Mlolongo-hadi-Mlolongo (isiyofunzwa mapema): Mfano wa kawaida wa Transformer uliofunzwa kutoka mwanzo kwenye kazi ya SC.

3.3 Matokeo Makuu

Mfano uliopendekezwa wa mlolongo-hadi-mlolongo uliofunzwa mapema ulifanya vizuri zaidi kuliko mifano yote ya msingi kwa upande wa usahihi wa utabiri kwenye seti ya majaribio iliyotengwa. Faida kuu inatokana na mafunzo yake mapema kwenye mkusanyiko mkubwa wa maandishi, ambayo humjalia ujuzi wa kina wa lugha na ujuzi wa ulimwengu muhimu kwa kutofautisha vipingamizi dhahiri. Uundaji wa mlolongo-hadi-mlolongo pia hudhibiti kiotomatiki nafasi nyingi wazi na chaguo zenye vitenzi vingi.

3.4 Uchambuzi wa Usahihi-Ukumbusho

Karatasi hiyo ilifanya uchambuzi wa usahihi-ukumbusho ili kujadili utekelezaji wa vitendo. Kwa kurekebisha kizingiti cha alama cha kukubali jibu, mfumo unaweza kuboreshwa kwa usahihi wa juu (kutoa maoni tu wakati una hakika sana, kupunguza makosa) au ukumbusho wa juu (kujaribu kujibu maswali zaidi, kwa uwezekano wa makosa zaidi). Hii ni muhimu kwa matumizi halisi ya kielimu ambapo gharama ya maoni yasiyo sahihi ni kubwa.

4. Ufahamu Muhimu na Uchambuzi

Ufahamu wa Msingi: Mafanikio ya msingi ya karatasi hii sio tu kutumia mfano uliofunzwa mapema kwenye kazi mpya; ni kutambua kwamba lengo la denoising la mlolongo-hadi-mlolongo ni wakilishi karibu kamili wa mchakato wa utambuzi nyuma ya kutatua maswali ya SC. Mfano hauchagui tu neno; unakamilisha sentensi "kiakili" na kuangalia mwafaka—mchakato unaoonyeshwa kwa kujenga upya sentensi kamili kutoka kwa toleo lililofichwa. Hii ni njia ya kifahari na yenye nguvu zaidi kuliko kutumia tu Mfano wa Lugha Uliofichwa kupima vitenzi binafsi, ambayo haishiki utegemezi kati ya nafasi nyingi wazi.

Mtiririko wa Kimantiki: Hoja ni rahisi yenye mvuto: 1) Maswali halisi ya ESL ni magumu kutokana na vipingamizi vilivyoundwa na wataalamu na vikwazo changamano vya lugha. 2) Njia za kitamaduni na hata za neural za awali hazina uelewa wa kina wa kukabiliana na hili. 3) Mifano ya Lugha iliyofunzwa mapema kwa kiwango kikubwa, hasa ile iliyofunzwa kwa lengo la denoising (kama BART au T5), ina uelewa huu wa kina. 4) Kwa hivyo, kuweka SC kama kazi ya ujenzi upya wa mlolongo kwa kutumia mifano hii inapaswa kutoa matokeo ya hali ya juu. Majaribio yanathibitisha kwa nguvu mtiririko huu.

Nguvu na Kasoro: Nguvu kuu ni uzuri wa dhana na mafanikio ya kimajaribio ya njia hiyo. Matumizi ya seti ya data halisi ya K-12, sio mkusanyiko safi wa kitaaluma, yanaongeza uaminifu mkubwa wa vitendo. Uchambuzi wa usahihi-ukumbusho unaonyesha kuzingatia kwa makini utekelezaji. Kasoro kuu, ya kawaida kwa karatasi nyingi za AI-katika-elimu, ni hali ya sanduku nyeusi ya suluhisho. Hainatoi maoni yanayoelezeka—mwanafunzi hupata "D ni sahihi" lakini sio "kwa sababu 'must' inaonyesha hakika ya kimantiki katika kifungu cha kwanza, na 'can't' ni kukanusha sahihi katika kifungu cha pili kulingana na ushahidi 'hates black color'." Kama ilivyoelezwa katika ukaguzi wa 2022 "Explainable AI for Education" (XAIED), ukosefu huu wa ufafanuzi unaweza kupunguza matumizi ya moja kwa moja ya kielimu. Zaidi ya hayo, utendakazi wa mfano unahusishwa asili na data yake ya mafunzo mapema, ambayo inaweza kuwa na upendeleo au ukosefu wa chanjo ya mifumo fulani ya makosa ya ESL.

Ufahamu Unaotekelezeka: Kwa kampuni za EdTech, utafiti huu ni mwongozo tayari. Hatua ya kwanza ni kuboresha mfano kama T5 au BART kwenye benki za maswali maalum. Hata hivyo, faida halisi ya ushindani haitokii tu kutoka kwa usahihi bali kutoka kwa ufafanuzi. Ubadilishaji unaofuata unapaswa kuunganisha mbinu kutoka kwa AI inayoelezeka—labda kwa kutumia uzito wa umakini kuonyesha sehemu za sentensi zinazohusiana zaidi na jibu lililochaguliwa au kuzalisha sababu za lugha asilia. Pili, matumizi makuu ya teknolojia hii sio katika mtihani wenye hatari kubwa bali katika mazoezi na tathmini ya malezi. Kuiunganisha katika majukwaa ya kujifunza yanayobadilika ili kuzalisha maswali ya mazoezi yasiyo na kikomo, yanayobinafsishwa (kwa kuficha maneno katika maandishi halisi) ni mwelekeo wa kimantiki na wenye thamani kubwa, kusonga kutoka kwa kitatua hadi kizalishi, kama ilivyoashiriwa katika utangulizi.

5. Maelezo ya Kiufundi

Mfano hutumia mfumo wa kichocheo-kichujaji wa muundo wa Transformer. Lengo la mafunzo mapema ni muhimu. Kwa mfano kama BART, unafunzwa kwa kuharibu maandishi kwa kazi ya kelele ya kiholela (k.m., kuficha kitenzi, kubadilisha mpangilio wa sentensi, kuzungusha hati) na kisha kujifunza kujenga upya maandishi asili. Hii hufanya iwe bora kwa kazi ya SC, ambayo ni aina ya udhibiti wa uharibifu na ujenzi upya wa maandishi.

Lengo la ubora ni kupunguza hasara ya msalaba-entropi kati ya usambazaji wa matokeo ya kichujaji na mlolongo lengwa (sentensi iliyokamilika na chaguo sahihi). Kwa kundi la data, kazi ya hasara ni: $$\mathcal{L} = -\frac{1}{N} \sum_{j=1}^{N} \sum_{t=1}^{T_j} \log P(w_t^{(j)} | w_{

6. Mfano wa Mfumo wa Uchambuzi

Hali: Kutathmini mfano unaowezekana kwa kazi ya SC.

Utumiaji wa Mfumo:

1. Mgawanyiko wa Kazi: Gawanya swali la SC: Tambua idadi ya nafasi wazi, sehemu ya usemi au jukumu la sintaksia linalohitajika kwa kila moja, na uhusiano wa kimaan kati ya vidokezo vya sentensi na jibu sahihi.
2. Kupima Mfano: Kwa kila chaguo, tumia mfano kukokotoa alama ya mlolongo $s_i$. Kwa mfano, kwa swali "He _ to the store yesterday," na chaguo {go, went, goes}, mfano ungepima alama za juu zaidi kwa mlolongo "He went to the store yesterday" kutokana na makubaliano sahihi ya wakati uliopita.
3. Uchambuzi wa Makosa: Ikiwa mfano umeshindwa, chambua aina ya kushindwa. Je, ulichagua "go"? Hii inaonyesha udhaifu katika uelewa wa wakati wa sarufi. Je, ulichagua "goes"? Hii inaonyesha udhaifu katika makubaliano ya kitu-kitenzi. Uchambuzi huu unaongoza usakuzi wa data zaidi au marekebisho ya mfano.
4. Tathmini ya Nguvu ya Kipingamizi: Tumia usambazaji wa alama za mfano kwenye chaguo. Alama ya juu kwa jibu sahihi na alama za chini sana kwa vipingamizi inaonyesha swali rahisi. Ikiwa chaguo mbili zina alama zinazofanana, za juu, inaonyesha kipingamizi cha ubora wa juu, kinachochanganya, ambacho ni cha thamani kwa tathmini ya utambuzi.

7. Matumizi ya Baadaye na Mwelekeo

1. Ujumuishaji wa AI Inayoelezeka (XAI): Mwelekeo muhimu zaidi ni kukua kutoka kwa "kitatua cha sanduku nyeusi" hadi "mwalimu anayeelezeka." Mifano ya baadaye inapaswa kuzalisha sababu, kuonyesha ushahidi muhimu wa sentensi, au hata kutambua kanuni maalum ya sarufi inayojaribiwa.
2. Uzalishaji wa Kipingamizi Kilichobinafsishwa: Mfano unaweza kutumika kuzalisha vipingamizi vinavyowezekana lakini visivyo sahihi vilivyobinafsishwa kulingana na mifumo ya kawaida ya makosa ya mwanafunzi, na kuunda mazoezi yaliyobinafsishwa sana.
3. Uzalishaji wa Maswali Otomatiki (AQG): Pindua mchakato. Kwa kuzingatia maandishi, mfano unaweza kutambua maneno muhimu ya kuficha na kuzalisha vipingamizi vinavyowezekana, na kuunda kiotomatiki maswali mapya ya SC kwa benki za mazoezi, na kuongeza kwa kiwango kikubwa uundaji wa maudhui.
4. Upanuzi wa Multimodal: Kwa wanafunzi wadogo au mazingira maalum, maswali ya SC yanaweza kuhusisha picha. Kazi ya baadaye inaweza kuhusisha mifano ya multimodal iliyofunzwa mapema (kama VL-T5) kutatua au kuzalisha maswali yanayounganisha vidokezo vya maandishi na kuona.
5. Uhamisho wa Lugha Nyingi: Kutumia mfumo huu kwa lugha zingine kwa kutumia mifano ya lugha nyingi iliyofunzwa mapema (kama mT5), na kusaidia wanafunzi wa ESL ambao lugha yao ya kwanza sio Kichina.

8. Marejeo

1. Liu, Q., Liu, T., Zhao, J., et al. (2021). Solving ESL Sentence Completion Questions via Pre-trained Neural Language Models. arXiv:2107.07122.
2. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT.
3. Lewis, M., Liu, Y., Goyal, N., et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. Proceedings of ACL.
4. Shen, L., Allauzen, C., & Ji, H. (2015). Blank Language Models. Proceedings of EMNLP.
5. Zweig, G., & Burges, C. J. (2012). A Challenge Set for Advancing Language Modeling. Proceedings of the NAACL-HLT Workshop.
6. Holstein, K., McLaren, B. M., & Aleven, V. (2022). Explainable AI for Education (XAIED). In The Handbook of Artificial Intelligence in Education.
7. Raffel, C., Shazeer, N., Roberts, A., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research.