Kutatua Maswali ya Kujaza Sentensi za ESL Kupitia Mifano ya Lugha ya Neural Iliyofunzwa Mapema

Yaliyomo

1. Utangulizi

Maswali ya Kujaza Sentensi (SC) ni zana muhimu katika kutathmini uwezo wa Kiingereza kama Lugha ya Pili (ESL). Yanawasilisha sentensi yenye nafasi moja au zaidi na seti ya maneno/vishazi mbadala, kujaribu uelewa wa mwanafunzi wa sarufi, sintaksia, na maana. Kufanya utatuzi wa maswali haya kuwa wa kiotomatiki una thamani kubwa kwa mifumo ya kielimu yenye akili, kutoa maoni ya papo hapo, kutathmini ubora wa swali, na kutengeneza nyenzo za mazoezi.

Njia za jadi, kama vile mifano ya lugha ya n-gram, zinakabiliana na changamoto za kina za maswali halisi ya ESL: vipingamizi vilivyoundwa kwa ustadi na wataalam, mahitaji ya ujuzi wa kina wa lugha, na idadi tofauti ya nafasi/vitambulisho. Karatasi hii inapendekeza mfumo wa neural unaotumia mifano ya lugha iliyofunzwa mapema kwa kiwango kikubwa ili kukabiliana na changamoto hizi kwa ufanisi.

2. Njia Yetu

Kiini cha mfumo unaopendekezwa ni kurekebisha mifano ya mlolongo-hadi-mlolongo iliyofunzwa mapema, hasa miundo ya msingi ya Transformer, kwa kazi ya SC.

2.1 Uundaji wa Tatizo

Swali la SC limefafanuliwa kama tuple $(q, O)$, ambapo $q$ ni sentensi yenye nafasi $k$ zilizotajwa kwa kitambulisho maalum cha `[MASK]`, na $O = \{o_1, o_2, ..., o_m\}$ ni seti ya chaguzi $m$ mbadala (kila chaguo linaweza kujaza nafasi moja au nyingi). Lengo ni kuchagua chaguo $o^* \in O$ ambalo hufanya sentensi iliyokamilika kuwa yenye maana zaidi.

2.2 Muundo wa Mfano

Mfano unatokana na muundo wa usimbaji-udhihirishaji uliofunzwa mapema (k.m., BART au T5). Ingizo ni sentensi iliyofichwa $q$. Kwa kila chaguo mbadala $o_i$, mfano hutengeneza sentensi iliyokamilika kwa kubadilisha vitambulisho vya `[MASK]`. Mfano hupima kila ukamilishaji kulingana na uwezekano wake wa utengenezaji au kichwa cha kitambuzi kilichorekebishwa. Alama $S(o_i | q)$ inaweza kutokana na logi hasi ya uwezekano wa kutengeneza mlolongo uliokamilika:

$S(o_i | q) = -\sum_{t=1}^{T} \log P(w_t | w_{

ambapo $w_t$ ni vitambulisho vya sentensi iliyokamilika. Chaguo lenye alama ya juu zaidi (msongamano mdogo zaidi) huchaguliwa.

2.3 Mkakati wa Mafunzo

Mfano umerekebishwa kwenye seti ya data ya maswali ya SC kwa kutumia lengo la kiotomatiki la kutoa kelele kwanza, kisha kufuatia marekebisho maalum ya kazi. Kazi ya hasara kwa kawaida huchanganya hasara ya uundaji wa lugha iliyofichwa na hasara ya uainishaji wa mlolongo ili kuboresha ufasaha wa sentensi na ubaguzi sahihi wa chaguo.

3. Majaribio na Matokeo

3.1 Seti ya Data

Majaribio yalifanywa kwenye seti ya data halisi ya maswali ya ESL SC ya K-12 iliyokusanywa kutoka kwa jukwaa la elimi ya mtandaoni. Seti ya data ina maelfu ya maswali yenye vipingamizi vya hali ya juu vilivyoundwa kwa ustadi, ikifunika mambo mbalimbali ya sarufi na msamiati.

Takwimu za Seti ya Data

Chanzo: Jukwaa Halisi la K-12 la Elimu ya Mtandaoni
Idadi ya Maswali: Maelfu kadhaa
Nafasi kwa Swali: 1 au zaidi
Chaguzi kwa Nafasi: 3 hadi 5
Lengo Kuu: Sarufi, Sintaksia, Maana

3.2 Viwango vya Msingi

Mfano uliopendekezwa ulilinganishwa na viwango kadhaa vya msingi vilivyo na nguvu:

N-gram LM: Mfano wa jadi wa lugha wa takwimu.
Blank LM [10]: Mfano wa lugha wa kurudia kwa kujaza nafasi.
BERT (Masked LM): Kutumia uwezekano wa utabiri wa vitambulisho vilivyofichwa vya BERT moja kwa moja.
Fine-tuned BERT (Classifier): BERT na safu ya uainishaji kwenye kitambulisho cha `[CLS]`.

3.3 Matokeo Makuu

Mfano wa mlolongo-hadi-mlolongo uliofunzwa mapema ulivua zaidi njia zote za msingi katika usahihi wa utabiri kwenye seti ya majaribio iliyotengwa. Faida kuu ilitokana na uwezo wake wa kuiga mshikamano mzima wa sentensi baada ya uingizwaji, badala ya muktadha wa ndani tu, kushughulikia kwa ufanisi maswali yenye nafasi nyingi na chaguzi za vishazi.

Ufahamu Muhimu kutoka kwa Matokeo

Mifano iliyofunzwa mapema (BERT, iliyopendekezwa) inavua zaidi mifano ya jadi ya n-gram LM.
Njia ya utengenezaji wa mlolongo-hadi-mlolongo inavua zaidi njia za LM zilizofichwa na uainishaji, hasa kwa chaguzi za vitambulisho vingi.
Mfano unaonyesha uthabiti dhidi ya vipingamizi vilivyoundwa kwa ustadi, vinavyochanganya.

3.4 Uchambuzi wa Usahihi na Ukumbusho

Karatasi hii inawasilisha uchambuzi wa usawa wa usahihi na ukumbusho, muhimu kwa utekelezaji halisi wa ulimwengu. Kwa kurekebisha kizingiti cha alama kwa kukubali jibu, mfumo unaweza kurekebishwa kwa hali ya usahihi wa juu (uhafidhina, kujibu tu wakati una hakika sana) au hali ya ukumbusho wa juu (kujaribu maswali zaidi). Ubadilishaji huu ni muhimu kwa mifumo ya kujifunza inayobadilika ambapo makadirio ya ujasiri yana maana.

4. Uchambuzi wa Kiufundi na Ufahamu

Ufahamu wa Kiini: Karatasi hii sio kuhusu muundo mpya; ni darasa bora la uhandisi wa AI wa vitendo. Waandishi wametambua kwa usahihi kwamba nguvu ya mifano ya kisasa ya LM iliyofunzwa mapema, hasa mifano ya mlolongo-hadi-mlolongo kama BART au T5, ndiyo zana yenye ufanisi zaidi kwa tatizo la kujaza sentensi za ESL lenye utata, vikwazo, lakini lenye maana nyingi. Ubunifu halisi uko katika muundo na mkakati wa marekebisho kwa eneo maalum la kielimu.

Mtiririko wa Mantiki: Mantiki ni wazi na yenye mvuto: 1) Maswali ya ESL SC ni magumu kutokana na vipingamizi vya kiwango cha mtaalamu na vikwazo changamano. 2) Mifano ya LM iliyofunzwa mapema ina ujuzi mkubwa wa ulimwengu na lugha. 3) Kwa hivyo, rekebisha mfano wenye nguvu, wa madhumuni ya jumla (mfano wa seq2seq) kwenye data maalum ya kikoa ili kutatua kazi. Matokeo ya majaribio yanathibitisha mfuatano huu kwa uamuzi, kuonyesha ubora wa njia ya seq2seq juu ya LM zilizofichwa tu (kama BERT) ambazo zinakabiliana na mshikamano wa vitambulisho vingi.

Nguvu na Kasoro: Nguvu kuu ni matumizi ya moja kwa moja ya NLP ya hali ya juu kwa tatizo halisi, lenye athari la kielimu na tathmini madhubuti. Matumizi ya seti ya data halisi ya K-12 yanaongeza uaminifu mkubwa, kama ilivyoelezwa katika fasihi ya uchimbaji wa data ya kielimu (k.m., kazi kutoka kwa International Educational Data Mining Society). Hata hivyo, kasoro ya karatasi ni ya kawaida katika AI inayotumika: uwazi katika "jinsi gani." Ingawa inataja kurekebisha kiotomatiki cha kutoa kelele, maelezo juu ya kazi halisi za hasara, vigezo vya juu, na mbinu za kuongeza data kwa kutengeneza sampuli za mafunzo za `[MASK]` ni chache. Hii inafanya uigaji kuwa mgumu. Zaidi ya hayo, haichambui kwa kina kwa nini mfano unashindwa kwenye maswali fulani—hatua muhimu kwa mifumo ya utambuzi wa kielimu. Linganisha hii na juhudi za ufafanuzi katika mifano kama CycleGAN, ambapo ramani za umakini au taswira za sifa hutumiwa kuelezea matokeo.

Ufahamu Unaoweza Kutekelezwa: Kwa kampuni za EdTech, hitimisho ni wazi: acha kujenga mifumo maalum ya kanuni au takwimu rahisi kwa tathmini ya lugha. Faida iko katika kutumia na kurekebisha kwa uangalifu mifano ya msingi. Uchambuzi wa usahihi na ukumbusho hutoa mwongozo wa ujumuishaji wa bidhaa: jenga mfumo wa hali mbili ambapo hali ya usahihi wa juu inasaidia tathmini rasmi, na hali ya ukumbusho wa juu inaongoza mazoezi ya uchunguzi. Hatua inayofuata, kama inavyoonekana katika utafiti wa hali ya juu wa mifumo ya kufundisha (k.m., majukwaa ya Carnegie Learning), ni kupanua hii kutoka "upimaji wa majibu" hadi "uchambuzi wa vipingamizi" na "utengenezaji wa mwongozo wa kibinafsi," kwa kutumia alama za ujasiri za mfano na uwakilishi wa ndani kutambua dhana potofu maalum za mwanafunzi.

5. Mfano wa Mfumo wa Uchambuzi

Hali: Kuchambua kwa nini mfano unaweza kushindwa kwenye swali fulani la SC.

Swali: "She _____ to the store yesterday and bought some milk."
Chaguzi: (A) go (B) goes (C) went (D) going

Utumiaji wa Mfumo:

Uwakilishi wa Ingizo: Mfano hupokea: "She [MASK] to the store yesterday and bought some milk."
Upimaji wa Chaguo: Kwa kila chaguo, mfano hutengeneza/kukamilisha sentensi na kuhesabu alama.
- Alama("went") = -log P("She went to the store...") // Inapaswa kuwa ndogo zaidi (bora).
- Alama("goes") = -log P("She goes to the store yesterday...") // Kubwa zaidi kutokana na kutolingana kwa wakati.
Utambuzi wa Kushindwa: Ikiwa mfano utachagua vibaya "goes," tunachunguza:
- Upendeleo wa Data: Je, "goes" ilikuwa ya mara kwa mara kupita kiasi katika data ya mafunzo katika miktadha sawa?
- Dirisha la Muktadha: Je, mfano ulishindwa kutoa uzito wa kutosha kwa kiashiria cha wakati "yesterday"?
- Nguvu ya Kipingamizi: Je, "goes" ni kipingamizi chenye nguvu hasa kwa sababu ni sahihi kisarufi kwa mhusika "She" kwa ujumla?
Urekebishaji: Ongeza data ya mafunzo kwa mifano zaidi ikisisitiza makubaliano ya kielezi cha wakati-kitenzi, au rekebisha lengo la marekebisho ili kuadhibisha kutolingana kwa wakati kwa uzito zaidi.

Uchambuzi huu uliopangwa unasonga zaidi ya vipimo rahisi vya usahihi hadi uboreshaji wa mfano unaoweza kutekelezwa.

6. Matumizi ya Baadaye na Mwelekeo

Njia za Kujifunza za Kibinafsi: Kutumia ujasiri wa mfano na muundo wa makosa kutambua udhaifu maalum wa kisarufi wa mwanafunzi na kupendekeza mazoezi yanayolenga.
Utengenezaji wa Maswali ya Kiotomatiki: Kubadilisha mfano ili kutengeneza maswali mapya, ya hali ya juu ya SC yenye vipingamizi vinavyowezekana kwa kuficha maneno katika sentensi za kweli na kutumia mfano kupendekeza mbadala, sawa na mbinu zilizochunguzwa katika arXiv:2005.05909.
Ujumuishaji wa Njia Nyingi: Kuchanganya mifano ya msingi wa maandishi na utambuzi wa usemi ili kutathmini kujaza sentensi kwa mdomo, kutoa tathmini kamili ya uwezo wa lugha.
AI Inayoelezeka kwa Elimu (XAI-Ed): Kukuza mbinu za kufanya "mantiki" ya mfano iwe wazi—k.m., kuangazia maneno gani katika sentensi yalikuwa muhimu kukataa kipingamizi—ili kujenga imani na kutoa maoni ya kina.
Uhamishaji wa Lugha Nyingi: Kutumia mfumo huu kwa maswali ya SC ya lugha zingine, kwa kutumia mifano ya lugha nyingi iliyofunzwa mapema kama mT5 au mBART.

7. Marejeo

Zweig, G., et al. (2012). SAT Sentence Completion. Microsoft Research Tech Report.
Shen, L., et al. (2015). Blank Language Model. EMNLP.
Donahue, J., et al. (2020). Pre-training with Masked Text. NeurIPS.
Liu, Y., et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
Lewis, M., et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
Raffel, C., et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
Koedinger, K.R., et al. (2012). The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning. Cognitive Science.
Zhu, J.Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV. (Imetajwa kama mfano wa juhudi za ufafanuzi).
International Educational Data Mining Society (IEDMS). Resources on Real-world Educational Datasets. https://educationaldatamining.org/