Seti ya Takwimu ya RACE: Kigezo Kikubwa cha Kipimo cha Kusoma na Kuelewa kwa Mashine

1. Utangulizi na Muhtasari

Hati hii inachambua karatasi ya msingi "RACE: Seti Kubwa ya Takwimu ya Kusoma na Kuelewa Kutoka kwa Mitihani" iliyowasilishwa katika EMNLP 2017. Kazi hii inatanguliza seti ya takwimu ya RACE, iliyojengwa ili kushughulikia mapungufu muhimu katika viwango vya kusoma na kuelewa kwa mashine (MRC) vilivyopo. Nadharia kuu ni kwamba seti za takwimu za awali, ambazo mara nyingi hutegemea maswali yanayotolewa kwa wingi au yaliyokusanywa kutoka kwa umma, zimeshindwa kuwajibisha kikamilifu uwezo wa kufikiri wa mfano, na kusababisha vipimo vya utendakazi vilivyopandishwa ambavyo havionyeshi uelewa wa kweli wa lugha.

2. Seti ya Takwimu ya RACE

2.1. Ukusanyaji wa Data na Chanzo

RACE inatokana na mitihani ya Kiingereza iliyoundwa kwa wanafunzi wa shule za upili na sekondari nchini China (umri wa miaka 12-18). Maswali na aya zimeundwa na wataalamu wa fani (walimu wa Kiingereza), na kuhakikisha ubora wa juu na umuhimu wa kielimu. Uchaguzi huu wa wataalamu ni hatua ya makusudi ya kuepuka kelele zilizopo katika seti za takwimu zilizokusanywa kutoka kwa umma au zilizotengenezwa kiotomatiki kama SQuAD au NewsQA.

2.2. Takwimu na Muundo wa Seti ya Data

• Aya: 27,933
• Maswali: 97,687
• Muundo: Chaguo nyingi (chaguo 4, 1 sahihi)
• Mgawanyiko: RACE-M (shule ya upili), RACE-H (shule ya sekondari), na mgawanyiko wa kawaida wa mazoezi/ukaguzi/majaribio.
• Ufuniko wa Mada: Pana na tofauti, kama ilivyoamuliwa na mitaala ya kielimu, na kuepuka upendeleo wa mada katika seti za takwimu zilizotokana na vyanzo moja kama makala za habari au hadithi za watoto.

2.3. Tofauti Muhimu

RACE iliundwa kuwa kigezo cha kipimo "kigumu". Tofauti zake kuu ni:

• Majibu Yasiyo ya Kutoa: Maswali na chaguo za majibu sio sehemu za maandishi zilizokopwa kutoka kwenye aya. Yamebadilishwa maneno au kufupishwa, na kumlazimisha mfano kufanya utambuzi badala ya kufananisha muundo rahisi. Hii inapingana moja kwa moja na kasoro kubwa katika seti za takwimu kama SQuAD v1.1, ambapo mifano mara nyingi ilikuwa ikipata majibu kupitia mwingiliano wa maneno ya juu.
• Uwiano Mkubwa wa Kufikiri: Sehemu kubwa zaidi ya maswali yanahitaji kufikiri kimantiki, utambuzi, muunganisho, na uelewa wa mahusiano ya sababu na athari ikilinganishwa na seti za takwimu za wakati huo kama CNN/Daily Mail au Jaribio la Kitabu cha Watoto.
• Kikomo Kilichojikita kwa Wataalamu: Kikomo cha utendakazi wa binadamu, kilichoanzishwa na waundaji wa mitihani na wanafunzi wenye utendakazi wa juu, ni 95%. Hii inatoa lengo wazi na lenye maana kwa utendakazi wa mfano, tofauti na seti za takwimu ambapo makubaliano ya binadamu ni ya chini.

3. Maelezo ya Kiufundi na Mbinu

3.1. Uundaji wa Tatizo

Kazi ya kusoma na kuelewa katika RACE imeundwa rasmi kama tatizo la kujibu maswali ya chaguo nyingi. Kwa kuzingatia aya $P$ inayojumuisha alama $n$ $\{p_1, p_2, ..., p_n\}$, swali $Q$ lenye alama $m$ $\{q_1, q_2, ..., q_m\}$, na seti ya majibu $k$ yanayoweza kuchaguliwa $A = \{a_1, a_2, a_3, a_4\}$, mfano lazima uchague jibu sahihi $a_{sahihi} \in A$.

Uwezekano wa jibu $a_i$ kuwa sahihi unaweza kuonyeshwa kama utendakazi wa uwakilishi wa pamoja wa $P$, $Q$, na $a_i$: $$P(a_i \text{ ni sahihi} | P, Q) = \text{Softmax}(f(\phi(P), \psi(Q), \omega(a_i)))$$ ambapo $\phi, \psi, \omega$ ni utendakazi wa usimbuaji (mfano, kutoka kwa RNN au Transformers) na $f$ ni utendakazi wa kupima alama.

3.2. Vipimo vya Tathmini

Kipimo kikuu cha tathmini ni usahihi: asilimia ya maswali yaliyojibiwa kwa usahihi. Kipimo hiki rahisi kinaendana na asili ya data inayotokana na mitihani na kuruhusu kulinganisha moja kwa moja na utendakazi wa wanafunzi binadamu.

4. Matokeo ya Majaribio na Uchambuzi

4.1. Utendakazi wa Mfano wa Msingi

Karatasi hii iliweka viwango vya msingi vikali mnamo 2017, ikiwa ni pamoja na mifano kama Sliding Window, Stanford Attentive Reader, na GA Reader. Mfano bora zaidi wa msingi ulifikia usahihi wa takriban 43% kwenye seti ya majaribio ya RACE. Hii ilikuwa tofauti kubwa na mifano ambayo ilikuwa ikifikia utendakazi wa karibu na binadamu au zaidi ya binadamu kwenye seti rahisi za takwimu za kutoa wakati huo.

4.2. Kikomo cha Utendakazi wa Binadamu

Kikomo cha utendakazi wa binadamu, kilichotokana na utendakazi wa wanafunzi bora na wataalamu, ni 95%. Hii inaweka pengo la asilimia 52 kati ya mifano ya hali ya juu zaidi (SOTA) na uwezo wa binadamu, na kuonyesha ugumu wa seti ya takwimu na njia ndefu iliyoko mbele kwa uelewa wa mashine.

4.3. Uchambuzi wa Pengo la Utendakazi

Pengo la ~43% dhidi ya 95% lilikuwa hoja yenye nguvu zaidi ya karatasi hiyo. Lilionyesha kwa macho kwamba mifano ya MRC iliyopo, ingawa ilifanikiwa kwenye kazi rahisi, haikuwa na uwezo wa kweli wa kufikiri na kuelewa. Pengo hili lilitumika kama wito wazi wa hatua kwa jamii ya NLP ili kukuza usanifu wa kisasa zaidi.

Maelezo ya Chati (Yaliyodokezwa): Chati ya baa ingeonyesha baa mbili: "Mfano Bora (2017)" kwa ~43% na "Kikomo cha Binadamu" kwa 95%, na pengo kubwa na lenye mvutano kati yao. Baa ya tatu ya "Kubahatisha Kwa Nasibu" kwa 25% ingeongeza muktadha zaidi.

5. Mfumo wa Uchambuzi na Utafiti wa Kesi

Mfumo wa Kutathmini Seti za Takwimu za MRC: Ili kukadiria ubora na ugumu wa kigezo cha kipimo cha MRC, wachambuzi wanapaswa kuchunguza:

1. Chanzo cha Jibu: Je, majibu ni ya kutoa (sehemu za maneno kutoka kwa maandishi) au ya kufupisha/yaliyotengenezwa?
2. Aina ya Swali: Ni uwiano gani unahitaji kukumbuka ukweli dhidi ya utambuzi (mfano, sababu, mantiki, uvumi)?
3. Asili ya Data: Je, data imechaguliwa na wataalamu, imekusanywa kutoka kwa umma, au ni ya sintetiki? Je, kiwango cha kelele ni kipi?
4. Pengo la Utendakazi: Je, tofauti kati ya utendakazi wa mfano wa SOTA na kikomo cha binadamu ni nini?
5. Utofauti wa Mada na Mtindo: Je, seti ya takwimu inatokana na kikoa nyembamba (mfano, Wikipedia) au vikoa vingi?

Utafiti wa Kesi: RACE dhidi ya SQuAD 1.1
Kwa kutumia mfumo huu: Majibu ya SQuAD 1.1 ni sehemu za kutoa, maswali kwa kiasi kikubwa ni ya ukweli, data imekusanywa kutoka kwa umma (na kusababisha utata fulani), SOTA ya 2017 (BiDAF) ilikuwa ikikaribia utendakazi wa binadamu (~77% dhidi ya ~82% F1), na mada zimewekwa kikomo kwenye makala za Wikipedia. RACE inapima juu kwa ugumu (majibu ya kufupisha, kufikiri kwa kiwango kikubwa), ubora (imechaguliwa na wataalamu), na utofauti (maandishi ya kielimu), na kusababisha pengo kubwa na lenye maana la utendakazi ambalo huchunguza vizuri udhaifu wa mfano.

6. Uchambuzi Muhimu na Ufahamu wa Wataalamu

Ufahamu wa Msingi: Karatasi ya RACE haikuwa tu kuanzisha seti nyingine ya takwimu; ilikuwa ni ushirikiano wa kimkakati uliofunua udhaifu muhimu katika hadithi ya maendeleo ya fani ya NLP. Kufikia 2017, matokeo yaliyovutia kichwa kwenye SQuAD yalikuwa yakiunda dhana potofu kwamba mashine zilikuwa zikikaribia kiwango cha binadamu cha kusoma na kuelewa. RACE ilifunua hii kuwa mirage, iliyojengwa kwenye viwango vya kipimo vilivyolipa kwa kufananisha muundo wa juu juu kuliko uelewa wa kina. Pengo lake la alama 52 lilikuwa ukaguzi wa ukweli wenye kufanya mtu awe na busara, na kusema kwa nguvu kwamba kufikiri kwa kweli kwa mashine bado lilikuwa lengo la mbali.

Mtiririko wa Mantiki: Mantiki ya waandishi ni kamili. 1) Tambua kasoro: seti za takwimu zilizopo ni rahisi sana na zenye kelele. 2) Pendekeza suluhisho: unda seti ya takwimu kutoka kwa chanzo kilichoundwa wazi kujaribu uelewa—mitihani ya kawaida. 3) Thibitisha nadharia: onyesha kwamba mifano ya SOTA inashindwa vibaya kwenye jaribio hili jipya na kali. Hii inafanana na mbinu ya kuunda seti za takwimu "za kupinga" katika taswira ya kompyuta ili kuvunja mifano iliyopandishwa, kama ilivyoonekana kwa kuanzishwa kwa ImageNet-C kwa ajili ya kujaribu uthabiti dhidi ya uharibifu. RACE ilitumika kwa madhumuni sawa kwa NLP.

Nguvu na Kasoro: Nguvu kubwa zaidi ya RACE ni dhana yake ya msingi: kutumia ujuzi wa miongo iliyomo katika tathmini ya kielimu. Hii inampa uhalali usio na kifani wa kujenga kwa kupima uelewa. Hata hivyo, kasoro kuu, iliyokubaliwa hata na waundaji wake, ni upekee wake wa kitamaduni na kielimu. Aya na mifumo ya kufikiri imechujwa kupitia lenzi ya elimu ya Kiingereza ya Wachina. Ingawa hii haibatilishi matumizi yake, inaweza kuanzisha upendeleo ambao haupo katika mitihani ya asili ya Kiingereza. Seti za takwimu zinazofuata kama DROP (zinazohitaji kufikiri tofauti juu ya aya) au BoolQ (maswali ya ndiyo/hapana) zimejenga juu ya falsafa ya RACE huku zikitafuta msingi wa kitamaduni mpana.

Ufahamu Unaoweza Kutekelezwa: Kwa watendaji na watafiti, somo ni wazi: uteuzi wa kigezo cha kipimo huamua mtazamo wa maendeleo. Kutegemea tu viwango vya kipimo "vilivyotatuliwa" husababisha kuridhika. Fani lazima iendelee kuunda na kupa kipaumbele "seti za changamoto" zinazochunguza uwezo maalum, kama mfumo wa HELM (Tathmini ya Jumla ya Mifano ya Lugha) unavyofanya leo. Wakati wa kutathmini mfano mpya, utendakazi wake kwenye RACE (au wafuasi wake kama RACE++, au viwango vya kipimo vya kufikiri vya kisasa) unapaswa kupimwa kwa uzito zaidi kuliko utendakazi wake kwenye kazi za QA za kutoa. Uwekezaji unapaswa kuelekezwa kwenye usanifu unaoonyesha wazi mnyororo wa kufikiri na ujuzi wa ulimwengu, na kuendelea zaidi ya kufananisha muktadha na swali. Umuhimu wa kudumu wa RACE, kama ilivyotajwa katika kazi za msingi kama karatasi ya asili ya BERT na zaidi, unathibitisha kwamba kuunda kigezo kigumu, kilichojengwa vizuri ni moja ya michango yenye athari kubwa zaidi kwa utafiti wa AI.

7. Matumizi ya Baadaye na Mwelekeo wa Utafiti

• Kufundisha kwa Kufikiri Imara: RACE na wafuasi wake ni uwanja bora wa mazoezi kwa ajili ya kuendeleza mifano inayofanya kufikiri imara, yenye hatua nyingi. Hii inatumika moja kwa moja kwenye ukaguzi wa hati za kisheria, uchambuzi wa fasihi ya matibabu, na mifumo ya usaidizi wa kiufundi ambapo majibu hayako kwa maneno kamili katika maandishi.
• Teknolojia ya Elimu: Matumizi ya moja kwa moja zaidi ni katika mifumo ya kufundisha yenye akili (ITS). Mifano iliyofunzwa kwenye RACE inaweza kutoa usaidizi wa kibinafsi wa kusoma na kuelewa, kutengeneza maswali ya mazoezi, au kutambua udhaifu maalum wa mwanafunzi katika kufikiri.
• Kigezo cha Kipimo cha Mifano Kubwa ya Lugha (LLMs): RACE bado ni kigezo muhimu cha kipimo cha kutathmini uwezo wa kufikiri wa LLMs za kisasa kama GPT-4, Claude, au Gemini. Ingawa mifano hii imepita viwango vya msingi vya 2017 kwa kiasi kikubwa, kuchambua mifumo yao ya makosa kwenye RACE kunaweza kufunua mapungufu ya kudumu katika kutoa mantiki au uelewa wa taarifa zisizo wazi.
• Upanuzi wa Lugha Nyingi na Njia Nyingi: Kazi ya baadaye inajumuisha kuunda viwango vya kipimo vya mtindo wa RACE katika lugha zingine na kwa uelewa wa njia nyingi (maandishi + michoro, chati), na kuendelea kusukuma mipaka ya uelewa wa mashine.
• AI Inayoweza Kuelezewa (XAI): Ugumu wa maswali ya RACE unaufanya kuwa uwanja bora wa majaribio kwa ajili ya kuendeleza mifano ambayo sio tu inajibu kwa usahihi lakini pia inatoa maelezo yanayoweza kusomeka na binadamu au nyufa za kufikiri kwa ajili ya chaguo zake.

8. Marejeo

1. Lai, G., Xie, Q., Liu, H., Yang, Y., & Hovy, E. (2017). RACE: Seti Kubwa ya Takwimu ya Kusoma na Kuelewa Kutoka kwa Mitihani. Katika Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP) (ukurasa 785-794).
2. Rajpurkar, P., Zhang, J., Lopyrev, K., & Liang, P. (2016). SQuAD: Maswali 100,000+ ya Uelewa wa Maandishi kwa Mashine. Katika Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP).
3. Hermann, K. M., et al. (2015). Kufundisha Mashine Kusoma na Kuelewa. Katika Advances in Neural Information Processing Systems (NeurIPS).
4. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Ufundishaji wa Awali wa Transformers za Upande Wote za Kina kwa Uelewa wa Lugha. Katika Proceedings of NAACL-HLT.
5. Dua, D., et al. (2019). DROP: Kigezo cha Kipimo cha Kusoma na Kuelewa Kinachohitaji Kufikiri Tofauti Juu ya Aya. Katika Proceedings of NAACL-HLT.
6. Hendrycks, D., & Dietterich, T. (2019). Kupima Uthabiti wa Mtandao wa Neural kwa Uharibifu na Usumbufu wa Kawaida. Katika International Conference on Learning Representations (ICLR). (Imetajwa kwa mfano wa ImageNet-C).
7. Liang, P., et al. (2022). Tathmini ya Jumla ya Mifano ya Lugha (HELM). arXiv preprint arXiv:2211.09110.