Ma'anar Fahimta: Tsarin Tsarin Fahimta don Karatun Labarai na Injin

1. Gabatarwa & Babban Jigo

Takardar "Don Gwada Fahimtar Injin, Fara da Ma'anar Fahimta" tana gabatar da wani bincike mai mahimmanci game da tsarin da ake bi a cikin binciken Fahimtar Karatun Injin (MRC). Marubutan, Dunietz da sauransu, suna jayayya cewa sha'awar fagen don ƙirar ayyukan amsa tambayoyi masu "wahala" a hankali ba ta da kyau kuma ba ta da tsari. Suna nuna cewa ba tare da fara ma'anar abin da ya ƙunshi fahimta ga wani nau'in rubutu ba, ma'auni na MRC ba su da tsari kuma sun kasa tabbatar da samfuran sun gina ingantattun wakilcin ma'anar rubutu masu amfani a ciki.

Babban gudummawar ita ce gabatar da Tsarin Tsarin Fahimta (ToU)—ƙayyadaddun tsari, abun ciki-farko na mafi ƙarancin ilimin da tsarin ya kamata ya ciro daga rubutun labari. Wannan yana canza mayar da hankali daga yadda ake gwadawa (ta hanyar tambayoyi masu wahala) zuwa abin da za a gwada (tsarin cikakken abun ciki).

2. Binciken Ƙirar Bayanan MRC na Wanzu

Takardar tana bitar hanyoyin gina bayanan MRC na gama-gari, tana nuna gazawarsu ta asali daga mahangar kimantawa ta tsari.

2.1 Tsarin "Wahala-Farko"

Yawancin ayyukan MRC na zamani (misali, SQuAD 2.0, HotpotQA, DROP) ana gina su ta hanyar sa masu lura da rubutu su karanta wani sashe su tsara tambayoyin da ake ɗauka masu wahala, sau da yawa suna mai da hankali kan nau'ikan tunani kamar tsalle-tsalle, hankali na gama-gari, ko ƙididdiga. Marubutan sun kwatanta wannan da "ƙoƙarin zama ƙwararren mai gudu ta hanyar kallon dakin motsa jiki kuma ɗaukar kowane motsa jiki da ya yi kama da wahala." Horon ba shi da tsari kuma ya rasa ingantacciyar hanyar zuwa ga fahimta ta gaskiya.

2.2 Gazawar Samar da Tambayoyi na Ad-Hoc

Wannan hanya tana haifar da bayanai tare da rufewa mara daidaituwa da cikakke na abun ciki na ma'ana na wani sashe. Babban aiki akan irin waɗannan ma'auni baya tabbatar da tsarin ya gina ingantaccen samfurin tunani na rubutun. A maimakon haka, yana iya yin kyau a daidaita samfurin saman ko yin amfani da son zuciya na musamman na bayanan, wani abu da aka rubuta sosai a cikin nazarin bayanan NLI da QA.

3. Tsarin da Aka Ba da Shawara: Tsarin Tsarin Fahimta (ToU)

Marubutan suna ba da shawarar canji na asali: fara ayyana manufar fahimta, sannan a samo gwaje-gwaje don haka.

3.1 Me Yasa Labarai?

An ba da shawarar labarai (gajerun labarai) a matsayin ingantaccen wurin gwaji saboda su ne nau'in rubutu na asali kuma mai rikitarwa tare da bayyanannun aikace-aikace na ainihi (misali, fahimtar bayanan shari'a, tarihin marasa lafiya, rahotannin labarai). Suna buƙatar samfurin abubuwan da suka faru, haruffa, manufofi, alaƙar dalili/lokaci, da yanayin tunani.

3.2 Abubuwan Tsarin Labari na ToU

An yi wahayi daga samfuran kimiyyar fahimi na fahimtar karatu (misali, samfurin Gina-Haɗin Kintsch), ToU da aka ba da shawara don labari yana ƙayyadaddun mafi ƙarancin abubuwan da wakilcin ciki na tsarin ya kamata ya ƙunshi:

• Ƙungiyoyi & Haɗin Kai: Bi duk haruffa, abubuwa, wurare.
• Abubuwan da suka faru & Jihohi: Gano duk ayyuka da jihohin bayyanawa.
• Tsarin Lokaci: Tsara abubuwan da suka faru da jihohi akan jadawalin lokaci.
• Dangantakar Dalili: Gano hanyoyin haɗin dalili-sakamako tsakanin abubuwan da suka faru/jihohi.
• Niyya & Yanayin Hankali: Ƙididdige manufofin haruffa, imani, da motsin rai.
• Jigo & Tsarin Duniya: Fahimtar gabaɗayan ma'ana, ɗabi'a, ko sakamako.

3.3 Aiki da ToU

ToU ba kaɗai ka'ida ba ce; tsari ne don ƙirar bayanai. Ga kowane ɓangare, masu ƙira aikin za su iya samar da tambayoyi ta tsari (misali, "Me ya haifar da X?", "Menene manufar Y lokacin da ta yi Z?") waɗanda ke bincika ko samfurin ya gina wannan ɓangaren wakilcin. Wannan yana tabbatar da cikakken rufewa da daidaito.

4. Shaida na Gwaji & Aikin Samfuri

Takardar ta ƙunshi gwaji na gwaji don tabbatar da sukar su.

4.1 Ƙirar Aikin Gwaji

An ƙirƙiri ƙaramin bayanai bisa ga ToU don sauƙaƙan labarai. An samar da tambayoyi ta tsari don bincika kowane ɓangare na samfurin.

4.2 Sakamako & Babban Bincike

Samfuran zamani (kamar BERT) sun yi rashin nasara akan wannan gwaji na tsari, duk da kasancewa masu ƙware a kan ma'auni na "wahala" na yau da kullun. Samfuran musamman sun yi wahala da tambayoyin da ke buƙatar tunani na dalili da ƙididdiga na yanayin hankali, daidai abubuwan da sau da yawa ba a sami samfurin yawa a cikin tarin QA na ad-hoc. Wannan gwaji na gwaji yana nuna cewa samfuran na yanzu ba su da ingantaccen fahimta, mai tsari da ToU ke buƙata.

5. Zurfin Fasaha & Tsarin Lissafi

Ana iya tsara ToU. Bari labari $N$ ya zama jerin jimloli $\{s_1, s_2, ..., s_n\}$. Samfurin fahimta $M$ ya kamata ya gina wakilci $R(N)$ wanda shine zane mai tsari:

$R(N) = (E, V, T, C, I)$

Inda:

• $E$: Saitin ƙungiyoyi (nodes).
• $V$: Saitin abubuwan da suka faru/jihohi (nodes).
• $T \subseteq V \times V$: Dangantakar lokaci (gefen).
• $C \subseteq V \times V$: Dangantakar dalili (gefen).
• $I \subseteq E \times V$: Dangantakar niyya (misali, Wakili(Ƙungiya, Abu)).

Manufar tsarin MRC ita ce ƙididdige $R(N)$ daga $N$. Nau'in QA $(q, a)$ aikin bincike ne $f_q(R(N))$ wanda ke dawo da $a$ idan $R(N)$ daidai ne. ToU yana ayyana mahimmanci kuma isasshen tsarin $R(N)$ don rubutun labari.

6. Tsarin Bincike: Misalin Nazarin Shari'a

Labari: "Anna ta ji takaicin da taurinta mai sannu-sannu. Ta ajiye aikinta, ta kashe na'urar, ta tafi kantin sayar da kayayyaki don siyan sabuwar faifan ƙwaƙƙwaron ƙwaƙƙwaron. Bayan ta shigar da ita, taurinta ya tashi cikin daƙiƙa, kuma ta yi murmushi."

Binciken Tushen ToU:

• Ƙungiyoyi: Anna, kwamfuta, aiki, kantin sayar da kayayyaki, SSD.
• Abubuwan da suka faru/Jihohi: ta ji takaici, ta ajiye aiki, ta kashe, ta tafi, ta saya, ta shigar, ta tashi, ta yi murmushi.
• Lokaci: [takaici] -> [ajiye] -> [kashe] -> [tafi] -> [saya] -> [shigar] -> [tashi] -> [murmushi].
• Dalili: Kwamfuta mai sannu-sannu ta haifar da takaici. Takaici ta haifar da manufar haɓakawa. Sayan & shigar da SSD ya haifar da saurin tashi. Saurin tashi ya haifar da murmushi (gamsuwa).
• Niyya: Manufar Anna: inganta saurin kwamfuta. Shirinta: saya da shigar da SSD. Imaninta: SSD zai sa kwamfuta ta yi sauri.
• Jigo: Magance matsala ta hanyar haɓaka fasaha yana haifar da gamsuwa.

7. Bincike Mai Muhimmanci & Sharhin Kwararru

Babban Fahimta: Dunietz da sauransu sun bugi zuciyar lalacewar hanyar kimantawa a cikin AI. Ci gaban ma'auni na fagen, mai kama da tasirin "Clever Hans" a farkon AI, ya ba da fifiko ga ƙananan nasarori akan fahimtar asali. ToU nasu kalubale ne kai tsaye ga al'ummar: daina bin maki na jagorar kuma fara ayyana menene nasara a zahiri. Wannan ya yi daidai da shakku mai girma daga masu bincike kamar Rebecca Qian da Tal Linzen, waɗanda suka nuna cewa samfuran sau da yawa suna magance ayyuka ta hanyar dabaru na saman maimakon zurfin tunani.

Kwararar Ma'ana: Hujjar tana da tsari mara kyau: (1) Gano matsalar (kimantawa mara tsari, mai mai da hankali kan wahala), (2) Ba da shawarar mafita mai ka'ida (ToU na abun ciki-farko), (3) Bayar da tabbataccen misali (don labarai), (4) Bayar da tabbacin gwaji (gwaji na gwaji yana nuna gazawar samfurin SOTA). Wannan yayi daidai da ingantaccen tsarin takardun farko waɗanda suka ayyana sabbin tsare-tsare, kamar takardar CycleGAN ta bayyananniyar ƙirar manufofin fassarar hoto mara biyu.

Ƙarfi & Kurakurai: Ƙarfin takardar shine bayyananniyar ra'ayi da sukar mai aiki. Tsarin ToU yana iya canzawa zuwa wasu nau'ikan rubutu (labaran kimiyya, takaddun shari'a). Duk da haka, babban kuskurensa shine ƙaramin girman gwajin gwaji. Ana buƙatar cikakken ma'auni na tushen ToU don gasa-gasar samfuran da gaske. Bugu da ƙari, ToU da kansa, duk da yana da tsari, yana iya zama bai cika ba—shin ya cika kama da tunanin zamantakewa ko hadaddun abubuwan da ba su dace ba? Mataki na farko ne da ake buƙata, ba ka'idar ƙarshe ba.

Fahimta Mai Aiki: Ga masu bincike: Gina tsararraki na gaba na ma'auni ta amfani da hanyar kama da ToU. Ga injiniyoyi: Ku kasance masu shakku sosai game da ikirarin cewa samfuran "sun fahimci" rubutu bisa ga ma'auni na wanzu. Kimanta samfuran a ciki da tsarin samfuran na musamman na aikace-aikace. Ga masu ba da kuɗi: Ba da fifiko ga binciken da ke ayyana da auna fahimta ta gaskiya akan ƙananan haɓaka akan ayyukan da suka gaza. Hanyar gaba ita ce ɗaukar ƙarin tsarin da ka'ida, hanyar kimantawa ta AI da aka sanar da kimiyyar fahimi, ta wuce tunanin "jerin sunayen matsaloli masu wahala".

8. Aikace-aikacen Gaba & Hanyoyin Bincike

• Haɓaka Ma'auni: Ƙirar manyan bayanai na MRC masu samuwa ga jama'a waɗanda aka gina su a fili daga ToUs don labarai, labarai, da taƙaitaccen kimiyya.
• Tsarin Samfuri: Ƙira tsarin jijiyoyi waɗanda ke gina da sarrafa wakilci mai tsari (kamar zane $R(N)$) maimakon dogaro kawai akan saka kayan aiki a ciki. Wannan yana nuni zuwa ga haɗin kai na neuro-symbolic.
• Binciken Bincike: Yin amfani da binciken tushen ToU azaman kayan aikin bincike masu ƙayyadaddun ƙayyadaddun don fahimtar takamaiman rauni a cikin samfuran da ke akwai (misali, "Samfurin X ya kasa akan tunani na dalili amma yana da kyau a bin diddigin ƙungiyoyi").
• Fahimtar Tsakanin Hanyoyi: Faɗaɗa ra'ayin ToU zuwa fahimtar hanyoyi daban-daban (misali, fahimtar labarun bidiyo ko labarun hoto).
• Aiwatar da Ainihi: Aikace-aikacen kai tsaye a cikin yankuna inda fahimta mai tsari ke da mahimmanci: tsarin koyarwa ta atomatik wanda ke kimanta fahimtar labari, mataimakan shari'a na AI waɗanda ke rarraba labaran shari'a, ko AI na asibiti wanda ke fassara tarihin marasa lafiya.

9. Nassoshi

1. Dunietz, J., Burnham, G., Bharadwaj, A., Rambow, O., Chu-Carroll, J., & Ferrucci, D. (2020). Don Gwada Fahimtar Injin, Fara da Ma'anar Fahimta. arXiv preprint arXiv:2005.01525.
2. Kintsch, W. (1988). Matsayin ilimi a cikin fahimtar magana: Samfurin Gina-Haɗin Kai. Bita na tunani, 95(2), 163.
3. Chen, D., Fisch, A., Weston, J., & Bordes, A. (2017). Karanta Wikipedia don Amsa Tambayoyin Buɗe-Yanki. Proceedings of ACL.
4. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Horon Farko na Masu Canza Tsari Masu Zurfi Biyu don Fahimtar Harshe. Proceedings of NAACL-HLT.
5. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Fassarar Hoto-zuwa-Hoto mara Biyu ta amfani da Cibiyoyin Adadi na Zagaye-Madaidaici. Proceedings of ICCV. (An ambata a matsayin misali na bayyananniyar ƙirar manufa).
6. McCoy, R. T., Pavlick, E., & Linzen, T. (2019). Dama don Dalilan Kuskure: Bincika Hanyoyin Haɗin Kai a cikin Ƙididdigar Harshe na Halitta. Proceedings of ACL.