Wannan takarda tana ƙalubalantar tsarin ƙamus mai tsayayye da ya kafa tushe a cikin samfuran harshe na zamani (LMs). Samfuran harshe na yanzu sun dogara da ƙayyadaddun masu sanya alamar kalma da aka horar da su akan tarin rubutu da aka ƙayyade, waɗanda suke zama marasa canzawa bayan gina samfurin. Ko da yake ya isa don ayyuka na asali, wannan tsarin mai tsayayye yana iyakance daidaitawa a cikin yanayin samarwa mai ci gaba, kamar haɗa jimloli na musamman na yanki ko tsayayyen nassoshi don ambato. Takardar ta ba da shawarar Ƙamus Mai Sauyi, wani tsari wanda ke ba wa LMs damar haɗa kowane yanki na rubutu (jimloli) a matsayin raka'a na samarwa bisa buƙata, duka a lokacin shigarwa da fitarwa.
Babban ƙirƙira ya ta'allaka ne akan ɗaukar jimloli masu yawan kalmomi a matsayin 'yan ƙasa na farko, kamar guda ɗaya a cikin ƙamus mai tsayayye. Wannan yana magance iyakoki a cikin daidaitawa zuwa yanki da samarwa bisa shaida, yana motsawa fiye da ƙuntatawar da farkon tarin sanya alamar kalma ya sanya.
Hanyar ta ta'allaka ne akan ba wa LMs damar sarrafa ƙamus wanda ke canzawa bisa mahallin.
Wani muhimmin sashi shine Mai Rikodin Jimla Mai Sauyi, wanda ke maye gurbin tsohon matakin haɗawa mai tsayayye. Wannan mai rikodin yana sanya kowane yanki na rubutu ("jimla") zuwa wakilcin vector mai yawa a cikin sararin shigar samfurin. Mafi mahimmanci, yana ba wa samfurin damar karɓar da samar da waɗannan jimlolin masu yawan kalmomi a mataki ɗaya, yana ƙetare samarwa ta hanyar jeri na kalma-kalma don jerin abubuwa na yau da kullun.
Horarwa tare da ƙamus mai sauyi yana buƙatar gina bayanai a hankali. Takardar ta gano cewa horarwa cikin sauki na iya karkatar da samfurin zuwa koyaushe yana amfani da ko dai tsoffin alamomin tsayayye ko sabbin jimloli masu sauyi. Don hana wannan, samfuran horarwa dole ne su kasance an haɗa su yadda ya kamata, suna haɗa samarwar alamomin tsayayye da samarwar jimloli masu sauyi don koya wa samfurin lokacin da zai yi amfani da wanne.
Koyon ingantaccen mai rikodin jimla yana da wahala ba tare da misalai marasa amfani ba. Marubutan sun ba da shawarar dabarun sabbi biyu:
An kimanta tsarin ƙamus mai sauyi da aka gabatar a fannoni da yawa, yana nuna gagarumin ci gaba.
+25%
Inganci a cikin ingancin samarwa (idan aka kwatanta da LM na yau da kullun)
-20%
Rage lokacin samarwa
Sakamako na ƙididdiga ya nuna ƙaruwar kashi 25% a cikin ma'aunin MAUVE, yana nuna mafi kyawun daidaitawa tsakanin samarwa da rarraba rubutun ɗan adam. Bugu da ƙari, samar da jimloli na yau da kullun a matsayin guda ɗaya yana rage adadin matakan warwarewa, yana haifar da rage kashi 20% na jinkiri. Wannan yana nuna yanayin cin nasara da yawa a cikin NLP: ingantaccen inganci tare da ƙara sauri.
Za a iya amfani da ƙamus mai sauyi zuwa sabbin yankuna ta hanyar ba tare da horo ba. Ta hanyar ƙara jimloli na musamman na yanki (misali, ƙamus na fasaha, sunayen abubuwa) zuwa ƙamus mai sauyi a lokacin ƙididdiga, samfurin zai iya samar da rubutu mafi daidai da sauƙi ba tare da wani sake horo ba, yana nuna sassauci na musamman.
A cikin ayyukan amsa tambayoyi, samfurin yana amfani da ƙamus mai sauyi don haɗa tsayayyen yankunan rubutu daga takaddun tushe. Wannan yana haifar da ingantattun sakamakon ambato—mafi daidaitaccen da dacewar asalin asali—ba tare da lalata daidaiton amsa ba. Wannan yana magance muhimmiyar buƙata don samarwa mai dogaro, bisa shaida a cikin aikace-aikace kamar samarwa mai ƙarfafawa da maido (RAG).
Babban ƙalubalen fasaha shine ƙididdigewa da zaɓi daga rukunin 'yan takara masu sauyi. A kowane mataki na samarwa $t$, samfurin yana da ƙamus mai tsayayye $V_s$ da saitin jimloli masu sauyi $P_t$ masu dacewa da mahallin. An lissafta rarraba yuwuwar akan haɗaɗɗun saitin $V_s \cup P_t$. Don jimla $p \in P_t$ wanda ya ƙunshi alamomi $(y_1, y_2, ..., y_k)$, makin sa an samo shi ne daga wakilcin mai rikodin jimla $e(p)$: $$\text{Maki}(p) = f(\mathbf{h}_t, e(p))$$ inda $\mathbf{h}_t$ shine yanayin ɓoyayyen samfurin a mataki $t$ kuma $f$ shine aikin ƙididdigewa (misali, samfurin ɗigo ko matakin layi da aka koya). Wannan yana ba wa samfurin damar kwatanta alamomi guda ɗaya da jimloli masu yawan kalmomi akan tushe guda ɗaya. Manufar horarwa tana haɗa tsinkayen alamar gaba na yau da kullun tare da tsinkayen jimla ta gaba, ta amfani da aikin asara da aka gyara wanda ke daidaita hanyoyin samarwa biyu.
Tsarin don Kimanta Haɗin Ƙamus Mai Sauyi:
Aikace-aikace:
Wannan takarda ba kawai gyara ƙari ba ce; ƙalubale ce ta asali ga babban zato a cikin NLP na zamani. Shekaru da yawa, mun ɗauki mai sanya alamar kalma a matsayin mataki na gaba-gaba mai ƙayyadaddun—mummunan abu da ya zama dole wanda ke raba rubutu zuwa ƙayyadaddun saiti na raka'a. Liu da sauransu sun gano wannan daidai a matsayin toshewa. Ƙamus mai tsayayye riga ce mai matsi, yana iyakance ikon samfurin don ɗaukar sabbin sharuɗɗan ko samar da ra'ayoyin yau da kullun na kalmomi da yawa cikin sauƙi. Shawarar ƙamus mai sauyi da suka bayar yana kama da ba wa samfurin ikon "macro", yana ba shi damar ɗaukar jimloli masu yawa ko masu mahimmanci na mahallin a matsayin ayyuka atomatik. Wannan yana kai hari kai tsaye ga mafi muni biyu: rashin ingancin warwarewa ta atomatik da rashin ƙarfin LMs a wajen yankin horonsu. Sakamakon—haɓakar inganci na kashi 25% tare da haɓakar sauri na kashi 20%—ba kawai ingantawa ba ne; suna nuna alamar yuwuwar canjin tsari inda ƙamus ya zama abu mai rai, na mahallin na samfurin kansa.
Hujja tana da gamsarwa kuma an tsara ta da kyau. Ya fara da binciken matsalar: ƙamus mai tsayayye ya gaza a cikin ayyukan samarwa na ci gaba kamar daidaitawa zuwa yanki da daidaitaccen ambato. Maganin da aka gabatar—ƙamus mai sauyi—yana biye da ma'ana amma nan da nan ya fito da matsalolin fasaha: yadda ake wakiltar jimloli masu yuwuwa marasa iyaka (wanda mai rikodin jimla ya warware) da yadda ake horar da shi yadda ya kamata (wanda aka warware ta hanyar haɗaɗɗun bayanai da zaɓin marasa dacewa). Gwaje-gwajen daga nan sai suka tabbatar da maganin a duk faɗin amfani da aka gabatar da farko, suna haifar da rufaffiyar madauki. Da'awar aiki mai sauƙi tana da mahimmanci; tana nuna cewa za a iya dawo da hanyar zuwa samfuran da suka riga sun kasance kamar GPT ko LLaMA, yana ƙara tasirin aikinta sosai. Kwararar daga gano matsala zuwa ƙirƙira ta fasaha zuwa tabbatarwa ta zahiri abin koyi ne.
Ƙarfi: Amfanin biyu na ingantaccen inganci da ingantaccen aiki ba kasafai ba ne kuma yana da matuƙar ƙima. Daidaitawar yanki ba tare da horo ba siffa ce mai kashewa don aikace-aikacen kasuwanci. Mayar da hankali kan samar da ambato ya yi daidai da turawar masana'antu zuwa AI mai dogaro, mai tabbatarwa. Ƙirar fasaha, musamman dabarun zaɓin marasa dacewa, yana nuna zurfin fahimtar ƙalubalen koyon wakilci.
Kurakurai & Tambayoyin Budadden: Takardar ba ta da nauyin lissafin mai rikodin jimla da maido da jimloli masu sauyi cikin real-time. A cikin yanayin babban kwarara, ci gaba da rikodin sabbin jimloli na iya soke ribar jinkiri. Hakanan akwai haɗarin samfurin ya zama dogaro sosai akan jimlolin da aka bayar, yana iya cutar da haɗakar sa na gabaɗaya—ikonsa na gina sabbin jimlolin da ba a cikin saitin mai sauyi ba. Bugu da ƙari, ba a bincika abubuwan da ke tattare da aminci: shin masu mugunta za su iya cusa jimloli masu son zuciya ko cutarwa cikin ƙamus mai sauyi? Hanyar, ko da yake tana da ƙarfi, tana iya motsa wasu matsalolin sarrafawa daga ma'aunin samfurin zuwa shigarwar ƙamus na lokacin aiki.
Ga ƙungiyoyin samfurin AI, wannan binciken umarni ne don sake kimanta tarin samarwar rubutunku. Ba da fifikon gwaje-gwajen haɗa matakin ƙamus mai sauyi don amfani da suka haɗa da maimaita sharuɗɗan (shari'a, likita, tallafin fasaha) ko buƙatar asalin asali. Daidaitawar ba tare da horo ba filin gwaji ne mai ƙarancin haɗari, babban riba.
Ga masu bincike, mataki na gaba nan da nan shine gwada wannan hanyar da sauran hanyoyin ingantaccen aiki kamar warwarewa na hasashe ko gaurayawar ƙwararru. Hanyar haɗin gwiwa na iya zama mafi kyau. Hakanan, bincika haɗin kai tare da tsarin samarwa mai ƙarfafawa da maido (RAG); ƙamus mai sauyi na iya zama hanyar da ta ɓace wanda ke ba wa RAG damar motsawa fiye da haɗa mahallin zuwa ainihin samarwa tare da shi cikin sauƙi.
Ga masu aiki, ɗauki ƙamus mai sauyi a matsayin sabon hyperparameter—"ƙamus na mahallin" wanda za a iya tsara shi da inganta shi don takamaiman ayyuka. Fara gina bututun don cire mahimman jimloli ta atomatik daga tushen ilimi masu dacewa da tambayar ku. Makomar ingantaccen samarwa, daidaitaccen ba kawai a cikin manyan samfura ba, amma a cikin ƙamus masu wayo, masu daidaitawa.
A ƙarshe, wannan aikin, wanda ke tunawa da muhimmin canji da tsarin hankali na Transformer ya kawo (Vaswani et al., 2017), yana motsa mu daga tunanin ƙamus a matsayin ƙayyadaddun mataki na gaba-gaba zuwa la'akari da shi a matsayin wani yanki mai sauyi, mai mahimmanci na tsarin tunani da samarwa. Mataki ne mai mahimmanci zuwa ga samfuran harshe masu inganci, masu daidaitawa, da tushe.