VocAgnoLM: Kupata Ufumbuzi wa Kutofautiana kwa Msamiati katika Mafunzo ya Mfano wa Lugha ya Mwalimu na Mwanafunzi

2.1 Uelewa wa Msingi na Mtiririko wa Mantiki

Uelewa wa Msingi: Kikwazo cha msingi sio muundo wa mfano, bali ni kutolingana kwa uwakilishi. Huwezi kulinganisha moja kwa moja maembe (alama za Qwen) na machungwa (alama za TinyLlama). Ujanja wa VocAgnoLM upo katika kufafanua upya tatizo kutoka "kulinganisha matokeo" hadi "kuunganisha nafasi za maana na ishara za kujifunza." Inatenganisha maarifa ya mwalimu kutoka kwa mpango wake maalum wa kitenganishi cha alama.

Mtiririko wa Mantiki: Mchakato huu una mtiririko mzuri wa mlolongo: 1) Kwa maandishi ya pembejeo fulani, toa mfuatano wa alama kwa mifano ya mwanafunzi na mwalimu. 2) Tumia Ulinganisho wa Msamiati kwa Kiwango cha Alama kuunda ramani kati ya mfuatano usiofanana. 3) Tumia ramani hii kutumia Hasara Inayoongozwa na Mwalimu, kwa kutumia hasara ya ndani ya mwalimu kama ishara ya mafunzo kwa mwanafunzi, na hivyo kuepuka kulinganisha moja kwa moja uwezekano wa alama.

2.2 Ulinganisho wa Msamiati kwa Kiwango cha Alama

Sehemu hii inashughulikia tatizo la kutolingana kwa mfuatano. Inaanzisha ramani ya moja-kwa-wengi kutoka kwa kila alama ya mwanafunzi hadi kwenye mfuatano mdogo unaolingana wa alama za mwalimu. Kwa mfano, alama ya mwanafunzi "Pro" inaweza kuwa na ramani kwenye alama za mwalimu "Prob" na "ability". Hii inafanana kwa dhana na mbinu za kuunganisha katika tafsiri ya mashine (kama zile zinazotumika katika MT ya takwimu au mifano ya awali ya neva) lakini inatumika kwa kiwango cha neno ndogo katika mipango tofauti ya kitenganishi cha alama. Lengo ni kuunda daraja linaloruhusu mtiririko wa habari licha ya kutoungana kwa msamiati.

2.3 Hasara Inayoongozwa na Mwalimu

Badala ya kumlazimisha mwanafunzi kuiga usambazaji wa uwezekano wa alama inayofuata ya mwalimu—ambayo haiwezekani kwa msamiati tofauti—VocAgnoLM hutumia hasara ya uundaji wa lugha ya mwalimu mwenyewe kama mwongozo. Mwanafunzi anafunzwa kupunguza lengo linalochanganywa: hasara yake ya kawaida ya uundaji wa lugha pamoja na hasara inayohimiza uwakilishi wake wa ndani au utabiri kusababisha thamani ya chini ya hasara kwa mfano wa mwalimu kwenye mfuatano uliounganishwa. Hii ni aina ya uongozi wa kina zaidi, lakini wenye nguvu.

4.1 Usanidi na Vipimo vya Utendaji

Utafiti huu unatumia mfano wa mwanafunzi wa parameta 1B (TinyLlama) na mifano mbalimbali ya waalimu wa 7B (Llemma, Mistral, DeepSeek-Math, Qwen2.5-Math) yenye ukubwa wa msamiati kutoka 32K hadi 150K. Kipimo kikuu ni utendaji kwenye mkusanyiko wa tathmini ya hisabati, ikilinganisha VocAgnoLM dhidi ya msingi wa mafunzo ya kuendelea bila uongozi wa mwalimu.

4.2 Matokeo Muhimu na Ufafanuzi wa Chati

Matokeo ya kati yanaonyeshwa kwenye Mchoro 1 wa karatasi. Unaonyesha mwelekeo muhimu mbili:

1. Tatizo la Kutofautiana kwa Msamiati: Mhimili wa x unaonyesha mifano ya waalimu yenye utendaji unaoongezeka (kutoka Llemma hadi Qwen2.5-Math). Mistari inaonyesha kuingiliana kwa msamiati wao na TinyLlama. Kuna uhusiano wa kinyume unaoonekana wazi: mwalimu bora zaidi (Qwen) ana kuingiliana kidogo zaidi (~6%). Hii inaonyesha wazi tatizo ambalo VocAgnoLM inalenga kutatua.
2. Ufanisi wa VocAgnoLM: Maandishi yanasema kwamba kwa Qwen2.5-Math kama mwalimu, VocAgnoLM inafikia uongezekaji wa utendaji wa 46% ikilinganishwa na msingi. Hii inathibitisha kuwa mfumo unatumia mwalimu mwenye nguvu kwa mafanikio licha ya ushirika mdogo wa msamiati. Karatasi pia inabainisha faida thabiti kutoka kwa waalimu wenye nguvu zaidi, na kuthibitisha dhana ya msingi.

6.1 Uundaji wa Kihisabati

Ingawa kazi kamili ya hasara haijaelezewa kikamilifu katika dondoo lililotolewa, wazo la msingi linaweza kuwekwa rasmi. Acha $\mathcal{V}_s$ na $\mathcal{V}_t$ ziwe msamiati wa mwanafunzi na mwalimu. Kwa mfuatano wa pembejeo $x$, mwanafunzi hutoa mfuatano wa alama $\mathbf{s} = [s_1, ..., s_n]$ na mwalimu hutoa $\mathbf{t} = [t_1, ..., t_m]$, na $n \neq m$ kwa ujumla.

Kazi ya Ulinganisho wa Msamiati kwa Kiwango cha Alama $\mathcal{A}$ inaweka ramani kutoka kwa kila alama ya mwanafunzi $s_i$ hadi kwenye mfuatano mdogo unaofuatana wa alama za mwalimu: $\mathcal{A}(s_i) = \mathbf{t}_{[j:k]}$.

Hasara Inayoongozwa na Mwalimu $\mathcal{L}_{guide}$ kwa uwezekano inahusisha kuingiza uwakilishi au utabiri unaotokana na mwanafunzi (uliounganishwa kupitia $\mathcal{A}$) kwenye mpito wa mbele wa mwalimu na kuhesabu hasara ya uundaji wa lugha ya mwalimu juu yake. Lengo la jumla la mafunzo ya mwanafunzi linakuwa:

$$\mathcal{L}_{total} = \mathcal{L}_{LM}(\theta_s; x) + \lambda \cdot \mathcal{L}_{guide}(\theta_s, \theta_t; x, \mathcal{A})$$

ambapo $\theta_s$ na $\theta_t$ ni parameta za mwanafunzi na mwalimu, $\mathcal{L}_{LM}$ ni hasara ya kawaida ya uundaji wa lugha ya mwanafunzi, na $\lambda$ ni hyperparameta ya uzani. Ufunguo ni kwamba $\mathcal{L}_{guide}$ inafanya kazi kwenye mfuatano uliounganishwa, na hivyo kuzunguka kutofautiana moja kwa moja kwa msamiati.

6.2 Mfumo wa Uchambuzi: Mfano wa Utafiti

Hali: Kampuni inataka kuunda LLM madogo, yenye ufanisi kwa uchambuzi wa hati za kisheria. Mwalimu maalum bora anayepatikana ni `LexLaw-70B`, ambaye anatumia kitenganishi cha alama maalum kilichofunzwa kwenye mkusanyiko wa kisheria. Mwanafunzi lengwa ni mfano wa `Llama-3-8B`.

Utumiaji wa Mfumo:

1. Uchunguzi wa Tatizo: Chambua kuingiliana kwa msamiati. Kwa uwezekano ni chini ya 20%. Usafirishaji wa moja kwa moja wa maarifa hauwezekani.
2. Awamu ya Ulinganisho: Endesha sampuli ya maandishi ya kisheria kupitia mifano yote miwili. Tumia moduli ya kuunganisha ya VocAgnoLM (k.m., algorithm ya umbali wa haraka zaidi wa uandishi kwenye usimbaji wa jozi za baiti) kujenga ramani $\mathcal{A}$ kati ya alama za Llama-3 na mfuatano wa alama za LexLaw kwa istilahi za kawaida za kisheria (k.m., "force majeure").
3. Awamu ya Mafunzo: Fundisha mwanafunzi wa Llama-3 kwenye mkusanyiko wa kisheria. Kwa kila kundi, hesabu hasara yake ya kawaida. Sambamba, kwa kila mfuatano, tumia $\mathcal{A}$ kujenga "mtazamo wa mwalimu" wa mfuatano uliotabiriwa wa mwanafunzi, upeleke kwa mwalimu wa LexLaw aliyehifadhiwa, na uhesabu hasara yake. Rudisha hasara iliyochanganywa ili kusasisha parameta za mwanafunzi pekee.
4. Tathmini: Fuata utendaji kwenye viwango vya tathmini vya Maswali na Majibu ya kisheria dhidi ya mwanafunzi wa msingi aliyefunzwa bila uongozi wa LexLaw. Matokeo yanayotarajiwa ni uboreshaji wa mantiki ya kisheria bila kubadilisha kitenganishi cha alama cha mwanafunzi.