Mākslīgā intelekta modeļi mazākām valodām: kā tie tiek līdzi?

Kopš statistisko valodas modeļu parādīšanās 1980. gados joma ir piedzīvojusi ievērojamu transformāciju. Mūsdienās īstais jautājums ir, kā AI modeļi mazākām valodām tiek līdzi šai transformācijai. Desmitgažu laikā metodoloģijas šo AI modeļu būvēšanai ir attīstījušās, apstrādāto datu apjoms ir pieaudzis, un paši modeļi ir kļuvuši sarežģītāki. Parametru – matemātisko koeficientu formulās – skaits ir nepārtraukti paplašinājies. Līdz 2020. gadam, ieviešot ChatGPT, termins “lielais valodas modelis” bija kļuvis plaši atpazīstams. Mūsdienās ir grūti atrast kādu, kurš par to nebūtu dzirdējis.

Bet ko nozīmē “liels” valodas modeļu kontekstā? Kādreiz par milzīgu tika uzskatīts modelis ar 3 miljardiem parametru, taču mūsdienās šādi skaitļi vairs nepārsteidz. OpenAI neatklāj precīzu GPT-4parametru skaitu, taču aplēses liecina, ka tas varētu svārstīties no 1 līdz 10 triljoniem.

Kas ir MI modeļi mazākām valodām?

Mākslīgā intelekta modeļi mazākām valodām ir valodas tehnoloģijas, kas paredzētas tādu valodu saprašanai, ģenerēšanai un tulkošanai, kurām ir mazāk pieejamu digitālo resursu. Atšķirībā no modeļiem, kas apmācīti galvenokārt ar lielām angļu valodas datu kopām, šīm sistēmām ir nepieciešami rūpīgi atlasīti apmācības dati, vietējā valodas ekspertīze un uzticamas novērtēšanas metodes, lai tās labi darbotos reālos lietošanas gadījumos.

Ko mākslīgā intelekta valodas modeļos nozīmē “liels”?

Šobrīd norisinās zinātniskā revolūcija un top nepieredzēti daudz publikāciju par lielajiem valodas modeļiem. Pētnieki visā pasaulē sacenšas, kā izstrādāt arvien jaudīgākus, precīzākus un daudzpusīgākus modeļus. Šiem modeļiem jāvar atbildēt uz jautājumiem, apkopot informāciju, tulkot tekstus un izpildīt dažādus ar valodu saistītus uzdevumus. Tomēr liels skaits parametru vien negarantē panākumus. Katram parametram jābūt precīzi izskaitļotam, proti, tam nepieciešama atbilstoša matemātiska vērtība, ko var nodrošināt tikai tad, ja apmācību datu apjoms ir pietiekams. Process sākas ar modeļa arhitektūras izstrādi: matemātiskajām formulām un koeficientiem, kuriem sākotnēji ir iestatītas nejauši izvēlētas vērtības. Modelim apstrādājot apmācību datus, šie koeficienti tiek precizēti. Ja arhitektūra ir pārāk liela un datu kopa pārāk maza, modelis ir neprecīzs un ar noslieci uz “halucinācijām”. Savukārt, ja modelis ir pārāk mazs, bet datu kopa ir plaša, modelim pietrūkst jaudas efektīvi uzņemt visu informāciju.

Kāpēc mākslīgā intelekta modeļiem mazākās valodās ir datu problēma

Lietotāju prasības arvien pieaug, tāpēc jo aktuālāka kļūst apmācību datu nepietiekamības problēma. Salīdzinot ar angļu, vācu vai poļu valodu, lietuviešu valodā ir ievērojami mazāk pieejamo tekstu. Pētnieki aktīvi strādā, lai atrisinātu šo problēmu. Piemēram, uzņēmums Tilde sadarbojas ar VDU profesore Jurgita Kapočūte-Dzikiene un Viļņas Universitāti , lai savāktu vairāk datu, kas kalpos par pamatu precīzāku modeļu izstrādei. Arī lielie tehnoloģiju uzņēmumi, piemēram, OpenAI, Meta, un Google DeepMind , saskaras ar problēmu, ka mazākām valodām ir pieejams ierobežots datu apjoms. Tomēr viņu modeļi ir daudzvalodīgi, kas padara tos labāk pielāgojamus. Izmantojot dominējošo valodu zināšanas un starpvalodu savienojumus, daudzvalodu modeļi var labāk atbalstīt mazākas valodas. Tieši tāpēc Tilde izstrādā savu daudzvalodu modeli TildeLM, ar izteiktu uzsvaru uz mazākām valodām, piemēram, lietuviešu, latviešu un igauņu. Tas ir viens no nedaudzajiem AI modeļiem mazākām valodām, kas veidots ar šiem tirgiem kā prioritāti, nevis kā pēcpārdomu.

LLM sacīkstes: GPT, Llama, Gemma un pārējie

Konkurence valodas modeļu starpā ir sīva. Par dominējošo pozīciju nepārtraukti sacenšas dažādi modeļi, piemēram, GPT, Mistral, Llama, Gemma, Claude, Bloomun Solar. Tomēr viens būtisks izaicinājums vēl nav pārvarēts — joprojām trūkst informācijas par to, kā šie modeļi darbojas mazākām valodām. Vidusmēra lietotājam šo modeļu augstā pareizumspēja var šķist iespaidīga, taču atsevišķās jomās, piemēram, medicīnā vai jurisprudencē, pat nelielām kļūdām var būt nopietnas sekas. Turklāt daudzi modernākie modeļi (piemēram, GPT) pieder privātiem uzņēmumiem, un tos kontrolē privāti uzņēmumi, kas regulē piekļuvi datiem. Tas rada bažas par sensitīvu datu drošību un sarežģī šo datu izmantošanu kritiskās nozarēs.

Vai ir kādas alternatīvas? Jā, atvērtā pirmkoda svērtie (open-weight) modeļi! Lietotāji tos var lejupielādēt tieši savos datoros un: 1) precizēt tos, izmantojot savus datus; vai 2) izmantot tos tādus, kādi tie ir, izmantojot rūpīgi veidotas uzvednes. Pirmā metode prasa papildu apmācību datus un ievērojamus datošanas resursus, padarot šo metodi nepieejamu daudziem lietotājiem. Tādēļ savā nesenajā pētījumā, kas tika pieņemts prezentēšanai NoDaLiDa & Baltic HLT konferencē, mēs pievērsāmies otrās metodes izvērtēšanai.

Mūsu pētījums: 12 LLM pārbaudīti lietuviešu, latviešu un igauņu valodā

Pētījumā tika pārbaudīti 12 dažādi valodas modeļi, lai novērtētu to iespējas saprast un ģenerēt tekstu lietuviešu, latviešu un igauņu valodā. Tie bija gan patentētie modeļi (GPT-3.5 Turbo, GPT-4, un GPT-4o, gan atvērtā pirmkoda svērtie modeļi (Llama 3, 3.1 un 3.2 ar 3, 8 un 70 miljardiem parametru; Mistral ar 12 miljardiem; Gemma2 ar 9 un 27 miljardiem; Phi ar 3 un 14 miljardiem). Tas ir viens no nedaudzajiem publiskajiem AI modeļu etaloniem mazākām valodām.

Pirmais eksperiments pievērsās mašīntulkojumu pareizumam, salīdzinot tulkojumus starp angļu un trim Baltijas valstu valodām. Bez īpašiem pārsteigumiem ar to vislabāk veicās GPT modeļiem, bet Gemma2 (27 miljardu) un Llama 3.1 (70 miljardu) nodrošināja tulkošanas kvalitāti, kas ir salīdzināma ar GPT modeļiem. Vissliktākie rezultāti bija Phi modeļiem. Rezultāti tika salīdzināti arī ar vienu no modernākajām mašīntulkošanas sistēmām — DeepL,kas apliecināja, ka tās tulkošanas kvalitāte atbilst GPT-4otulkošanas kvalitātei. Tas norāda, ka lielie valodas modeļi tagad spēj ģenerēt tulkojumus, kas konkurē ar specializētām tulkošanas sistēmām.

Citā uzdevumā modeļiem bija jāatbild uz jautājumiem ar vairākiem atbilžu variantiem lietuviešu, latviešu un igauņu valodā. Lai to paveiktu, modelim bija ne tikai jāizprot teksts, bet arī jāspēj pasniegt pareizo atbildi atbilstošā formātā. Atkal labākie rezultāti bija modeļiem GPT-4o, Llama 3.1. (70 miljardu) un Gemma2 (27 miljardu). Tomēr, salīdzinot ar angļu valodu, mazākās valodās sniegto atbilžu pareizuma līmenis bija ievērojami zemāks.

Trešajā eksperimentā tika vērtēts, cik labi šie modeļi var atbildēt uz atvērta tipa jautājumiem par dažādām tēmām lietuviešu un latviešu valodā. Labākie modeļi sniedz pareizas atbildes 80–90% gadījumu. Tika novērtēta arī prasme ģenerēt tekošu tekstu. Arī šajā uzdevumā 3 labākie modeļi nemainījās. Papildus testējām Neurotechnology izstrādātos monolingvālos Llama2modeļus (7 miljardu un 13 miljardu), kas ir speciāli pielāgoti lietuviešu valodai. Šie modeļi ģenerēja pārsteidzoši tekošu tekstu lietuviešu valodā, taču to pareizums joprojām bija ievērojami zemāks nekā lielajiem daudzvalodu modeļiem.

Ko LLM rezultāti nozīmē mazākām valodām

Šis pētījums vēlreiz apstiprināja būtisku faktu: apmācības datu kvalitātei un daudzveidībai ir ārkārtīgi liela nozīme. Ja vēlamies, lai valodas modeļi sasniegtu tādu pašu precizitātes līmeni mazākās valodās kā lielākās, ir nepieciešama aktīva sadarbība zinātniskajā kopienā. Tas ietver nepārtrauktu datu vākšanu un specializētu modeļu izstrādi. Tieši tā AI modeļi mazākajām valodām samazinās plaisu. Nevis konkurēsim, bet sadarbosimies!