Tehisintellekti mudelid väiksematele keeltele: kuidas nad sammu peavad?

Alates statistiliste keelemudelite esilekerkimisest 1980. aastatel on valdkond läbi teinud märkimisväärse muutuse. Täna on tõeline küsimus, kuidas väiksemate keelte tehisintellekti mudelid selle muutusega sammu peavad. Aastakümnete jooksul on nende tehisintellekti mudelite loomise metoodika arenenud, töödeldavate andmete maht suurenenud ja mudelid ise muutunud keerukamaks. Parameetrite – valemites olevate matemaatiliste koefitsientide – arv on pidevalt laienenud. 2020. aastaks, kui ChatGPT, oli termin „suur keelemudel“ saanud laialdaselt tuntuks. Tänapäeval on raske leida kedagi, kes sellest kuulnud poleks.

Aga mida tähendab „suur“ keelemudelite kontekstis? Ühel hetkel peeti tohutuks mudelit, millel oli 3 miljardit parameetrit, kuid tänapäeval ei pane sellised numbrid enam imestama. OpenAI ei ole avalikustanud mudeli GPT-4täpset parameetrite arvu, kuid hinnanguliselt võib see olla 1–10 triljonit.

Milleks on tehisintellekti mudelid väiksemate keelte jaoks?

Väiksemate keelte tehisintellekti mudelid on keeletehnoloogiad, mis on loodud mõistma, looma ja tõlkima keeli, mille jaoks on vähem digitaalseid ressursse. Erinevalt peamiselt inglise keele suurtele andmekogudele treenitud mudelitest vajavad need süsteemid hoolikalt valitud treeningandmeid, kohalikku keelealast asjatundlikkust ja usaldusväärseid hindamismeetodeid, et reaalsetes kasutusjuhtumites hästi toimida.

Mida tähendab „suur“ tehisintellekti keelemudelite puhul?

Toimumas on teadusrevolutsioon, kus suurte keelemudelite kohta avaldatakse enneolematult palju publikatsioone. Teadlased kogu maailmas võistlevad, et välja töötada üha võimsamaid, täpsemaid ja mitmekülgsemaid mudeleid. Need mudelid peavad olema suutelised vastama küsimustele, võtma kokku teavet, tõlkima tekste ja käsitlema mitmesuguseid keeltega seotud ülesandeid. Kuid ainuüksi suur hulk parameetreid ei taga edu. Iga parameeter tuleb peenhäälestada: see vajab sobivat matemaatilist väärtust, mis on võimalik vaid piisavate treeningandmetega. Protsess algab mudeli arhitektuuri kujundamisega – määratakse matemaatilised valemid ja koefitsiendid, mis algselt seatakse juhuslikele väärtustele. Sedamööda, kuidas mudel treeningandmeid töötleb, täpsustatakse neid koefitsiente. Kui arhitektuur on liiga suur ja andmekogum liiga väike, on mudel ebatäpne ja aldis „hallutsinatsioonidele“. Kui aga mudel on liiga väike, kuid andmekogum tohutu, jääb mudelil vajaka suutlikkusest kogu teavet tõhusalt vastu võtta.

Miks väiksemate keelte tehisintellekti mudelid seisavad silmitsi andmemurega

Kuna kasutajate ootused on järjest suuremad, on treeningandmete nappus muutumas üha pakilisemaks probleemiks. Võrreldes inglise, saksa või poola keelega, on leedu keeles kättesaadavaid tekste oluliselt vähem. Teadlased tegelevad aktiivselt selle probleemi lahendamisega. Näiteks teeb ettevõte Tilde koostööd Vytautas Suure Ülikooli professor ning Vilniuse Ülikooliga , et koguda rohkem andmeid, mis on aluseks täpsemate mudelite väljatöötamisele. Suured tehnoloogiaettevõtted, nagu OpenAI, Meta, ja Google DeepMind , seisavad väiksemate keelte puhul samuti silmitsi piiratud andmete probleemiga. Nende mudelid on aga mitmekeelsed, mis teeb need kohanemisvõimelisemaks. Rakendades domineerivatest keeltest saadud teadmisi ja kasutades keeltevahelisi seoseid, saavad mitmekeelsed mudelid väiksemaid keeli paremini toetada. Just seetõttu arendabki Tilde oma mitmekeelset mudelit TildeLM, ning keskendub eelkõige väiksematele keeltele, nagu leedu, läti ja eesti keel. See on üks väheseid tehisintellekti mudeleid väiksemate keelte jaoks, mis on loodud neid turge silmas pidades, mitte tagantjärele.

LLM-ide võidujooks: GPT, Llama, Gemma ja teised

Konkurents keelemudelite vahel on karm. Domineerimise nimel konkureerivad pidevalt sellised mudelid nagu GPT, Mistral, Llama, Gemma, Claude, Bloomja Solar. Üks suurem proovikivi on siiski veel: puudub teave selle kohta, kuidas need mudelid väiksemate keelte puhul toimivad. Keskmisele kasutajale võivad need mudelid tunduda muljet avaldavalt täpsed, kuid teatud valdkondades, nagu meditsiin või õigus, võivad isegi väiksematel vigadel olla tõsised tagajärjed. Lisaks kuuluvad paljud enim arenenud mudelid (nt GPT) eraettevõtetele, mis reguleerivad andmetele juurdepääsu. See tekitab muret tundlike andmete turvalisuse pärast ja raskendab nende andmete rakendamist kriitilistes valdkondades.

Kas on olemas alternatiive? Jah, avatud kaaludega mudelid! Kasutajad saavad need otse oma arvutisse alla laadida ja teha ühte järgmistest: 1) peenhäälestada oma andmetega või 2) kasutada neid olemasoleval kujul, koos hoolikalt viimistletud juhistega. Esimene lähenemisviis nõuab täiendavaid treeningandmeid ja märkimisväärseid andmetöötlusressursse, muutes selle paljudele kasutajatele kättesaamatuks. Seetõttu keskendusime oma hiljutises uuringus, mis on vastu võetud ette kandmiseks teaduskonverentsil NoDaLiDa/Baltic-HLT, teise lähenemisviisi hindamisele.

Meie uuring: 12 LLM-i testiti leedu, läti ja eesti keeles

Uuringus testiti 12 eri keelemudelit, et hinnata nende võimet mõista ja luua teksti leedu, läti ja eesti keeles. See hõlmas nii omandipõhiseid mudeleid (GPT-3 .5 Turbo, GPT-4, ja Gpt-4o) kui ka avatud kaaludega mudeleid (Llama 3,3.1 ja 3.2 koos 3, 8 ja 70 miljardi parameetriga; Mistral 12 miljardi parameetriga; Gemma2 9 ja 27 miljardi parameetriga ning Phi koos 3 ja 14 miljardiga). See on üks väheseid avalikke tehisintellekti mudelite võrdlusaluseid väiksemate keelte jaoks.

Esimene katse keskendus masintõlke täpsusele, võrreldes tõlkeid inglise keele ja Baltimaade kolme keele vahel. Ei ole üllatav, et parimaid tulemusi saavutasid GPT mudelid, kuid Gemma2 (27 miljardit parameetrit) ja Llama 3.1 (70 miljardit parameetrit) esitasid tõlkekvaliteedi, mis oli võrreldav GPT mudelitega. Kõige kehvemaid tulemusi andsid Phi mudelid. Tulemusi võrreldi ka ühe enim arenenud masintõlkesüsteemiga DeepL, mille tõlkekvaliteet vastas Gpt-4oomale. See näitab, et suured keelemudelid on nüüd võimelised tootma tõlkeid, mis konkureerivad spetsiaalsete tõlkesüsteemide tõlgetega.

Teises ülesandes pidid mudelid vastama valikvastustega küsimustele leedu, läti ja eesti keeles. See ei nõudnud mitte ainult arusaamist, vaid ka oskust esitada õige vastus sobivas vormis. Taas olid parimad mudelid Gpt-4o, Llama 3.1 (70 miljardit parameetrit) ja Gemma2 (27 miljardit parameetrit). Inglise keelega võrreldes oli aga väiksemate keelte täpsus oluliselt madalam.

Kolmandas katses hinnati, kui hästi võiksid need mudelid vastata avatud küsimustele leedu ja läti keeles eri valdkondades. Parimad mudelid saavutasid 80–90% täpsuse. Hinnati ka tekstiloome ladusust. Kolm parimat mudelit jäid ka siin samaks. Lisaks testisime ettevõtte Neurotechnology välja töötatud ühekeelseid Llama2mudeleid (7 miljardit ja 13 miljardit parameetrit), mis olid kohandatud spetsiaalselt leedu keele jaoks. Need mudelid tekitasid erakordselt ladusat leedukeelset teksti, kuid nende täpsus oli siiski oluliselt madalam kui suurtel mitmekeelsetel mudelitel.

Mida tähendavad LLM-i tulemused väiksemate keelte jaoks?

See teadustöö kinnitas taas tähtsat asjaolu: treeningandmete kvaliteet ja mitmekesisus on äärmiselt olulised Kui soovime, et keelemudelid saavutaksid väiksemates keeltes sama täpsuse kui suuremates, on hädavajalik aktiivne koostöö teadlaskonnas. See hõlmab pidevat andmete kogumist ja spetsiaalsete mudelite väljatöötamist. Nii jõuavad väiksemate keelte tehisintellekti mudelid järele. Tehkem võistlemise asemel koostööd!