TildeOpen LLM: suverēns Eiropas daudzvalodu MI

Atvērtā pirmkoda, pamata LVM (lielais valodas modelis) Eiropas valodām – drošs, pielāgojams un gatavs darbam valdībās, iestādēs un uzņēmumos. 

2024. gada jūnijs

Tilde uzvar AI Grand Challenge

2024. gada septembris

Piekļuve LUMI
superdatoram

2025. gada marts

Sākas
modeļa apmācība
 

2025. gada septembris

Modelis pieejams Hugging Face

2026. gada februāris

TildeOpen ir pieejams

Tildes mašīntulkošanā

Atbalsta:
AI_BOOST logotips

Mūsu valoda ir pelnījusi labāku MI

Lielākā daļa MI modeļu ir veidoti pasaules lielākajām valodām - un vairāk nekā 90% LVM mācību datu ir angļu valodā. Tas nozīmē, ka baltu, slāvu un citas Eiropas valodas atpaliek, kas noved pie zemākas precizitātes, vājākas kultūras izpratnes un ierobežotas piekļuves kvalitatīviem MI rīkiem.

Tāpēc mēs izstrādājām TildeOpen LLM - atvērtā pirmkoda lielo valodas pamatmodeli ar vairāk nekā 30 miljardiem parametru, kas izveidots visu Eiropas valodu atbalstam. Pielāgojiet modeli savām vajadzībām un droši izvietojiet - lokāli vai mākonī -, lai veidotu uzticamu MI, kas tiešām runā jūsu valodā. 

Uzziniet vairāk par TildeOpen LLM:
Tildeopen pētniecības komandas locekļi sēž birojā
Miljardi parametru
25 +
Fokusa valodas
28 +
LUMI GPU stundas
2 M

Kāpēc TildeOpen?

Tildeopen darba grupas dalībnieks, kas strādā ar interfeisu LUMI

MI pamats, kam var uzticēties

TildeOpen ir vairāk nekā tehnoloģisks sasniegums. Tas ir atvērtā pirmkoda pamats pielāgotam mākslīgajam intelektam, kurš var sniegt labumu vairāk nekā 155 miljoniem eiropiešu.

Pielāgoti MI risinājumi uzņēmumiem un organizācijām

Pielāgojiet TildeOpen savai nozarei, datiem un darbplūsmām - no virtuālajiem palīgiem līdz drošai tulkošanai, runas tehnoloģijām un daudz kam citam.

Valsts valodas modeļa izstrāde valdībām

Veidojiet iekļaujošus valodas modeļus, kas kalpo sabiedrības vajadzībām, veicina digitālo suverenitāti un atbalsta visas oficiālās ES valodas.

Uzticama veiktspēja visās fokusa valodās

TildeOpen publiskajos testos konsekventi uzrāda augstu valodas precizitātes un izpratnes līmeni

TildeOpen uzrāda labus rezultātus MultiBLiMP testā, kas mēra modeļa spēju atšķirt gramatiski pareizus teikumus no gramatiski nepareiziem. Zemāks kļūdu īpatsvars liecina par labāku gramatikas modelēšanu un uzticamāku teksta ģenerēšanu. Apskatiet pilnus testa rezultātus šeit.

TildeOpen nodrošina augstāku efektivitāti morfoloģiski bagātās Eiropas valodās, pateicoties īpaši tām pielāgotam tokenizatoram un arhitektūrai. Salīdzinot ar LLaMA-3, tas ir par 41% efektīvāks latviešu valodā, par 37% lietuviešu valodā, par 31% somu valodā un par 28% igauņu un poļu valodā, vienlaikus pārspējot arī GPT un Mistral modeļus. Tas nodrošina ātrāku teksta ģenerēšanu lokālas izvietošanas gadījumos un tādējādi zemākas ekspluatācijas izmaksas par to pašu datu apjomu. Apskatiet pilnus testa rezultātus šeit.

TildeOpen-30B sasniedz nozares līmeņa labāko rezultātu Belebele lasīšanas izpratnes testā, sasniedzot vidējo precizitāti 84,7%. Modelis pārspēj citus lokāli izvietojamus modeļus, piemēram, Gemma-27B, ALIA-40B un EuroLLM-22B. Apskatiet pilnus testa rezultātus šeit.

Superdatoru jauda, Eiropas atbalsts 

TildeOpen attīstību atbalsta Eiropas Komisija, un to nodrošina Kopuzņēmuma EuroHPC augstākā līmeņa superdatori — LUMI un Jupiters. Uzvarot Large AI Grand Challenge, mums ir piešķirti 2 miljoni GPU stundu darbam ar LUMI, lai realizētu šo vērienīgo projektu.

LUMI superdators, ko izmanto TildeOpenLLM

Sniedziet savu ieguldījumu daudzvalodu nākotnē

Lai izveidotu spēcīgu daudzvalodu LVM ar vairāk nekā 30 miljardiem parametru, mēs meklējam valodu datus no visas Eiropas. Mēs atzinīgi vērtējam autoru, izdevēju, valsts bibliotēku un citu partneru ieguldījumu, piedāvājot elastīgus nosacījumus. 
Tildeopen pētnieku komanda

Modelis pieejams Hugging Face

Dodieties uz Hugging Face, lai izpētītu TildeOpen-30b un piekļūtu pilnajai tehniskajai dokumentācijai.

Datu pakalpojumu sniedzēji, kas jau ir iesaistījušies šajā projektā

Mūsu solījums

Atvērta sadarbība

Valdības var izmantot TildeOpen, lai izveidotu pielāgotus valodas modeļus, kas uzlabo piekļuvi sabiedriskajiem pakalpojumiem visiem iedzīvotājiem.

Drošība un uzticamība

Mēs nepārtraukti strādājam, lai samazinātu kaitīga vai neprecīza satura daudzumu TildeOpen, padarot to par uzticamu risinājumu publiskā sektora vajadzībām.

Brīva piekļuve

TildeOpen būs pieejams gan komerciālai, gan nekomerciālai lietošanai saskaņā ar liberālu licenci, kas ir publicēta platformā Hugging Face un ELRC-SHARE.

Zināšanu apmaiņa

Mēs ticam atvērtai sadarbībai un zināšanu apmaiņai, tāpēc aicinām partnerus iesaistīties TildeOpen attīstībā sabiedrības kopējam labumam.

Biežāk uzdotie jautājumi

TildeOpen projekta mērķis ir izveidot daudzvalodu fundamentālu lielo valodas modeli, kas koncentrējas uz nepietiekami pārstāvētām Baltijas un Austrumeiropas valodām, lai veicinātu digitālo vienlīdzību un uzlabotu piekļuvi progresīvām mākslīgā intelekta tehnoloģijām šīm kopienām.
Šī nevienlīdzība ietekmē gan efektivitāti, gan izmaksas. Piemēram, lai valodās ar mazākiem resursiem kodētu tādu pašu informācijas apjomu kā angļu valodā, nepieciešamas garākas teksta virknes, kas modeļa darbību padara mazāk efektīvu un dārgāku. Turklāt šo modeļu angļu valodas centriskums var radīt nevēlamus kultūras aizspriedumus. TildeOpen tiek apmācīts, lai nodrošinātu vienlīdzību visās atbalstītajās valodās.
Projekta mērķa valodas ir Austrumeiropas un Baltijas valstu valodas, piemēram, bulgāru, horvātu, čehu, igauņu, somu, latviešu, lietuviešu, maķedoniešu, melnkalniešu, poļu, serbu, slovāku, slovēņu un ukraiņu. Modelis līdzvērtīgās proporcijās atbalstīs arī lielākas valodas, piemēram, angļu, franču, vācu un krievu, lai nodrošinātu tulkošanu un ar to saistītos daudzvalodu uzdevumus.
LUMI (Large Unified Modern Infrastructure — lielā vienotā modernā infrastruktūra) superdators ir piektais ātrākais superdators pasaulē un visātrākais Eiropā. Tas ir daļa no kopuzņēmuma EuroHPC, kurā Eiropas Savienība un Eiropas valstis sadarbojas, lai radītu pasaules klases augstas veiktspējas skaitļošanas (High-Performance Computing — HPC) ekosistēmu Eiropā. LUMI superdators atrodas Kajāni, Somijā.
Eiropas Komisijas finansētā konkursa „Large AI Grand Challenge“ mērķis ir paplašināt Eiropas sasniegumus mākslīgā intelekta jomā, izmantojot liela mēroga mākslīgā intelekta modeļu potenciālu. Konkursā piedalījās inovatīvi start-up uzņēmumi un MVU, kuriem ir tehniskās iespējas izstrādāt mākslīgā intelekta modeļus, kas veicina Eiropas konkurētspēju ģeneratīvā mākslīgā intelekta jomā. Eiropas Komisija izziņoja konkursa „Large AI Grand Challenge“ uzvarētājus. Četri inovatīvi Eiropas mākslīgā intelekta uzņēmumi, tostarp „Tilde“, sadalīja 1 miljonu eiro lielu balvu un 8 miljonus GPU stundu, lai stiprinātu Eiropas vadošo lomu mākslīgā intelekta attīstībā.

Tilde ir vadošais Eiropas valodu tehnoloģiju inovators un pakalpojumu sniedzējs, kura misija ir veicināt valodu daudzveidību digitālajā laikmetā. Tilde nodarbina vairāk nekā 150 darbiniekus trīs birojos, kas atrodas Rīgā, Viļņā un Tallinā. Tildes pētniecības komanda sastāv no deviņiem zinātņu doktoriem un viņu pētniecības asistentiem, un tās pārstāvji ir sarakstījuši vairāk nekā 260 zinātniskos rakstus. Gadu gaitā uzņēmums Tilde ir izveidojis plašu pētniecības un attīstības partneru tīklu, kurā ietilpst vadošie ES pētniecības centri un universitātes, un darbojas kā valodas tehnoloģiju pētniecības centrs Baltijas reģionā.

 

Tildes jaunākie pētniecības un izstrādes darbi ir vērsti uz fundamentāliem lieliem valodas modeļiem (LVM), šo modeļu pielāgošanu konkrētām lietojumprogrammām, kā arī uz uzdevumiem pielāgotu LVM integrēšanu dabiskās valodas apstrādes lietojumprogrammās (piemēram, mašīntulkošanā, virtuālajos palīgos, izguves pastiprinātās ģenerēšanas sistēmās, runas valodas apstrādē, kopsavilkumu veidošanā u. c.).

Veidojiet MI, kas runā jūsu valodā 

TildeOpen sniedz pamatu droša un suverēna MI izveidei. Izpētiet modeli tagad vai sazinieties ar mums, lai pielāgotu to savām vajadzībām.