„Tilde“ išleido „TildeOpen LLM“, „ChatGPT“ – atvirojo kodo Europos LLM (didelis kalbos modelis) – dirbtinio intelekto (DI) sprendimas, kuris specializuojasi generuoti tekstą Europos kalbomis. Unikalus LLM, kurį „Tilde“ sukūrė Europos Komisijos užsakymu, yra laisvai prieinamas visiems besidomintiems. Jis leidžia, remiantis „TildeOpen“, kurti specializuotus modelius, pritaikytus konkrečioms užduotims, kurie puikiai veiks Europos mažųjų šalių kalbomis.
Saugus Europos LLM, sukurtas Europos kalboms
Šis europietiškas LLM, kurį sukūrė pirmaujantys Latvijos dirbtinio intelekto specialistai, yra ir tikslesnis su mažųjų kalbų gramatikos taisyklėmis, ir saugesnis. Kūrėjai gali talpinti modelį vietiniame serveryje, taip būdami užtikrinti, kad visa LLM pateikta informacija liks patalpose arba saugiame debesų saugykloje. Populiariausi komerciniai kalbos modeliai paprastai talpinami duomenų centruose, esančiuose JAV arba Azijoje, ir ne visada atitinka ES duomenų apsaugos ir duomenų privatumo politikos standartus.
„Populiarieji komerciniai kalbos modeliai, pvz., ChatGPT, daugiausia mokomi naudojant anglų kalbos duomenis, o tai reiškia, kad šia kalba generuojami rezultatai bus kokybiškesni nei kitomis, retesnėmis kalbomis gaunami rezultatai. Todėl pasitaiko nemažai nesklandžių sakinių konstrukcijų ir žodžių tvarkos, gramatikos klaidų, netiksliai vartojami ir verčiami terminai. Šios klaidos ypač pastebimos DKM naudojant sudėtingesnėms, specializuotoms užduotims atlikti. Kaip tik todėl TildeOpen buvo pritaikytas Europos, ypač Baltijos šalių kalboms, taip pat ukrainiečių ir turkų kalboms, kurioms dažnai nėra tinkamai atstovaujama esamuose DKM sprendimuose. Tilde – viena iš nedaugelio Europos įmonių, kuri, pasitelkdama superkompiuterių išteklius ir unikalią patirtį DI srityje, gebėjo visiškai savarankiškai sukurti tokį pagrindinį DKM“, – apie naujojo modelio pranašumus sako Tilde vadovas Artūrs Vasiļevskis.
Jis pabrėžia, kad TildeOpen geba sumaniai pritaikyti DKM latvių kalbai, todėl galimybę jį naudoti turėtų apsvarstyti valstybinės valdžios, savivaldybių įstaigos, taip pat vietos įmonės ir švietimo įstaigos. Be to, Europos Komisija skatina ES kūrėjus kurti DI produktus, skirtus naudoti vidaus rinkoje, ir laikyti juos saugiuose Europos ištekliuose, atitinkančiuose ES duomenų saugos direktyvas ir standartus.
Europos superkompiuteriai – dirbtinio intelekto mokymui mažomis kalbomis
gnoruodami mažąsias. Toks požiūris Europai netinka, nes vadinamosiomis mažosiomis kalbomis kalba daugiau nei 200 mln., arba beveik pusė, europiečių. Siekdama skatinti Europos pasaulinį konkurencingumą DI srityje, ES paskelbė konkursą „Large AI Grand Challenge“ir jo laimėtoja 2024 m. birželio mėn. buvo paskelbta viena iš Europos lyderių DI pagrįstų kalbos technologijų srityje – Latvijos įmonė Tilde.
Laimėjimas suteikė galimybę pasinaudoti dviem milijonais greičiausio Europos superkompiuterio LUMIgrafikos procesoriaus (GPU) valandų. Šios valandos buvo skirtos TildeOpen kurti. Šiais metais Tilde – vienai pirmųjų įmonių – buvo leista dirbti su naujai paleistu JUPITER – naujuoju šiuo metu Europoje greičiausiu superkompiuteriu. Dirbant su šiais galingais įrenginiais pirmoji TildeOpen versija sukurta maždaug per metus.
Daugiau nei 30 mlrd. parametrų turinčio DKM bazinis modelis buvo mokomas naudojant gausybę iš įvairių šaltinių gautos bendrosios informacijos. Šį bazinį modelį naudotojai gali pritaikyti konkrečioms užduotims atlikti, pavyzdžiui, sukurti DI asistentą, puikiai kalbantį viena iš Europos kalbų.
TildeOpen yra atvirojo kodo sprendimas, laisvai pasiekiamas valstybinėms įstaigoms, įmonėms, mokslininkams, studentams, medicinos įstaigoms, finansų ir draudimo sektoriams, ir šį modelį galima naudoti pagal sektoriaus poreikius.
Modelis gali būti saugiai talpinamas tiek vietiniame serveryje, tiek debesų saugykloje, o šis europietiškas LLM pritaikytas toms Europos kalboms, kurios populiariausiuose sprendimuose dažnai yra nepakankamai atstovaujamos.
Tildeopen buvo mokoma LUMI superkompiuteriu naudojant AMD Instinct ™ MI250X greitintuvus. AMD aparatinės įrangos naudojimas padėjo rengti plataus masto mokymus, kurių reikia norint sukurti 30 mlrd. EUR vertės Europos kalbų parametrų modelį.
Tildeopen LLM 1 versija išleista platformoje Hugging Face.
Įdomu, kaip jūsų organizacijoje įdiegti DI?
Kas naujo „Tilde“
