Daug tikėta ir manyta, kad turime sukurti vieną superintelektą, vieną milžinišką didįjį kalbos modelį (angl. LLM), kuris gebėtų atsakyti į bet kokius klausimus ir spręsti bet kokias problemas. Šiandien mokslininkų bendruomenėje taip nebemanoma ir pereita prie kitokios taktikos – kurti daug vadinamųjų kalbos modelių-agentų, kurių kiekvienas yra stiprus savo srityje. Kodėl ir kaip tai atrodys?
Kodėl DI juda link specializuotų DI agentų
Pagrindinė priežastis, kodėl einama agentinės architektūros link, yra idėja turėti kelis mažesnius bendradarbiaujančius dirbtinio intelekto agentus, t. y. savo sričių ekspertus, kurie geriausius rezultatus pasiekia papildydami, diskutuodami ir taisydami vienas kitą. Technologija, kuriama pagal žmogaus analogiją, dažniausiai pasiteisina. Negalime turėti vieno žmogaus intelekto, kuris žinotų absoliučiai viską, tad galbūt mums nereikia ir vieno dirbtinio superintelekto, kuris žinotų reliatyvumo teoriją, suomių literatūrą ar smegenų chirurgiją. Mažesni specializuoti dirbtinio intelekto agentai greičiausiai turės mažiau vadinamųjų haliucinacijų, t. y. klaidų, kurios atsiranda ir dėl to, kad viename modelyje persidengia skirtingos sritys. Be to, organizacijoms net nereikia visažinio dirbtinio intelekto: jos gali pasirinkti ir tobulinti tik tuos agentus, kurie tinka jų veiklos sričiai.
Energijos vartojimo efektyvumas ir žaliasis kursas
Antra, naudojant didelius kalbos modelius nėra laikomasi „žaliojo kurso“principų. Kiekvieną kartą, kai LLM atsakinėja į klausimą, jis turi „perbėgti“ gremėzdišką architektūrą, o tai reikalauja didelių skaičiavimų ir energijos sąnaudų. 2017 m. atsiradusi transformacinė modelio architektūra, kuri šiandien naudojama visuose didžiuosiuose kalbos modeliuose, susideda iš blokų, kuriuose veikia tos pačios informaciją transformuojančios formulės, tik su skirtingais koeficientais (parametrais). Blokai lengvai jungiami ir taip išauginama didelė kalbos modelio architektūra: šiandien egzistuojantys kalbos modeliai turi net šimtus milijardų parametrų. Tokio LLM mokymas ir naudojimas reikalauja ypatingai didelių energijos sąnaudų.
Duomenų saugumas ir kontrolė
Trečioji priežastis susijusi su duomenų saugumu. Dideli kalbos modeliai per dideli, kad būtų lengvai integruojami ir tobulinami organizacijos infrastruktūroje. Alternatyva – perduoti visus duomenis įmonėms, kurios tą modelį valdo ir laiko savo serveriuose (pvz., GPT modeliai „OpenAI“ serveriuose). Daliai organizacijų to daryti neleidžia duomenų apsaugos reglamentas, o kitos vengia, nes jautrių duomenų perdavimas trečiosioms šalims kelia papildomas rizikas. Specializuotus modelius-agentus (bent jau tuos, kurie atsakingi už jautrių duomenų apdorojimą) galima būtų laikyti organizacijos serveriuose, todėl išnyktų duomenų apsaugos rizikos.
Yra ir kita priežastis: kuo didesnis kalbos modelis, tuo sunkiau jį kontroliuoti. Duomenų apsaugos įstatymai jau dabar leidžia, pavyzdžiui, knygos autoriui reikalauti, kad kūrėjas iš LLM pašalintų knygos informaciją. Tai sudėtinga, nes neaišku, kuriuos parametrus reikia koreguoti ir kaip. „Pamiršti“ galima įvairiai: pvz., modelis užverčiamas nauja Mokymo duomenys, Tikimasi, kad knygų informacija pamažu išnyks arba bus pridėti filtrai, kad informacija iš knygos būtų sulaikyta. Deja, niekas neveikia efektyviai: vienintelis tinkamas būdas – iš naujo apmokyti modelį nuo nulio su mokymo duomenimis, kuriuose nebėra autoriaus knygos. Išlaidos didžiulės. Mažesnių modelių-agentų perkvalifikavimas būtų lengvesnis.
Ką šis pokytis reiškia kalbų modeliams
Mokslinėje bendruomenėje vyksta didelis pokytis susijęs su generatyviniu DI ir LLM kūrimu, kuris, tikėtina, leis sukurti tikslesnius ir mažiau energijos naudojančius kalbos modelius bei atvers duris dar platesniam jų naudojimui.
Šiuo metu „Tilde“ kuria bendrosios paskirties pagrindinį daugiakalbį LLM „TildeLM“. Remdamasi mokslinės bendruomenės idėjomis apie specializuotus modelius-agentus, „TildeLM“ vėliau galėtų tapti mažesnių distiliuotų agentų, pritaikytų konkretiems poreikiams, pagrindu.
Komentarą parengė kalbos technologijų bendrovės „Tilde“ kalbos technologijų vyresnioji tyrėja ir VDU prof. Jurgita Kapočiūtė-Dzikienė.
AI transformavimas daugiakalbėje Europoje su „TildeLM“
Kas naujo „Tilde“
