Spetsiaalsed tehisintellekti agendid ja üleminek ühelt superintelligentselt LLM-ilt

Varem oldi veendunud ja eeldati, peame looma ühe superintellekti, ühe hiiglasliku suure keelemudeli (LLM), mis saab vastata igale küsimusele ja lahendada iga probleemi. Teadusringkonnad aga eemalduvad sellest veendumusest ja liiguvad hoopis agendipõhise lähenemise poole, kus luuakse mitu spetsialiseeritud keelemudelit ehk agenti, mis on oma valdkonna spetsialistid. Miks see muutus aset leiab ja milline on uus lähenemine?

Peamine põhjus agendipõhise arhitektuuri poole liikumiseks on idee, et meil on mitu väiksemat koostööd tegevat tehisintellekti agenti ehk oma ala eksperti, kes saavutavad parima tulemuse üksteist täiendades, arutades ja parandades. Inimese analoogiat järgides välja töötatud tehnoloogia tavaliselt tõestab ennast. Me ei saa omada ühte inimintellekti, kes teab absoluutselt kõike, seega võib-olla ei vaja me ka ühte tehislikku superintellekti, kes teab relatiivsusteooriat, soome kirjandust või ajukirurgiat. Väiksematel spetsialiseerunud tehisintellekti agentidel on tõenäoliselt vähem nn hallutsinatsioone ehk vigu, mis tekivad ka seetõttu, et erinevad valdkonnad kattuvad ühes mudelis. Pealegi ei vaja organisatsioonid isegi kõiketeadvat tehisintellekti: nad saavad valida ja täiustada ainult neid agente, mis sobivad nende ärivaldkonnaga. 

Energiatõhusus ja rohelepe

Teiseks ei järgi LLM-ide kasutamine rohelise kokkuleppepõhimõtteid. Iga kord, kui LLM vastab küsimusele, peab see töötama läbi koormava arhitektuuri, mis nõuab palju arvutamist ja toob endaga kaasa tohutuid energiakulusid. 2017. aastal tuli transformatiivne mudeliarhitektuur, mida täna kasutatakse kõigis LLM-ides ja mis koosneb plokkidest, kus on ühesugused teavet muutvad valemid, mis erinevad üksteisest ainult koefitsientides (parameetrites). Plokke on lihtne ühendada, mille tulemuseks on keelemudeli suur arhitektuur: tänapäeva keelemudelitel on sadu miljardeid parameetreid. Selliste LLM-ide treenimine ja kasutamine on eriti energiakulukas. 

Andmeturve ja kontroll

Kolmas põhjus on andmeturve. LLM-id on lihtsalt liiga mahukad, et neid saaks hõlpsalt organisatsiooni taristuga integreerida ja seal arendada. Teine võimalus on edastada kõik andmed ettevõtetele, kes haldavad ja talletavad neid mudeleid oma serverites (nt GPT mudelid OpenAI serverites). See aga on mõne organisatsiooni jaoks andmekaitsemäärustega piiratud, teised aga hoiduvad sellest, sest tundlike andmete edastamine kolmandale isikule tähendab lisariski võtmist. Spetsialiseeritud mudeleid-agente (vähemalt neid, kes vastutavad tundlike andmete töötlemise eest) võiks talletada organisatsiooni serverites, kõrvaldades andmekaitseriskid. 

On veel üks põhjus: mida suurem on keelemudel, seda keerulisem on seda kontrollida. Andmekaitseseadused võimaldavad juba praegu näiteks raamatu autoril nõuda arendajalt raamatu info eemaldamist LLM-ist. See on keeruline, sest pole selge, milliseid parameetreid tuleb kohandada ja kuidas. „Unustamiseks“ on erinevaid viise: nt mudel koormatakse üle uue treeningu andmed, ootavad, et raamatuinfo kaoks järk-järgult või lisatakse filtrid, mis hoiavad raamatuinfot tagasi. Kahjuks ei toimi miski tõhusalt: ainus õige viis on mudelit algusest peale ümber õpetada koolitusandmetega, mis ei sisalda enam autori raamatut. Kulud on tohutud. Väiksemate mudelite-agentide ümberõpe oleks lihtsam. 

Mida nihe keelemudelite jaoks tähendab?

Teadusringkondades on toimumas suur muutus generatiivse tehisintellekti ja LLM-ide arendamises, mis tõenäoliselt viib täpsemate ja energiatõhusamate keelemudeliteni, andes seega võimaluse laialdasemale kasutamisele. 

Tilde arendab praegu üldotstarbelist mitmekeelset alus-LLM-i, mille nimi on TildeLM. Tuginedes teadusringkondade spetsialiseerunud mudelagentide ideedele, võiks TildeLM hiljem olla aluseks väiksematele konkreetsetele tingimustele kohandatud spetsiaalsetele agentidele. 

Tilde keeletehnoloogia vanemteaduri ja Vytautas Magnuse ülikooli professori Jurgita Kapočiūtė-Dzikienė kommentaar.