Specializētie MI aģenti un pāreja no viena superintelekta LLM

Savulaik valdīja stingra pārliecība un pieņēmums, ka mums jāveido viens superintelekts, viens milzīgs lielais valodas modelis (LVM), kas spētu atbildēt uz jebkuru jautājumu un atrisināt jebkuru problēmu. Tomēr zinātnieku aprindas attālinās no šīs pārliecības, virzoties uz aģentos balstītu pieeju, kur tiek radīti vairāki specializēti valodas modeļi, tā dēvētie aģenti, un katrs no tiem īpaši specializējas savā konkrētajā jomā. Kāpēc notiek šīs pārmaiņas, un kāda izskatīsies šī jaunā pieeja?

Galvenais iemesls virzībai uz aģentu arhitektūru ir ideja par vairākiem mazākiem, savstarpēji sadarbīgiem mākslīgā intelekta aģentiem, proti, ekspertiem savā jomā, kas, viens otru papildinot, diskutējot un labojot, sasniedz labākos rezultātus. Tehnoloģija, kas attīstīta pēc cilvēka analoģijas, parasti sevi attaisno. Mums nevar būt viena cilvēka inteliģence, kas zina absolūti visu, tātad varbūt mums nav vajadzīga arī viena mākslīgā superinteliģence, kas zina relativitātes teoriju, somu literatūru vai smadzeņu ķirurģiju. Mazākiem specializētiem mākslīgā intelekta aģentiem, visticamāk, būs mazāk tā dēvēto halucināciju jeb kļūdu, kas rodas arī tāpēc, ka vienā modelī pārklājas dažādas jomas. Turklāt organizācijām pat nav vajadzīgs viszinošs mākslīgais intelekts: tās var izvēlēties un uzlabot tikai tos aģentus, kas atbilst to darbības virzienam. 

Energoefektivitāte un zaļais kurss

Otrām kārtām — LVM izmantošana neievēro zaļā kursa principus. Katru reizi, kad LVM atbild uz kādu jautājumu, tam ir jāiziet cauri sarežģītai arhitektūrai, kam nepieciešams daudz aprēķinu un kas rada milzīgas enerģijas izmaksas. 2017. gadā pieredzējām transformatīvā modeļa arhitektūras parādīšanos, kas mūsdienās tiek izmantota visos LVM un sastāv no blokiem ar vienādām informāciju pārveidojošām formulām, kas atšķiras tikai pēc to koeficientiem (parametriem). Blokus var viegli savienot, tā radot lielu valodas modeļa arhitektūru — mūsdienu valodas modeļiem ir simtiem miljardu parametru. Šādu LVM apmācība un izmantošana rada īpaši augstas enerģijas izmaksas. 

Datu drošība un kontrole

Trešais iemesls attiecas uz datu drošību. LVM vienkārši ir pārāk apjomīgi, lai būtu viegli integrējami un attīstāmi organizācijas infrastruktūrā. Alternatīva ir nodot visus datus uzņēmumiem, kas pārvalda un uzglabā šos modeļus savos serveros (piemēram, GPT modeļus OpenAI serveros). Dažām organizācijām šādu praksi izmantot liedz datu aizsardzības noteikumi, bet citas izvairās to darīt, jo sensitīvu datu pārsūtīšana trešajām pusēm rada papildu riskus. Specializētos modeļus aģentus (vismaz tos, kas ir atbildīgi par sensitīvu datu apstrādi) var uzglabāt organizācijas serveros, novēršot datu aizsardzības riskus. 

Ir vēl viens iemesls: jo lielāks valodas modelis, jo grūtāk to kontrolēt. Datu aizsardzības likumi jau tagad ļauj, piemēram, grāmatas autoram pieprasīt izstrādātājam no LLM izņemt grāmatas informāciju. Tas ir izaicinoši, jo nav skaidrs, kuri parametri jāpielāgo un kā. Ir dažādi “aizmirst” veidi: piem., modelis tiek pārpludināts ar jaunu apmācības dati, gaida, ka informācija par grāmatu pamazām izzudīs vai arī tiek pievienoti filtri, lai informāciju no grāmatas aizturētu. Diemžēl nekas nestrādā efektīvi: vienīgais pareizais veids ir no jauna apmācīt modeli ar apmācības datiem, kuros vairs nav autora grāmatas. Izmaksas ir milzīgas. Mazāku modeļu-aģentu pārmācīšana būtu vieglāka. 

Ko maiņa nozīmē valodas modeļiem

Zinātniskajās aprindās notiek būtiskas pārmaiņas attiecībā uz ģeneratīvā MI un LVM izstrādi, kas, iespējams, novedīs pie precīzākiem un energoefektīvākiem valodas modeļiem, tādējādi paverot durvis plašākam lietojumam. 

Tilde šobrīd izstrādā universālu pamata daudzvalodu LVM — TildeLM. Ņemot vērā zinātnisko aprindu idejas attiecībā uz specializētajiem modeļiem aģentiem, TildeLM vēlāk varētu kalpot kā pamats mazākiem, konkrētām vajadzībām pielāgotiem vēl specializētākiem aģentiem. 

Komentāru sagatavoja Tildes vecākā valodas tehnoloģiju pētniece un Vītauta Dižā Universitātes profesore Jurgita Kapočūte-Dzikiene (Jurgita Kapočiūtė-Dzikienė).