Naučnici otkrili kako AI može da ZAPAMTI laž

Zahvaljujući toj mogućnosti, AI asistenti mogu da pamte navike, preferencije i ranije razgovore, što komunikaciju čini prirodnijom i efikasnijom.Ipak, stručnjaci upozoravaju da upravo ova prednost može postati ozbiljan bezbednosni problem. Novo istraživanje naučnika sa Univerziteta u Novom Meksiku pokazalo je da napadači potencijalno mogu da manipulišu memorijom AI sistema, ubacujući u nju lažne informacije koje kasnije mogu uticati na ponašanje asistenta i njegove odluke.Novi tip napada usmeren na memoriju AI sistemaIstraživački tim predstavio je tehniku nazvanu &quot;GhostWriter&quot;, koja ne pokušava da ukrade podatke ili preuzme kontrolu nad modelom na uobičajen način. Umesto toga, cilj napada je dugoročna memorija AI asistenta.Prema navodima istraživača, napadači mogu da ubace zlonamerne ili netačne informacije putem skrivenih upita ili sadržaja iz nepouzdanih izvora. Takvi podaci zatim ostaju sačuvani u memoriji sistema i mogu biti iskorišćeni mnogo kasnije.Ovakav pristup razlikuje se od poznatih napada koji utiču samo na jedan razgovor ili jednu sesiju. U ovom slučaju problem ostaje prisutan i nakon završetka početne interakcije, jer se lažni podaci čuvaju u memoriji i mogu ponovo da se aktiviraju.Kako &quot;otrovana&quot; memorija može da utiče na odlukeNajveća opasnost krije se u činjenici da AI kasnije može da koristi kompromitovane informacije kao da su tačne. Kada sistem povuče takvo sećanje iz memorije, ono postaje deo odgovora ili odluke koju donosi.U teoriji, to bi moglo da dovede do ozbiljnih posledica. Na primer, asistent bi mogao da koristi pogrešne kontakt podatke, netačne rokove ili izmišljene informacije koje su prethodno ubačene u njegovu memoriju.Istraživači upozoravaju da bi u određenim situacijama takva manipulacija mogla da utiče i na obradu osetljivih podataka, posebno ako AI sistemi budu imali sve veću ulogu u poslovnim procesima i automatizovanim zadacima.Rezultati istraživanja zabrinuli stručnjakeTokom testiranja na savremenim AI agentima, istraživači su zabeležili veoma visoku uspešnost ubacivanja lažnih memorijskih zapisa. Prema objavljenim rezultatima, &quot;GhostWriter&quot; je uspeo da &quot;upamti&quot; zlonamerne informacije u oko 98 odsto pokušaja.Dodatni razlog za zabrinutost predstavlja podatak da su takve informacije kasnije aktivirane u približno 60 procenata slučajeva. To znači da je sistem često koristio kompromitovane podatke prilikom odgovaranja na legitimne korisničke zahteve.Kako bi se smanjio rizik od ovakvih napada, autori istraživanja predložili su novi zaštitni okvir pod nazivom AM-Sentry. NJegov cilj je stroža kontrola podataka koji ulaze u dugoročnu memoriju AI sistema i bolje razlikovanje pouzdanih informacija od potencijalno manipulativnog sadržaja.(24sedam.rs)BONUS VIDEO:

Naučnici otkrili kako AI može da ZAPAMTI laž

Vaš komentar

Nema komentara