Dodaj Nportal kao svoj Google izvor
Захваљујући тој могућности, АИ асистенти могу да памте навике, преференције и раније разговоре, што комуникацију чини природнијом и ефикаснијом.
Ипак, стручњаци упозоравају да управо ова предност може постати озбиљан безбедносни проблем. Ново истраживање научника са Универзитета у Новом Мексику показало је да нападачи потенцијално могу да манипулишу меморијом АИ система, убацујући у њу лажне информације које касније могу утицати на понашање асистента и његове одлуке.
Нови тип напада усмерен на меморију АИ система
Истраживачки тим представио је технику названу "ГхостWритер", која не покушава да украде податке или преузме контролу над моделом на уобичајен начин. Уместо тога, циљ напада је дугорочна меморија АИ асистента.
Према наводима истраживача, нападачи могу да убаце злонамерне или нетачне информације путем скривених упита или садржаја из непоузданих извора. Такви подаци затим остају сачувани у меморији система и могу бити искоришћени много касније.
Овакав приступ разликује се од познатих напада који утичу само на један разговор или једну сесију. У овом случају проблем остаје присутан и након завршетка почетне интеракције, јер се лажни подаци чувају у меморији и могу поново да се активирају.
Прочитајте још
Како "отрована" меморија може да утиче на одлуке
Највећа опасност крије се у чињеници да АИ касније може да користи компромитоване информације као да су тачне. Када систем повуче такво сећање из меморије, оно постаје део одговора или одлуке коју доноси.
У теорији, то би могло да доведе до озбиљних последица. На пример, асистент би могао да користи погрешне контакт податке, нетачне рокове или измишљене информације које су претходно убачене у његову меморију.
Истраживачи упозоравају да би у одређеним ситуацијама таква манипулација могла да утиче и на обраду осетљивих података, посебно ако АИ системи буду имали све већу улогу у пословним процесима и аутоматизованим задацима.
Резултати истраживања забринули стручњаке
Током тестирања на савременим АИ агентима, истраживачи су забележили веома високу успешност убацивања лажних меморијских записа. Према објављеним резултатима, "ГхостWритер" је успео да "упамти" злонамерне информације у око 98 одсто покушаја.
Додатни разлог за забринутост представља податак да су такве информације касније активиране у приближно 60 процената случајева. То значи да је систем често користио компромитоване податке приликом одговарања на легитимне корисничке захтеве.
Како би се смањио ризик од оваквих напада, аутори истраживања предложили су нови заштитни оквир под називом АМ-Сентрy. Његов циљ је строжа контрола података који улазе у дугорочну меморију АИ система и боље разликовање поузданих информација од потенцијално манипулативног садржаја.
(24sedam.rs)
БОНУС ВИДЕО:
