Zlonamjerni akteri mogu iskoristiti činjenicu da AI agent OpenClaw pohranjuje instrukcije u svoju memoriju, koje potiču iz vanjskih izvora poput e-mailova, web stranica ili dokumenata. Na taj način mogu manipulisati njegovim ponašanjem.

Ova tehnika, poznata kao trovanje memorije, omogućava napadačima da postepeno unose fragmente uputa. Agent te fragmente pohranjuje u dugoročnu memoriju, a oni se kasnije spajaju u štetni skup naredbi.

Profesor Goh Weihan sa Singapurskog instituta za tehnologiju (SIT) objašnjava da korisnik može misliti kako agent samo priprema izvještaj, dok istovremeno izvršava skrivene instrukcije koje su ranije ugrađene putem e-mailova, web stranica ili dokumenata.

OpenClaw također može učiti vještine iz vanjskih izvora, a te vještine često kreiraju drugi korisnici bez rigorozne provjere, što donosi dodatne rizike.

U praktičnoj primjeni, pojedinac bi, na primjer, mogao dozvoliti OpenClawu pristup svom ličnom e-mail sandučiću. Ako je agent kompromitovan, sigurnost informacija u tom sandučiću je ugrožena.

Kako bi automatizovao zadatke, agent zna sve o korisniku, što mu omogućava da daje vrlo pametne odgovore. Međutim, upravo ta činjenica ga čini izuzetno opasnim, jer ima pristup svim kontekstima svakodnevnog života i može otkriti mnogo kompromitujućih informacija, ističe gospodin Chen.

AI agent koji ima pristup nečijim e-mailovima već zna s kim je ta osoba u kontaktu. Može se pretvarati da je ta osoba ili otkriti informacije o njenim kontaktima, dodaje on.

Čak i ako korisnik OpenClaw koristi isključivo kao ličnog asistenta, taj pristup može otkriti za koju kompaniju radi. To može pokrenuti lanac događaja koji dovodi u opasnost i veću organizaciju.

Zbog velike popularnosti OpenClawa, mnogi pokušavaju da probiju aplikaciju i iskoriste je, navodi gospodin Chen. „Trenutno je jednostavno previše viralan za svoje dobro“, dodaje.

Ono što agentičke AI sisteme izdvaja jeste mogućnost da pređu sa davanja prijedloga na izvršavanje radnji, kaže profesor Goh. „Vaš obični AI chatbot može dati loš odgovor i tu se sve završava. AI agent, s pristupom e-mailovima, datotekama, repozitorijima koda ili cloud sistemima, može djelovati na osnovu tog odgovora“, objašnjava.

Bilo kakve nenamjerne greške ili zlonamjerne instrukcije mogu imati mnogo veći uticaj u stvarnom svijetu, daleko gori od lošeg odgovora. Profesor Goh navodi incident iz februara kada je OpenClaw izbrisao cijeli e-mail sandučić istraživačice sigurnosti Meta AI. AI agent je, čini se, zaobišao sigurnosne instrukcije koje traže dozvolu, ignorisao komande za zaustavljanje i izbrisao stotine e-mailova.