Prema trenutačnom stanju kibernetičke sigurnosti, fokus na deepfake i krađu identiteta temeljen na velikom jezičnom modelu (LLM) možda odvraća pozornost od značajnijih rizika povezanih s generativnom umjetnom inteligencijom (GenAI). Zabrinutost oko GenAI-ja manje se odnosi na potencijalne prijetnje od tehnologije, a više na prijetnje GenAI-ju od napadača koji iskorištavaju slabosti dizajna i nedostatke u tim sustavima.

Prompt injection, metoda koja se koristi za unos tekstualnih upita u LLM sustave kako bi se pokrenule nenamjerne ili neovlaštene radnje, identificiran je kao kritični adversarni vektor prijetnji AI-ja. Tvrtka za rizični kapital SignalFire identificirala je brzo ubrizgavanje kao problem broj jedan koji treba hitno riješiti na sigurnosnom tržištu.

Prompt injection je zlonamjerna varijacija brzog inženjeringa, gdje se tekstualni unosi kreiraju za optimizaciju izlaza GenAI sustava. Međutim, u slučaju brzog ubacivanja, namjeravani rezultat obično uključuje ekstrakciju osjetljivih informacija ili pokretanje neželjenih radnji. Napadači često uporno podstiču sustav naknadnim unosima sve dok ne mogu manipulirati LLM-om kako bi ispunili svoje ciljeve, što je taktika koja se naziva društveni inženjering AI stroja.

Sveobuhvatni vodič o kontradiktornim napadima umjetne inteligencije koji je objavio Nacionalni institut za standarde i tehnologiju (NIST) istaknuo je prompt injection kao glavnu prijetnju, obuhvaćajući izravne i neizravne prompt injection napade. Ovi napadi mogu ubaciti zlonamjerne podatke izravno u odzivnik LLM sustava ili manipulirati izvorima informacija koje koristi LLM kako bi utjecali na njegov rezultat.

Štoviše, napadači mogu iskoristiti multimodalne GenAI sustave koji se mogu potaknuti slikama, proširujući opseg napada brzim ubrizgavanjem. To stvara izazove u razlikovanju legitimnih uputa od korisničkih uputa, koje čak mogu biti u obliku slika.

Potencijalni vektori napada koji koriste brzo ubrizgavanje su raznoliki i razvijaju se. Napadači mogu iskoristiti brzo ubacivanje kako bi izvukli informacije o tome kako je LLM obučen, nadjačali kontrole koje sprječavaju prikazivanje neprikladnog sadržaja ili izvukli podatke iz sustava ili povezanih izvora. Ova ranjivost u LLM-ovima predstavlja značajan rizik za privatnost podataka, potencijalno izlažući osjetljive informacije koje je naučio sustav.

Napadi brzim ubrizgavanjem mogu ne samo kompromitirati osjetljive podatke, već također funkcionirati kao pristupnik za napadače za manipuliranje AI sustavima, pokrećući neželjene radnje ugrađene u kritične sustave ili procese koji koriste LLM-ove. Budući da ovi napadi u biti mogu otključati stražnja vrata u funkcionalnost umjetne inteligencije, ozbiljnost opasnosti od brzog ubacivanja postaje očita.

Kako bi se borili protiv brzog ubacivanja, timovi za kibernetičku sigurnost moraju se pozabaviti inherentnom osjetljivošću LLM-a na manipulaciju unosom, što otežava razlikovanje legitimnih od zlonamjernih upita. U tijeku su rani pokušaji filtriranja ulaza i postavljanja zaštitnih ograda na izlaz LLM-a. Međutim, ti su pristupi još uvijek u povojima i podložni su manipulaciji, što predstavlja značajan izazov za pronalaženje sigurnog rješenja za brze napade ubrizgavanjem.

Kako se krajolik kibernetičke sigurnosti nastavlja razvijati, za branitelje je ključno da se odmah pozabave prijetnjom brzog ubrizgavanja i uvedu inovacije kako bi razvili robusna rješenja. Hitna potreba za ublažavanjem napada brzim ubrizgavanjem naglašava važnost proaktivnih mjera za zaštitu LLM-a od neprijateljskih prijetnji umjetne inteligencije. Kako razmjeri prijetnje postaju očitiji, zajednica koja se bavi kibernetičkom sigurnošću mora brzo djelovati kako bi bila ispred napadača koji koriste brzo ubrizgavanje.

Link na izvor