Operacija „ScopeCreep”: razvoj zlonamjernog softvera na ruskom jeziku
OpenAI je blokirao račune na ruskom jeziku koji su upotrebljavali AI za razvoj zlonamjernog softvera, usavršavanje programa za učitavanje i otklanjanje pogrešaka u kibernetičkim alatima.
Ova studija slučaja izvorno je objavljena u izvješću tvrtke OpenAI iz lipnja 2025.(otvara se u novom prozoru) godine.
Akter
Blokirali smo skupinu računa na ChatGPT‑u kojima je, prema svemu sudeći, upravljao zlonamjerni akter koji se služi ruskim jezikom. Taj je akter upotrebljavao naše modele kao pomoć pri razvoju i usavršavanju zlonamjernog softvera za Windows, otklanjanju pogrešaka u kodu na više programskih jezika te postavljanju infrastrukture za upravljanje i nadzor.
Akter je pokazao poznavanje unutarnjeg ustroja sustava Windows te je primjenjivao određene mjere operativne sigurnosti. Budući da se operacija oslanjala na alat za „nišan” u videoigrama s ugrađenim trojanskim konjem te na prikrivene taktike, nazvali smo je „ScopeCreep”.
Ponašanje
Ovaj je zlonamjerni akter imao specifičan pristup operativnoj sigurnosti. Za otvaranje računa na ChatGPT‑u upotrebljavao je privremene adrese e-pošte, a svaki je račun ograničio na jedan razgovor o jednom manjem poboljšanju svojeg koda. Zatim bi napustio postojeći račun i otvorio novi.
Akter je distribuirao zlonamjerni softver ScopeCreep putem javno dostupnog repozitorija koda koji se lažno predstavljao kao legitiman i popularan alat za prikaz nišana preko videoigara (Crosshair-X). Korisnici koji bi preuzeli i pokrenuli zlonamjernu verziju, ne sluteći opasnost, pokrenuli bi program za učitavanje zlonamjernog softvera na svojem sustavu. Time bi se s infrastrukture napadača preuzele i izvršile dodatne zlonamjerne datoteke.
Zlonamjerni softver bio je osmišljen da potom pokrene višefazni postupak za povećanje ovlasti, uspostavljanje prikrivenog trajnog pristupa, obavještavanje zlonamjernog aktera i izvlačenje osjetljivih podataka uz izbjegavanje otkrivanja.
Zlonamjerni akter upotrebljavao je naš model kao pomoć u iterativnom razvoju zlonamjernog softvera, neprestano tražeći od ChatGPT‑a da implementira dodatne konkretne značajke. ScopeCreep je primjenjivao niz tehnika za isporuku, izvršavanje, izbjegavanje otkrivanja i izvlačenje podataka, uključujući:
Zlonamjerni kod za upravljanje i nadzor (C2) osmišljen za izbjegavanje otkrivanja na temelju potpisa.
Prikriveno izvršavanje putem bočnog učitavanja DLL-ova.
Zamagljivanje koda prilagođenim pakiranjem pomoću alata Themida.
Povećanje ovlasti i izbjegavanje otkrivanja.
HTTPS preko porta 80.
Krađa vjerodajnica i sesija.
Obavještavanje napadača putem Telegrama.
Prikrivanje prometa putem posredničkih poslužitelja.
Unatoč mjerama operativne sigurnosti koje je zlonamjerni akter poduzeo i mehanizmima za izbjegavanje otkrivanja u samom zlonamjernom softveru, uspjeli smo otkriti tu aktivnost zahvaljujući našem postupku otkrivanja kibernetičkih zloupotreba velikih razmjera. U suradnji s pružateljem usluge hostinga koda uklonili smo zlonamjerni repozitorij te blokirali sve račune na ChatGPT‑u povezane s tom aktivnošću.
Odgovori modela
Interakcije s modelom s ove skupine računa obuhvaćale su širok raspon razvojnih zadataka. Jedna je uključivala isječak koda u programskom jeziku Go u kojem je zlonamjerni akter imao poteškoća s HTTPS zahtjevom pa je zatražio od modela da otkloni pogrešku. U drugom je slučaju zlonamjerni akter zatražio pomoć s upotrebom naredbi PowerShell putem jezika Go radi izmjene postavki programa Windows Defender, tražeći način za programsko dodavanje iznimki za antivirusnu zaštitu.
Reprezentativni primjeri tih aktivnosti mogu se povezati s okvirom LLM ATT&CK na sljedeći način:
Upotreba LLM-ova za kompilaciju datoteke python310.dll kako bi se akterov kod izvršavao pri svakom pokretanju datoteke python.exe: razvoj uz pomoć LLM-a.
Otklanjanje pogrešaka sa SSL/TLS certifikatima namijenjenima za HTTPS promet na portu 80: razvoj uz pomoć LLM-a.
Migracija C2 poslužitelja temeljenog na Flasku na WSGI poslužitelj spreman za produkciju uz pomoć modela: razvoj uz pomoć LLM-a.
Razvoj naredbi PowerShell u jeziku Go za izmjenu postavki programa Windows Defender i dodavanje iznimki za antivirusnu zaštitu: izbjegavanje otkrivanja anomalija poboljšano LLM-om.
Otklanjanje pogrešaka u kodu za slanje obavijesti na kanal na Telegramu pod kontrolom napadača kada je nova žrtva kompromitirana: aktivnosti nakon kompromitacije uz pomoć LLM-a.
Učinak
U ovoj je fazi učinak operacije ScopeCreep možda ublažen brzim prijavljivanjem i bliskom suradnjom s partnerima iz industrije koji su uspjeli ukloniti zlonamjerni repozitorij. Blokirali smo račune za OpenAI kojima se taj napadač koristio.
Procjenjujemo da je ovaj zlonamjerni akter upotrebljavao naše modele kako bi pokušao ubrzati razvoj svojeg zlonamjernog softvera. Paradoksalno, to nam je ujedno omogućilo da brzo prepoznamo i suzbijemo prijetnju, i to, prema svemu sudeći, još u ranoj fazi.
Iako mogućnosti ovog zlonamjernog softvera uključuju povećanje ovlasti, trajni pristup, prikupljanje vjerodajnica i daljinski pristup, one nisu osobito nove. Iako je ovaj zlonamjerni softver vjerojatno bio aktivan u stvarnom okruženju, a neki su se uzorci pojavili na servisu VirusTotal, nismo uočili dokaze o širem interesu za njega ni o širokoj distribuciji.