Preskočite na glavno vsebino
OpenAI

1. junij 2025

Varnost

Operacija »ScopeCreep«: razvoj zlonamerne programske opreme v ruščini

OpenAI je blokiral račune v ruskem jeziku, ki so umetno inteligenco uporabljali za razvoj zlonamerne programske opreme, izboljševanje nalagalnikov in odpravljanje težav s kibernetskimi orodji.

Nalaganje …

Ta študija primera je bila prvotno objavljena v poročilu družbe OpenAI iz junija 2025⁠(odpre se v novem oknu).

Akter

Blokirali smo skupino računov ChatGPT, ki jih je po naših ugotovitvah upravljal rusko govoreči zlonamerni akter. Ta akter je naše modele uporabljal za pomoč pri razvoju in izboljševanju zlonamerne programske opreme za Windows, odpravljanju napak v kodi v več programskih jezikih ter vzpostavljanju infrastrukture za poveljevanje in nadzor.

Akter je pokazal poznavanje notranjega delovanja sistema Windows in uporabljal nekatere ukrepe za zagotavljanje operativne varnosti. Ker se je operacija osredotočala na uporabo igralnega orodja za prikaz »merilnega križa« s podtaknjenim trojanskim konjem in na prikrito delovanje, smo jo poimenovali »ScopeCreep«.

Ravnanje

Ta zlonamerni akter je imel izstopajoč pristop k operativni varnosti. Za registracijo računov ChatGPT je uporabljal začasne e-poštne naslove, vsak račun pa je omejil na en pogovor o eni manjši izboljšavi kode. Nato je prvotni račun opustil in ustvaril novega.

Akter je zlonamerno programsko opremo ScopeCreep razširjal prek javno dostopnega repozitorija kode, ki se je izdajal za legitimno in priljubljeno orodje za prikaz merilnega križa v videoigrah (Crosshair-X). Nič hudega sluteči uporabniki so s prenosom in zagonom zlonamerne različice v svojem sistemu zagnali nalagalnik zlonamerne programske opreme, ki je iz napadalčeve infrastrukture prenesel in izvedel dodatne zlonamerne datoteke.

Zlonamerna programska oprema je bila zasnovana tako, da je nato sprožila večstopenjski postopek za pridobivanje višjih pravic, vzpostavljanje prikrite trajne prisotnosti, obveščanje zlonamernega akterja in odnašanje občutljivih podatkov, pri tem pa se je izogibala zaznavi.

Zlonamerni akter je naš model uporabljal za pomoč pri postopnem razvoju zlonamerne programske opreme, tako da je od ChatGPT nenehno zahteval dodajanje novih, natančno določenih funkcij. ScopeCreep je uporabljal vrsto tehnik za dostavo, izvajanje, izogibanje zaznavi in odnašanje podatkov, med drugim:

  • Zlonamerne vsebine C2, zasnovane za izogibanje zaznavanju na podlagi podpisov.

  • Prikrito izvajanje s stranskim nalaganjem knjižnic DLL.

  • Zakritje kode s prilagojenim pakiranjem z orodjem Themida.

  • Pridobivanje višjih pravic in izogibanje zaznavi.

  • HTTPS prek vrat 80.

  • Krajo poverilnic in sej.

  • Obveščanje napadalca prek Telegrama.

  • Prikrivanje prometa prek posredniških strežnikov.

Kljub akterjevim prizadevanjem za operativno varnost in mehanizmom za izogibanje zaznavi v sami zlonamerni programski opremi smo dejavnost zaznali s svojim obsežnim postopkom odkrivanja kibernetskih zlorab. S ponudnikom gostovanja kode smo uskladili odstranitev zlonamernega repozitorija in blokirali vse račune ChatGPT, povezane s to dejavnostjo.

Odzivi modela

Pogovori z modelom iz te skupine računov so zajemali širok nabor razvojnih nalog. Eden od njih je vseboval izsek kode v jeziku Go, pri katerem je imel zlonamerni akter težave z zahtevo HTTPS, zato je model prosil za odpravo napake. V drugem primeru je zlonamerni akter prosil za pomoč pri uporabi ukazov PowerShell prek jezika Go za spreminjanje nastavitev programa Windows Defender, saj je iskal način za programsko dodajanje izjem pri protivirusnem preverjanju.

Značilne primere teh dejavnosti lahko v okvir ATT&CK za velike jezikovne modele umestimo takole:

  • Uporaba velikih jezikovnih modelov za prevajanje datoteke python310.dll, tako da se akterjeva koda izvede ob vsakem zagonu datoteke python.exe: razvoj s pomočjo velikih jezikovnih modelov.

  • Odpravljanje napak s potrdili SSL/TLS, namenjenimi obdelavi prometa HTTPS na vratih 80: razvoj s pomočjo velikih jezikovnih modelov.

  • Selitev strežnika C2, ki temelji na ogrodju Flask, na strežnik WSGI, pripravljen za produkcijsko rabo, ob pomoči modela: razvoj s pomočjo velikih jezikovnih modelov.

  • Razvoj ukazov PowerShell v jeziku Go za spreminjanje nastavitev programa Windows Defender in dodajanje izjem pri protivirusnem preverjanju: učinkovitejše izogibanje zaznavanju anomalij s pomočjo velikih jezikovnih modelov.

  • Odpravljanje napak v kodi za pošiljanje obvestil v kanal Telegram pod nadzorom napadalca ob uspešnem vdoru v sistem nove žrtve: dejavnosti po vdoru s pomočjo velikih jezikovnih modelov.

Vpliv

Hitro poročanje in tesno sodelovanje s partnerji iz panoge, ki so lahko odstranili zlonamerni repozitorij, sta na tej stopnji morda omejila vpliv operacije ScopeCreep. Blokirali smo račune OpenAI, ki jih je uporabljal ta napadalec.

Ocenjujemo, da je ta zlonamerni akter naše modele uporabljal v poskusu pospešitve razvoja zlonamerne programske opreme. Paradoksalno nam je to tudi omogočilo, da smo grožnjo hitro prepoznali in onemogočili njeno delovanje, po vsem sodeč še v zgodnji fazi.

Čeprav ta zlonamerna programska oprema omogoča pridobivanje višjih pravic, ohranjanje trajne prisotnosti, zbiranje poverilnic in oddaljeni dostop, te zmožnosti niso posebej nove. Čeprav je bila ta zlonamerna programska oprema verjetno dejavna v resničnem okolju in so se nekateri vzorci pojavili na platformi VirusTotal, nismo našli dokazov o širšem zanimanju zanjo ali njeni razširjenosti.