Operatie "ScopeCreep": malwareontwikkeling door een Russischtalige actor
OpenAI blokkeerde Russischtalige accounts die AI gebruikten om malware te bouwen, loaders te verfijnen en problemen met cybertools op te lossen.
Deze casestudy verscheen oorspronkelijk in het rapport van OpenAI van juni 2025(opent in een nieuw venster).
Actor
We hebben een cluster ChatGPT‑accounts geblokkeerd dat vermoedelijk door een Russischtalige kwaadwillende actor werd beheerd. Deze actor gebruikte onze modellen als hulp bij het ontwikkelen en verfijnen van Windows-malware, het opsporen en verhelpen van codefouten in meerdere programmeertalen en het opzetten van command-and-control-infrastructuur.
De actor toonde kennis van de interne werking van Windows en nam enige maatregelen voor operationele beveiliging. Omdat de operatie draaide om een gamingtool voor een "richtkruis" waarin een trojan was verstopt en gebruikmaakte van heimelijke tactieken, hebben we deze "ScopeCreep" genoemd.
Gedrag
Deze kwaadwillende actor had een opvallende aanpak voor operationele beveiliging. De actor gebruikte tijdelijke e-mailadressen om ChatGPT‑accounts aan te maken en beperkte elk account tot één gesprek over één kleine verbetering van de code. Daarna liet de actor het oorspronkelijke account achter en maakte een nieuw account aan.
De actor verspreidde de ScopeCreep-malware via een openbare coderepository die zich voordeed als een legitieme, populaire tool om een richtkruis over videogames heen weer te geven (Crosshair-X). Nietsvermoedende gebruikers die de kwaadaardige versie downloadden en uitvoerden, startten daarmee de malwareloader op hun systeem. Die downloadde vervolgens aanvullende kwaadaardige bestanden vanuit de infrastructuur van de aanvaller en voerde ze uit.
De malware was ontworpen om vervolgens in meerdere stappen hogere toegangsrechten te verkrijgen, onopgemerkt blijvende toegang te vestigen, de kwaadwillende actor op de hoogte te stellen en gevoelige gegevens weg te sluizen, terwijl detectie werd ontweken.
De kwaadwillende actor gebruikte ons model om de malware stapsgewijs te ontwikkelen, door ChatGPT telkens te vragen specifieke functies toe te voegen. ScopeCreep liet uiteenlopende technieken zien voor verspreiding, uitvoering, detectieontwijking en het wegsluizen van gegevens, waaronder:
C2-payloads die waren ontworpen om detectie op basis van signatures te ontwijken.
Onopgemerkte uitvoering via DLL-sideloading.
Codeverhulling door aangepaste verpakking met Themida.
Het verkrijgen van hogere toegangsrechten en het ontwijken van detectie.
HTTPS via poort 80.
Diefstal van inlog- en sessiegegevens.
Meldingen aan de aanvaller via Telegram.
Verhulling van netwerkverkeer met proxy's.
Ondanks de operationele beveiligingsmaatregelen van de kwaadwillende actor en de mechanismen in de malware om detectie te ontwijken, konden we de activiteit opsporen dankzij ons grootschalige detectieproces voor cybermisbruik. We hebben met de codehostingprovider samengewerkt om de kwaadaardige repository offline te halen en alle ChatGPT‑accounts geblokkeerd die bij deze activiteit betrokken waren.
Modelantwoorden
De interacties van dit cluster met het model hadden betrekking op uiteenlopende ontwikkeltaken. Een daarvan bevatte een fragment Go-code waarin de kwaadwillende actor problemen had met een HTTPS-verzoek en het model vroeg om de fouten op te sporen en te verhelpen. In een ander geval vroeg de actor om hulp bij het gebruik van PowerShell-opdrachten via Go om de instellingen van Windows Defender te wijzigen, op zoek naar een manier om programmatisch uitzonderingen voor de antivirussoftware toe te voegen.
Representatieve voorbeelden van deze activiteiten kunnen als volgt worden ingedeeld volgens het LLM ATT&CK-raamwerk:
LLM's gebruiken om een bestand, python310.dll, te compileren zodat de code van de actor wordt uitgevoerd telkens wanneer python.exe wordt gestart: ontwikkeling met LLM-ondersteuning.
Fouten oplossen met SSL/TLS-certificaten die bedoeld zijn om HTTPS-verkeer via poort 80 af te handelen: ontwikkeling met LLM-ondersteuning.
Met hulp van een model een op Flask gebaseerde C2-server migreren naar een WSGI-server die geschikt is voor productiegebruik: ontwikkeling met LLM-ondersteuning.
PowerShell-opdrachten in Go ontwikkelen om Windows Defender-instellingen te wijzigen en uitzonderingen voor de antivirussoftware toe te voegen: anomaliedetectie ontwijken met LLM-ondersteuning.
Fouten verhelpen in code die een melding stuurt naar een door de aanvaller beheerd Telegram-kanaal wanneer een nieuw slachtoffer is gehackt: activiteiten na een inbraak met LLM-ondersteuning.
Impact
In dit stadium is de impact van ScopeCreep mogelijk beperkt gebleven door snelle melding en nauwe samenwerking met partners in de sector, die de kwaadaardige repository offline konden halen. We hebben de OpenAI-accounts geblokkeerd die deze kwaadwillende actor gebruikte.
We schatten in dat deze kwaadwillende actor onze modellen gebruikte om de ontwikkeling van malware te versnellen. Paradoxaal genoeg bood dit ons ook de kans om de dreiging snel te herkennen en te verstoren, in wat een vroeg stadium leek te zijn.
De malware kan weliswaar hogere toegangsrechten verkrijgen, blijvende toegang vestigen, inloggegevens verzamelen en toegang op afstand bieden, maar die mogelijkheden zijn niet bijzonder nieuw. Hoewel deze malware waarschijnlijk daadwerkelijk in omloop was en er enkele exemplaren op VirusTotal verschenen, zagen we geen aanwijzingen voor brede belangstelling of grootschalige verspreiding.