Hopp til hovedinnhold
OpenAI

1. februar 2025

Sikkerhet

Cybertrusselaktører: KI-støttet forskning på inntrenging

OpenAI utestengte kontoer som potensielt var knyttet til offentlig omtalte DPRK-tilknyttede trusselaktører som brukte KI til å undersøke inntrengingsverktøy, nettfisking, skadevare og målretting mot kryptovaluta.

Laster inn …

Denne kasusstudien ble opprinnelig publisert i OpenAIs rapport fra februar 2025⁠(åpnes i et nytt vindu).

Aktør

Vi utestengte kontoer med aktivitet som potensielt var knyttet til offentlig omtalte trusselaktører med forbindelser til Den demokratiske folkerepublikken Korea (DPRK). Noen av disse kontoene drev med aktivitet som omfattet taktikker, teknikker og prosedyrer (TTP-er) forbundet med trusselgruppen VELVET CHOLLIMA (også kjent som Kimsuky og Emerald Sleet)⁠(åpnes i et nytt vindu), mens andre kontoer potensielt var knyttet til en aktør som en troverdig kilde vurderte å ha forbindelser til STARDUST CHOLLIMA (også kjent som APT38 og Sapphire Sleet)⁠(åpnes i et nytt vindu). Vi oppdaget disse kontoene etter et tips fra en betrodd bransjepartner.

Atferd

De utestengte kontoene brukte hovedsakelig verktøyene våre til å innhente informasjon som trolig var knyttet til verktøy eller operasjoner for cyberinntrenging. De viste også interesse for kryptovalutarelaterte emner, trolig i forbindelse med økonomisk motiverte aktiviteter. Denne kombinasjonen av økonomisk og cyberrelatert aktivitet er typisk for trusselgrupper med tilknytning til DPRK.

Modellsvar

Aktørene brukte modellene våre til programmeringshjelp og feilsøking samt til å undersøke sikkerhetsrelatert åpen kildekode. Dette omfattet hjelp til feilsøking og utvikling av offentlig tilgjengelige verktøy og kode som kunne brukes til råstyrkeangrep mot Remote Desktop Protocol (RDP), samt hjelp med bruk av fjernadministrasjonsverktøy med åpen kildekode (RAT-er).

Under feilsøking av plasseringer og teknikker for auto-start extensibility points (ASEP-er) i macOS avslørte aktøren mellomlagringsnettadresser for binærfiler (kompilerte kjørbare filer) som så ut til å være ukjente for sikkerhetsleverandørene på det tidspunktet. Vi sendte mellomlagringsnettadressene til en nettbasert skannetjeneste for å gjøre dem tilgjengelige for sikkerhetsmiljøet. Binærfilene oppdages nå pålitelig av en rekke leverandører, noe som beskytter potensielle ofre.

Nedenfor vises et utvalg av aktiviteten, kartlagt mot tidligere foreslåtte LLM-relaterte utvidelser av MITRE ATT&CK®-rammeverket⁠(åpnes i et nytt vindu):

  • Spørsmål om sårbarheter i ulike applikasjoner: LLM-basert rekognosering.

  • Utvikling og feilsøking av en C#-basert RDP-klient for å muliggjøre råstyrkeangrep: LLM-støttet utvikling.

  • Forespørsler om kode for å omgå sikkerhetsadvarsler ved uautorisert RDP-tilgang: LLM-støttet utvikling.

  • Forespørsler om en rekke PowerShell-skript for RDP-tilkoblinger, opp- og nedlasting av filer, kjøring av kode fra minnet og tilsløring av HTML-innhold: LLM-forbedrede skriptteknikker; LLM-forbedret omgåelse av avviksdeteksjon.

  • Diskusjoner om oppretting og distribusjon av tilslørte nyttelaster for kjøring: LLM-optimalisert utforming av nyttelaster.

  • Søk etter metoder for målrettet nettfisking og sosial manipulering mot investorer og tradere innen kryptovaluta samt mer generelt nettfiskingsinnhold: LLM-støttet sosial manipulering.

  • Utforming av nettfiskings-e-poster og varsler for å manipulere brukere til å røpe sensitiv informasjon: LLM-støttet sosial manipulering.

  • Undersøkelser av fjernadministrasjonsverktøy med åpen kildekode (RAT-er): LLM-støttet aktivitet etter kompromittering.

Konsekvenser

Ledetekstene og søkene fra aktøren var hovedsakelig basert på eksisterende informasjon fra åpne kilder, og svarene fra modellen ga enten ingen nye muligheter eller avslo å svare. Vi utestengte kontoene som var knyttet til trusselaktøren, og delte nyttelastene deres med sikkerhetsmiljøet for å forstyrre operasjonene deres ytterligere.