SweetSpecter: Cyberaktivitet med tilknytning til Kina
OpenAI utestengte kontoer som trolig tilhørte SweetSpecter, en trusselaktør antatt basert i Kina, som brukte KI til å undersøke sårbarheter, skrive kode og støtte målrettet phishing.
Denne casestudien ble opprinnelig publisert i OpenAIs rapport fra oktober 2024(åpnes i et nytt vindu).
Aktør
Vi identifiserte og utestengte kontoer som ifølge en vurdering fra en troverdig kilde trolig tilhørte en trusselaktør som antas å være basert i Kina. Aktøren forsøkte å bruke modellene våre til å støtte offensive cyberoperasjoner, samtidig som den gjennomførte målrettede phishing-angrep mot våre ansatte og myndigheter over hele verden. Denne trusselaktøren dukket opp i 2023 og er offentlig kjent under navnet SweetSpecter. Så vidt vi vet, er dette første gang det er offentlig kjent at aktøren har rettet seg mot et USA-basert KI-selskap. Tidligere aktivitet skal ha vært rettet mot politiske aktører i Midtøsten, Afrika og Asia.
Atferd
I mai 2024 fikk vi et tips fra en troverdig kilde om at sikkerhetsteamet deres hadde observert at SweetSpecter sendte målrettede phishing-e-poster med ondsinnede vedlegg til både jobbrelaterte og private e-postkontoer til noen av våre ansatte.
En sladdet versjon av e-posten SweetSpecter sendte til noen få av våre ansatte. Disse e-postene ble blokkert av sikkerhetssystemene våre. Bildet er gjengitt med tillatelse fra Proofpoint.
I disse e-postene utga SweetSpecter seg for å være en ChatGPT‑bruker som ba de utvalgte ansatte om hjelp. E-postene inneholdt et ondsinnet vedlegg kalt «some problems.zip», som inneholdt en LNK-fil. Denne filen inneholdt kode som, hvis filen ble åpnet, ville vise brukeren en DOCX-fil med en liste over ulike tilsynelatende feil- og tjenestemeldinger fra ChatGPT. I bakgrunnen ville imidlertid Windows-skadevaren SugarGh0st RAT bli dekryptert og kjørt. Skadevaren er utviklet for å gi SweetSpecter kontroll over den kompromitterte maskinen, slik at aktøren blant annet kan kjøre vilkårlige kommandoer, ta skjermbilder og hente ut data.
OpenAIs sikkerhetsteam kontaktet ansatte som antas å ha vært mål for denne målrettede phishing-kampanjen, og fant at eksisterende sikkerhetstiltak hadde hindret e-postene i å nå frem til jobbkontoene deres.
Lokkeinnhold fra en av de analyserte ondsinnede LNK-filene, som ville bli vist når filen ble kjørt.
Gjennom hele prosessen spilte samarbeidet med bransjepartnere en nøkkelrolle i å identifisere disse mislykkede forsøkene på å kompromittere ansattes kontoer. Dette understreker hvor viktig samarbeid og deling av trusseletterretning er for å ligge et skritt foran avanserte trusselaktører i KI-tidsalderen. Ved å dra nytte av felles innsikt og samlet ekspertise kan vi beskytte verdiene våre bedre og stanse bruken av kontoer på plattformen som er knyttet til slik aktivitet.
Modellsvar
Da vi analyserte den bredere infrastrukturen bak denne kampanjen, fant og stanset vi en gruppe ChatGPT‑kontoer som brukte den samme infrastrukturen til å forsøke å få svar på spørsmål, skrive skript og undersøke sårbarheter. Vi knyttet disse interaksjonene til de LLM-relaterte taktikkene, teknikkene og prosedyrene (TTP-er) som Microsoft tidligere i år foreslo å innlemme i MITRE ATT&CK®-rammeverket. MITRE-rammeverket dokumenterer taktikker og teknikker som cybertrusselaktører bruker i praksis. Ved å vise disse koblingene ønsker vi å informere det bredere cybersikkerhetsmiljøet om observerte TTP-er og bidra til et mer effektivt cyberforsvar.
Nedenfor er noen eksempler på aktiviteter fra SweetSpecter som samsvarer med disse TTP-ene:
Aktivitet | LLM-kategori i ATT&CK-rammeverket |
|---|---|
Spørsmål om sårbarheter i ulike applikasjoner | LLM-informert rekognosering |
Spørsmål om hvordan man søker etter bestemte versjoner av Log4j som er sårbare for Log4Shell, en kritisk sårbarhet som muliggjør fjernkjøring av kode (RCE) | LLM-informert rekognosering |
Spørsmål om populære innholdsstyringssystemer som brukes i utlandet | LLM-informert rekognosering |
Forespørsler om informasjon om bestemte CVE-numre | LLM-informert rekognosering |
Spørsmål om hvordan man lager verktøy som skanner hele internett. | LLM-informert rekognosering |
Spørsmål om hvordan sqlmap kan brukes til å laste opp et mulig webskall til en målserver. | LLM-assistert sårbarhetsanalyse |
Forespørsler om hjelp til å finne måter å utnytte infrastrukturen til en fremtredende bilprodusent på. | LLM-assistert sårbarhetsanalyse |
Innsending av kode med forespørsler om ytterligere hjelp til å bruke kommunikasjonstjenester for å sende tekstmeldinger programmatisk. | LLM-forbedrede skriptteknikker |
Forespørsler om hjelp til feilsøking under utviklingen av en utvidelse til et cybersikkerhetsverktøy. | LLM-forbedrede skriptteknikker |
Forespørsler om hjelp til å feilsøke kode i et større rammeverk for programmatisk utsending av tekstmeldinger til numre angitt av angriperen. | LLM-assistert utvikling |
Forespørsler om temaer som ansatte i offentlige etater ville finne interessante, og om gode vedleggsnavn for å unngå blokkering. | LLM-støttet sosial manipulering |
Forespørsler om varianter av en rekrutteringsmelding levert av angriperen. | LLM-støttet sosial manipulering |
Gjennom hele undersøkelsen brukte sikkerhetsteamene våre ChatGPT til å analysere, kategorisere, oversette og oppsummere interaksjoner fra trusselaktørenes kontoer. Dette gjorde det mulig å raskt hente innsikt fra store datasett, samtidig som vi minimerte ressursbruken. Etter hvert som modellene våre blir mer avanserte, forventer vi også å kunne bruke ChatGPT til å reversutvikle og analysere de ondsinnede vedleggene som ble sendt til ansatte.
Effekt
I tråd med det vi observerte i vår første trusselrapport, så det ikke ut til at aktørenes bruk av modellene våre ga dem nye evner eller veiledning som de ikke ellers kunne ha fått fra flere offentlig tilgjengelige ressurser. Sikkerhetsmekanismene våre blokkerte de ondsinnede e-postene fra trusselaktøren før de nådde de ansattes innbokser.