SweetSpecter: activitate cibernetică asociată cu China
OpenAI a blocat conturi care aparțineau probabil SweetSpecter, un atacator suspectat că operează din China, care folosea IA pentru a studia vulnerabilități, a scrie cod și a sprijini atacuri de phishing țintit.
Acest studiu de caz a fost publicat inițial în raportul OpenAI din octombrie 2024(se deschide într-o fereastră nouă).
Actor
Am identificat și blocat conturi care, potrivit evaluării unei surse credibile, aparțineau probabil unui atacator suspectat că operează din China. Acesta încerca să folosească modelele noastre pentru a-și sprijini operațiunile cibernetice ofensive, desfășurând în același timp atacuri de phishing țintit împotriva angajaților noștri și a unor guverne din întreaga lume. Acest atacator, monitorizat public sub numele SweetSpecter, a apărut în 2023. Din informațiile pe care le avem, aceasta este prima dată când se constată public că printre țintele sale se numără o companie de IA din SUA. Potrivit rapoartelor, activitatea sa anterioară viza entități politice din Orientul Mijlociu, Africa și Asia.
Comportament
În mai 2024, am fost informați de o sursă credibilă că echipa sa de securitate observase cum SweetSpecter trimitea e-mailuri de phishing țintit cu atașamente malițioase atât pe adresele de serviciu, cât și pe cele personale ale unora dintre angajații noștri.
O versiune cu informații mascate a e-mailului trimis de SweetSpecter unui număr mic de angajați ai noștri. Aceste e-mailuri au fost blocate de sistemele noastre de securitate. Imagine oferită prin amabilitatea Proofpoint.
În aceste e-mailuri, SweetSpecter se dădea drept un utilizator ChatGPT care solicita ajutorul angajaților vizați. E-mailurile includeau un atașament malițios numit „some problems.zip”, care conținea un fișier LNK. Acest fișier conținea cod care, la deschidere, ar fi afișat utilizatorului un fișier DOCX cu o listă de mesaje aparent provenite de la ChatGPT, referitoare la erori și la funcționarea serviciului. În fundal, însă, ar fi fost decriptat și executat un program malware pentru Windows, cunoscut sub numele SugarGh0st RAT. Programul malware este conceput pentru a-i oferi atacatorului SweetSpecter controlul asupra dispozitivului compromis și pentru a-i permite, printre altele, să execute comenzi arbitrare, să realizeze capturi de ecran și să exfiltreze date.
Echipa de securitate OpenAI i-a contactat pe angajații despre care se credea că fuseseră vizați de această campanie de phishing țintit și a constatat că măsurile de securitate existente împiedicaseră e-mailurile să ajungă în căsuțele lor de serviciu.
Conținut-capcană dintr-unul dintre fișierele LNK malițioase analizate, care ar fi fost afișat la executarea fișierului.
Pe tot parcursul acestui proces, colaborarea cu partenerii din industrie a jucat un rol esențial în identificarea acestor încercări eșuate de compromitere a conturilor angajaților. Acest lucru evidențiază importanța schimbului de informații despre amenințări și a colaborării pentru a rămâne cu un pas înaintea atacatorilor sofisticați în era IA. Valorificând informațiile partajate și expertiza colectivă, ne putem proteja mai bine resursele și putem bloca activitatea conturilor de pe platformă asociate unor astfel de acțiuni.
Răspunsuri generate
Analizând infrastructura mai amplă care susținea această campanie, am descoperit și blocat un grup de conturi ChatGPT care foloseau aceeași infrastructură pentru a încerca să obțină răspunsuri la întrebări, să creeze scripturi și să cerceteze vulnerabilități. Am corelat aceste interacțiuni cu tacticile, tehnicile și procedurile (TTP) legate de LLM pe care Microsoft le-a propus pentru integrare în cadrul MITRE ATT&CK® la începutul acestui an. Cadrul MITRE documentează tacticile și tehnicile folosite în practică de atacatorii cibernetici. Prezentând aceste corelări, ne propunem să informăm comunitatea mai largă de securitate cibernetică despre TTP-urile observate și să contribuim la îmbunătățirea eficacității apărării cibernetice.
Mai jos sunt câteva exemple de activități ale SweetSpecter care corespund acestor TTP-uri:
Activitate | Categorie LLM în cadrul ATT&CK |
|---|---|
Întrebări despre vulnerabilitățile diverselor aplicații | Recunoaștere bazată pe informații de la LLM |
Întrebări despre cum pot fi căutate anumite versiuni Log4j afectate de Log4Shell, vulnerabilitatea critică de execuție de cod la distanță (RCE) | Recunoaștere bazată pe informații de la LLM |
Întrebări despre sistemele populare de gestionare a conținutului folosite în străinătate | Recunoaștere bazată pe informații de la LLM |
Solicitări de informații despre anumite numere CVE | Recunoaștere bazată pe informații de la LLM |
Întrebări despre cum sunt create instrumentele de scanare a întregului internet. | Recunoaștere bazată pe informații de la LLM |
Întrebări despre cum ar putea fi folosit sqlmap pentru a încărca un posibil web shell pe un server-țintă. | Cercetarea vulnerabilităților cu ajutorul LLM |
Solicitări de ajutor pentru a găsi modalități de exploatare a infrastructurii unui producător auto important. | Cercetarea vulnerabilităților cu ajutorul LLM |
Furnizarea de cod și solicitarea de ajutor suplimentar pentru folosirea serviciilor de comunicații în vederea trimiterii de mesaje text prin programare. | Tehnici de creare a scripturilor îmbunătățite cu LLM |
Solicitări de ajutor pentru depanarea unei extensii aflate în dezvoltare pentru un instrument de securitate cibernetică. | Tehnici de creare a scripturilor îmbunătățite cu LLM |
Solicitări de ajutor pentru depanarea unui cod care face parte dintr-un cadru software mai amplu, destinat trimiterii de mesaje text prin programare către numere specificate de atacator. | Dezvoltare cu ajutorul LLM |
Solicitări de subiecte pe care angajații instituțiilor guvernamentale le-ar considera interesante și de nume potrivite pentru atașamente, astfel încât acestea să nu fie blocate. | Inginerie socială cu ajutorul LLM |
Solicitări de variante ale unui mesaj de recrutare furnizat de atacator. | Inginerie socială cu ajutorul LLM |
Pe tot parcursul acestei investigații, echipele noastre de securitate au folosit ChatGPT pentru a analiza, clasifica, traduce și rezuma interacțiunile din conturile atacatorului. Acest lucru ne-a permis să obținem rapid informații relevante din seturi mari de date, reducând la minimum resursele necesare acestei activități. Pe măsură ce modelele noastre devin mai avansate, ne așteptăm să putem folosi ChatGPT și pentru a analiza și a aplica tehnici de inginerie inversă asupra atașamentelor malițioase trimise angajaților.
Impact
În concordanță cu observațiile din primul nostru raport privind amenințările, utilizarea modelelor noastre de către operatori nu a părut să le ofere capabilități sau îndrumări noi, pe care nu le-ar fi putut obține și din numeroase resurse disponibile public. Mecanismele noastre de securitate au blocat e-mailurile malițioase ale atacatorului înainte ca acestea să ajungă în căsuțele de e-mail ale angajaților.