SweetSpecter: cyberdziałalność powiązana z Chinami
OpenAI zablokowało konta prawdopodobnie należące do grupy SweetSpecter, podejrzewanej o działanie z Chin, która wykorzystywała AI do badania podatności, pisania kodu i wspierania ataków spear phishing.
To studium przypadku pierwotnie opublikowano w raporcie OpenAI z października 2024 roku(otwiera nowe okno).
Sprawca
Zidentyfikowaliśmy i zablokowaliśmy konta, które według oceny wiarygodnego źródła prawdopodobnie należały do grupy cyberprzestępczej podejrzewanej o działanie z terytorium Chin. Próbowano wykorzystywać je do wspierania ofensywnych operacji w cyberprzestrzeni za pomocą naszych modeli, a jednocześnie prowadzono ataki spear phishing na naszych pracowników i instytucje rządowe na całym świecie. Grupa ta, publicznie znana pod nazwą SweetSpecter, pojawiła się w 2023 roku. Według naszej wiedzy po raz pierwszy publicznie ujawniono, że wśród jej celów znalazła się firma zajmująca się AI z siedzibą w USA. Z wcześniejszych doniesień wynikało, że jej działalność koncentrowała się na podmiotach politycznych na Bliskim Wschodzie, w Afryce i Azji.
Sposób działania
W maju 2024 roku otrzymaliśmy informację od wiarygodnego źródła, którego zespół ds. bezpieczeństwa zaobserwował, że SweetSpecter wysyła wiadomości spear phishing ze złośliwymi załącznikami na służbowe i prywatne adresy e-mail niektórych naszych pracowników.
Wiadomość e-mail wysłana przez SweetSpecter do niewielkiej grupy naszych pracowników, z usuniętymi poufnymi danymi. Nasze systemy bezpieczeństwa zablokowały te wiadomości. Obraz udostępniony dzięki uprzejmości Proofpoint.
W tych wiadomościach SweetSpecter podszywało się pod użytkownika ChatGPT, który prosił atakowanych pracowników o pomoc. Wiadomości zawierały złośliwy załącznik o nazwie „some problems.zip”, w którym znajdował się plik LNK. Plik ten zawierał kod, który po otwarciu wyświetlał użytkownikowi plik DOCX z listą rzekomych komunikatów o błędach i komunikatów usługi ChatGPT. W tle jednak odszyfrowywane i uruchamiane było złośliwe oprogramowanie dla systemu Windows znane jako SugarGh0st RAT. Oprogramowanie to ma dawać grupie SweetSpecter kontrolę nad zainfekowanym komputerem i umożliwiać jej między innymi wykonywanie dowolnych poleceń, robienie zrzutów ekranu oraz wykradanie danych.
Zespół ds. bezpieczeństwa OpenAI skontaktował się z pracownikami, których uznano za cele tej kampanii spear phishing, i ustalił, że istniejące zabezpieczenia nie dopuściły do tego, by wiadomości dotarły do ich służbowych skrzynek pocztowych.
Treść służąca jako przynęta, wyświetlana po uruchomieniu jednego z analizowanych złośliwych plików LNK.
W całym tym procesie współpraca z partnerami z branży odegrała kluczową rolę w wykrywaniu nieudanych prób przejęcia kont pracowników. Pokazuje to, jak ważne są wymiana informacji o zagrożeniach i współpraca, by w erze AI wyprzedzać zaawansowanych cyberprzestępców. Korzystając ze wspólnych ustaleń i wiedzy eksperckiej, możemy lepiej chronić nasze zasoby i blokować konta na platformie powiązane z takimi działaniami.
Odpowiedzi modeli
Analizując szerszą infrastrukturę wspierającą tę kampanię, znaleźliśmy i zablokowaliśmy grupę kont ChatGPT, które korzystały z tej samej infrastruktury, by uzyskiwać odpowiedzi na pytania oraz wykonywać zadania związane z pisaniem skryptów i badaniem podatności. Przyporządkowaliśmy te interakcje do taktyk, technik i procedur (TTP) związanych z LLM, które firma Microsoft zaproponowała do włączenia do bazy MITRE ATT&CK® na początku tego roku. Baza MITRE opisuje taktyki i techniki stosowane przez cyberprzestępców w rzeczywistych atakach. Przedstawiając te przyporządkowania, chcemy informować szerszą społeczność zajmującą się cyberbezpieczeństwem o zaobserwowanych TTP i pomagać w zwiększaniu skuteczności cyberobrony.
Poniżej przedstawiamy przykłady działań SweetSpecter odpowiadających tym TTP:
Działanie | Kategoria LLM w bazie ATT&CK |
|---|---|
Pytania o podatności w różnych aplikacjach | Rozpoznanie z wykorzystaniem informacji z LLM |
Pytania o sposoby wyszukiwania konkretnych wersji Log4j z krytyczną podatnością Log4Shell umożliwiającą zdalne wykonanie kodu (RCE) | Rozpoznanie z wykorzystaniem informacji z LLM |
Pytania o popularne systemy zarządzania treścią używane za granicą | Rozpoznanie z wykorzystaniem informacji z LLM |
Prośby o informacje dotyczące konkretnych identyfikatorów CVE | Rozpoznanie z wykorzystaniem informacji z LLM |
Pytania o sposób tworzenia narzędzi skanujących cały internet. | Rozpoznanie z wykorzystaniem informacji z LLM |
Pytania o to, jak użyć sqlmap do przesłania potencjalnej powłoki web shell na serwer docelowy. | Badanie podatności wspomagane przez LLM |
Prośby o pomoc w znalezieniu sposobów wykorzystania luk w infrastrukturze znanego producenta samochodów. | Badanie podatności wspomagane przez LLM |
Przesyłanie kodu i proszenie o dodatkową pomoc w korzystaniu z usług komunikacyjnych do programowego wysyłania wiadomości tekstowych. | Techniki pisania skryptów usprawniane przez LLM |
Prośby o pomoc w debugowaniu tworzonego rozszerzenia do narzędzia z zakresu cyberbezpieczeństwa. | Techniki pisania skryptów usprawniane przez LLM |
Prośby o pomoc w debugowaniu kodu będącego częścią większego frameworka do programowego wysyłania wiadomości tekstowych na numery wskazane przez atakującego. | Tworzenie oprogramowania wspomagane przez LLM |
Pytania o tematy, które zainteresowałyby pracowników instytucji rządowych, oraz o nazwy załączników, które pozwoliłyby uniknąć blokady. | Socjotechnika wspomagana przez LLM |
Prośby o warianty wiadomości rekrutacyjnej dostarczonej przez atakującego. | Socjotechnika wspomagana przez LLM |
Przez cały czas trwania dochodzenia nasze zespoły ds. bezpieczeństwa korzystały z ChatGPT do analizowania, kategoryzowania, tłumaczenia i podsumowywania interakcji na kontach atakujących. Pozwoliło nam to szybko wyciągać wnioski z dużych zbiorów danych, minimalizując przy tym zasoby potrzebne do tej pracy. Spodziewamy się, że wraz z rozwojem naszych modeli będziemy mogli wykorzystywać ChatGPT również do inżynierii wstecznej i analizy złośliwych załączników wysyłanych do pracowników.
Wpływ
Podobnie jak w przypadku obserwacji opisanych w naszym pierwszym raporcie o zagrożeniach, korzystanie z naszych modeli najwyraźniej nie dawało atakującym nowych możliwości ani wskazówek, których nie mogliby uzyskać z licznych publicznie dostępnych źródeł. Nasze mechanizmy bezpieczeństwa zablokowały złośliwe wiadomości od atakujących, zanim dotarły one do skrzynek pocztowych pracowników.