SweetSpecter: кибердейност, свързана с Китай
OpenAI блокира акаунти, вероятно на SweetSpecter — нападател с предполагаема база в Китай, използващ ИИ за проучване на уязвимости, писане на код и подпомагане на целеви фишинг.
Този анализ на случай е публикуван първоначално в доклада на OpenAI от октомври 2024 г.(отваря се в нов прозорец)
Извършител
Идентифицирахме и блокирахме акаунти, които според оценка от надежден източник вероятно принадлежат на нападател, за когото се предполага, че е базиран в Китай. Чрез тях бяха правени опити нашите модели да се използват в подкрепа на офанзивни кибероперации, докато едновременно с това се провеждаха целеви фишинг атаки срещу наши служители и правителства по целия свят. Този нападател, публично проследяван под името SweetSpecter, се появи през 2023 г. Доколкото ни е известно, това е първият публично установен случай, в който сред целите му е компания за ИИ, базирана в САЩ. Според предишни доклади дейността му е била насочена към политически организации в Близкия изток, Африка и Азия.
Поведение
През май 2024 г. получихме сигнал от надежден източник, чийто екип по сигурността е установил, че SweetSpecter изпраща целеви фишинг имейли със зловредни прикачени файлове както до служебните, така и до личните имейл адреси на някои наши служители.
Версия със заличени данни на имейла, изпратен от SweetSpecter до малък брой наши служители. Тези имейли бяха блокирани от системите ни за сигурност. Изображението е любезно предоставено от Proofpoint.
В тези имейли SweetSpecter се представяше за потребител на ChatGPT, който търси помощ от набелязаните служители. Имейлите включваха зловреден прикачен файл с име „some problems.zip“, съдържащ LNK файл. Този файл съдържаше код, който при отваряне би показал на потребителя DOCX файл със списък от привидни съобщения за грешки и служебни известия от ChatGPT. Във фонов режим обаче би се декриптирал и изпълнил зловреден софтуер за Windows, известен като SugarGh0st RAT. Зловредният софтуер е създаден, за да даде на SweetSpecter контрол над компрометирания компютър и да позволи действия като изпълнение на произволни команди, правене на екранни снимки и извличане на данни.
Екипът по сигурността на OpenAI се свърза със служителите, за които се смяташе, че са били мишени на тази целева фишинг кампания, и установи, че действащите мерки за сигурност са предотвратили доставянето на имейлите до служебните им пощенски кутии.
Съдържание примамка от един от анализираните зловредни LNK файлове, което би се показало при изпълнението му.
През целия процес сътрудничеството с партньори от индустрията изигра ключова роля за откриването на тези неуспешни опити за компрометиране на акаунти на служители. Това подчертава колко важни са обменът на информация за заплахи и сътрудничеството, за да изпреварваме нападателите със сложни методи в ерата на ИИ. Като използваме споделената информация и общия експертен опит, можем да защитаваме по-добре ресурсите си и да прекъсваме дейността на акаунтите в платформата, свързани с подобни действия.
Генерирани отговори
При анализа на по-широката инфраструктура, поддържаща тази кампания, открихме и блокирахме група акаунти в ChatGPT, които използваха същата инфраструктура в опити да получават отговори на въпроси и да изпълняват задачи по писане на скриптове и проучване на уязвимости. Съпоставихме тези взаимодействия с тактиките, техниките и процедурите (TTP), свързани с големи езикови модели, които Microsoft предложи за включване в рамката MITRE ATT&CK® по-рано тази година. Рамката MITRE описва тактики и техники, използвани от кибернападатели в реални условия. Като представяме тези съответствия, целим да информираме по-широката общност по киберсигурност за наблюдаваните тактики, техники и процедури и да помогнем за повишаване на ефективността на киберзащитата.
По-долу са дадени някои примери за действия на SweetSpecter, които съответстват на тези тактики, техники и процедури:
Дейност | Категория за големи езикови модели в рамката ATT&CK |
|---|---|
Въпроси за уязвимости в различни приложения | Разузнаване с информация от големи езикови модели |
Въпроси как да се търсят конкретни версии на Log4j, засегнати от критичната уязвимост за отдалечено изпълнение на код Log4Shell | Разузнаване с информация от големи езикови модели |
Въпроси за популярни системи за управление на съдържание, използвани в чужбина | Разузнаване с информация от големи езикови модели |
Искане на информация за конкретни CVE номера | Разузнаване с информация от големи езикови модели |
Въпроси как се създават инструменти за сканиране на целия интернет. | Разузнаване с информация от големи езикови модели |
Въпроси как може да се използва sqlmap за качване на потенциален уеб шел на целеви сървър. | Проучване на уязвимости с помощта на големи езикови модели |
Искане на помощ за намиране на начини за експлоатиране на уязвимости в инфраструктурата на известен автомобилен производител. | Проучване на уязвимости с помощта на големи езикови модели |
Предоставяне на код и искане на допълнителна помощ за използване на комуникационни услуги за програмно изпращане на текстови съобщения. | Техники за писане на скриптове, усъвършенствани чрез големи езикови модели |
Искане на помощ за отстраняване на грешки при разработването на разширение за инструмент за киберсигурност. | Техники за писане на скриптове, усъвършенствани чрез големи езикови модели |
Искане на помощ за отстраняване на грешки в код, който е част от по-голяма софтуерна рамка за програмно изпращане на текстови съобщения до номера, посочени от нападателя. | Разработка с помощта на големи езикови модели |
Искане на теми, които биха заинтересували служители на държавни ведомства, и на подходящи имена за прикачени файлове, така че да не бъдат блокирани. | Социално инженерство с подкрепата на големи езикови модели |
Искане на варианти на предоставено от нападателя съобщение за набиране на служители. | Социално инженерство с подкрепата на големи езикови модели |
По време на цялото разследване нашите екипи по сигурността използваха ChatGPT, за да анализират, категоризират, превеждат и обобщават взаимодействията от акаунтите на нападателя. Това ни позволи бързо да извличаме полезна информация от големи масиви от данни, като сведем до минимум необходимите за тази работа ресурси. С усъвършенстването на нашите модели очакваме да можем да използваме ChatGPT и за обратно инженерство и анализ на зловредните прикачени файлове, изпращани до служители.
Въздействие
В съответствие с наблюденията в първия ни доклад за заплахите, използването на нашите модели, изглежда, не е дало на извършителите нови възможности или насоки, които те не биха могли да получат от множество публично достъпни източници. Нашите механизми за сигурност блокираха зловредните имейли на нападателя, преди да достигнат до пощенските кутии на служителите.