SweetSpecter: Aktivitas siber terkait Tiongkok
OpenAI memblokir akun yang kemungkinan milik SweetSpecter, pelaku ancaman yang diduga berbasis di Tiongkok, yang menggunakan AI untuk meneliti kerentanan, menulis kode, dan mendukung aktivitas spear phishing.
Studi kasus ini pertama kali diterbitkan dalam laporan OpenAI edisi Oktober 2024(terbuka di jendela baru).
Pelaku
Kami mengidentifikasi dan memblokir akun-akun yang, berdasarkan penilaian dari sumber tepercaya, kemungkinan dimiliki oleh pelaku ancaman yang diduga berbasis di Tiongkok. Akun-akun tersebut mencoba menggunakan model kami untuk mendukung operasi serangan siber mereka, sembari melancarkan serangan spear phishing terhadap karyawan kami dan pemerintah di berbagai negara. Pelaku ancaman yang dipantau secara publik dengan nama SweetSpecter ini muncul pada 2023. Sejauh yang kami ketahui, baru kali ini sebuah perusahaan AI yang berbasis di AS diidentifikasi secara publik sebagai salah satu sasarannya. Aktivitas mereka sebelumnya dilaporkan berfokus pada entitas politik di Timur Tengah, Afrika, dan Asia.
Perilaku
Pada Mei 2024, kami menerima informasi dari sumber tepercaya bahwa tim keamanan mereka mendapati SweetSpecter mengirim email spear phishing dengan lampiran berbahaya ke akun email kantor maupun pribadi beberapa karyawan kami.
Email yang dikirim SweetSpecter kepada sejumlah kecil karyawan kami, dengan sebagian informasi disamarkan. Email-email ini diblokir oleh sistem keamanan kami. Gambar disediakan atas izin Proofpoint.
Dalam email-email ini, SweetSpecter menyamar sebagai pengguna ChatGPT yang meminta bantuan dari karyawan yang menjadi sasaran. Email-email tersebut menyertakan lampiran berbahaya bernama “some problems.zip” yang berisi file LNK. File ini berisi kode yang, jika dibuka, akan menampilkan file DOCX kepada pengguna. File DOCX tersebut memuat berbagai pesan kesalahan dan layanan yang seolah-olah berasal dari ChatGPT. Namun, di latar belakang, malware Windows yang dikenal sebagai SugarGh0st RAT akan didekripsi dan dijalankan. Malware ini dirancang agar SweetSpecter dapat mengendalikan komputer yang disusupi dan melakukan berbagai tindakan, seperti menjalankan perintah apa pun, mengambil tangkapan layar, dan mencuri data.
Tim keamanan OpenAI menghubungi karyawan yang diyakini menjadi sasaran kampanye spear phishing ini dan mendapati bahwa kontrol keamanan yang ada telah mencegah email-email tersebut masuk ke akun email kantor mereka.
Konten umpan dari salah satu file LNK berbahaya yang dianalisis, yang akan ditampilkan saat file dijalankan.
Sepanjang proses ini, kolaborasi kami dengan mitra industri berperan penting dalam mengidentifikasi upaya-upaya gagal untuk membobol akun karyawan tersebut. Hal ini menegaskan pentingnya berbagi intelijen ancaman dan berkolaborasi agar tetap selangkah lebih maju dari pelaku ancaman yang canggih di era AI. Dengan memanfaatkan wawasan yang dibagikan dan keahlian bersama, kami dapat melindungi aset kami dengan lebih baik serta menindak akun-akun di platform kami yang terkait dengan aktivitas semacam ini.
Respons model
Saat menganalisis infrastruktur yang lebih luas yang mendukung kampanye ini, kami menemukan dan menindak sekelompok akun ChatGPT yang menggunakan infrastruktur yang sama untuk mencoba menjawab pertanyaan serta menyelesaikan tugas penulisan skrip dan riset kerentanan. Kami memetakan interaksi-interaksi ini ke taktik, teknik, dan prosedur (TTP) terkait LLM yang diusulkan Microsoft untuk diintegrasikan ke dalam Kerangka Kerja MITRE ATT&CK® pada awal tahun ini. Kerangka Kerja MITRE mendokumentasikan taktik dan teknik yang digunakan pelaku ancaman siber di dunia nyata. Dengan mencantumkan pemetaan ini, kami bertujuan memberi informasi kepada komunitas keamanan siber yang lebih luas tentang TTP yang teramati serta membantu meningkatkan efektivitas pertahanan siber.
Berikut beberapa contoh aktivitas SweetSpecter yang sesuai dengan TTP tersebut:
Aktivitas | Kategori LLM dalam Kerangka Kerja ATT&CK |
|---|---|
Menanyakan kerentanan di berbagai aplikasi | Pengintaian dengan informasi dari LLM |
Menanyakan cara mencari versi Log4j tertentu yang rentan terhadap Log4Shell, kerentanan eksekusi kode jarak jauh (RCE) yang kritis | Pengintaian dengan informasi dari LLM |
Menanyakan sistem manajemen konten yang populer di luar negeri | Pengintaian dengan informasi dari LLM |
Meminta informasi tentang nomor CVE tertentu | Pengintaian dengan informasi dari LLM |
Menanyakan cara membuat pemindai berskala seluruh internet. | Pengintaian dengan informasi dari LLM |
Menanyakan cara menggunakan sqlmap untuk mengunggah sesuatu yang berpotensi menjadi web shell ke server sasaran. | Riset kerentanan berbantuan LLM |
Meminta bantuan untuk menemukan cara mengeksploitasi infrastruktur milik produsen mobil terkemuka. | Riset kerentanan berbantuan LLM |
Memberikan kode dan meminta bantuan lebih lanjut dalam menggunakan layanan komunikasi untuk mengirim pesan teks secara terprogram. | Teknik penulisan skrip yang ditingkatkan dengan LLM |
Meminta bantuan untuk men-debug ekstensi yang sedang dikembangkan untuk alat keamanan siber. | Teknik penulisan skrip yang ditingkatkan dengan LLM |
Meminta bantuan untuk men-debug kode yang merupakan bagian dari kerangka kerja yang lebih besar untuk mengirim pesan teks secara terprogram ke nomor yang ditentukan penyerang. | Pengembangan berbantuan LLM |
Meminta topik yang menarik bagi pegawai instansi pemerintah serta nama lampiran yang cocok agar tidak diblokir. | Rekayasa sosial yang didukung LLM |
Meminta variasi pesan rekrutmen kerja yang disediakan penyerang. | Rekayasa sosial yang didukung LLM |
Sepanjang penyelidikan ini, tim keamanan kami memanfaatkan ChatGPT untuk menganalisis, mengategorikan, menerjemahkan, dan merangkum interaksi dari akun pelaku ancaman. Hal ini memungkinkan kami memperoleh wawasan dengan cepat dari kumpulan data besar sekaligus meminimalkan sumber daya yang dibutuhkan untuk pekerjaan ini. Seiring makin canggihnya model kami, kami memperkirakan bahwa ChatGPT juga akan dapat kami gunakan untuk merekayasa balik dan menganalisis lampiran berbahaya yang dikirim kepada karyawan.
Dampak
Sejalan dengan pengamatan kami dalam laporan ancaman pertama, penggunaan model kami oleh para pelaku tampaknya tidak memberi mereka kemampuan atau arahan baru yang tidak bisa mereka peroleh dari berbagai sumber yang tersedia untuk umum. Mekanisme keamanan kami memblokir email berbahaya dari pelaku ancaman sebelum email tersebut masuk ke kotak masuk karyawan.