Penipuan umpan percintaan: Aliran kerja “sembelih babi” berbantu AI
OpenAI menyekat akaun yang dipercayai berasal dari Kemboja dan menggunakan AI untuk menterjemah serta menjana perbualan penipuan percintaan dan pelaburan.
Kajian kes ini pada asalnya diterbitkan dalam laporan OpenAI Februari 2025(dibuka dalam tetingkap baru).
Pelaku
Kami menyekat sekumpulan akaun ChatGPT yang menterjemah dan menjana komen ringkas dalam bahasa Jepun, Cina dan Inggeris. Aktiviti ini dipercayai berasal dari Kemboja dan sepadan dengan penipuan percintaan dan pelaburan (turut dikenali sebagai “sembelih babi”). Meta baru-baru ini mengenal pasti aktiviti berkaitan(dibuka dalam tetingkap baru) pada platformnya yang dipercayai berasal dari pusat penipuan yang baru ditubuhkan di Kemboja.
Tingkah laku
Rangkaian ini menggunakan model kami untuk menterjemah dan menjana komen ringkas. Bahasa utama para pelaku dipercayai ialah bahasa Cina. Output dihasilkan dalam pelbagai bahasa, terutamanya bahasa Jepun dan Cina, serta bahasa Inggeris.
Para pelaku menggunakan model kami untuk dua aktiviti utama. Pertama, mereka menjana komen untuk disiarkan secara terbuka pada platform media sosial, termasuk Facebook, X dan Instagram. Setiap akaun media sosial biasanya memaparkan satu atau lebih gambar profil wanita muda. Kami menilai bahawa sekurang-kurangnya sebahagian daripada gambar profil ini disalin daripada model atau pempengaruh sebenar dan bukannya dijana oleh AI.
Kebanyakan komen yang dijana disiarkan sebagai balasan kepada siaran media sosial orang sebenar. Sesetengah siaran yang dibalas oleh pengendali telah berusia berbulan-bulan atau bertahun-tahun. Operasi ini biasanya menyasarkan lelaki yang profil awamnya menunjukkan bahawa mereka berusia lebih 40 tahun, khususnya golongan profesional perubatan. Operasi ini kerap membalas siaran tentang golf, menunjukkan strategi penyasaran yang disengajakan. Ada kalanya, penipu menyiarkan kandungan tentang isu politik atau peristiwa semasa.
Komen Facebook yang dijana oleh pelaku ini menggunakan model kami, disiarkan sebagai balasan kepada komen tentang golf oleh seseorang yang kelihatan tidak berkaitan dengan operasi ini. Gambar profil akaun penipuan itu disalin daripada seorang pempengaruh fesyen dan kecantikan A.S. Siaran asal berusia lebih sebulan ketika akaun penipuan tersebut menyiarkan komen di situ.
Komen yang dijana oleh model kami, disiarkan oleh akaun disahkan di X sebagai balasan kepada ciapan daripada akaun yang kelihatan tidak berkaitan dengan penipuan ini. Gambar profil akaun itu disalin daripada pempengaruh fesyen dan kecantikan A.S. yang sama. Ciapan asal berusia hampir enam bulan.
Kedua, dan dengan lebih kerap, pengendali menjana komen ringkas yang menyerupai sebahagian daripada perbualan dalam talian. Ini biasanya melibatkan penterjemahan komen daripada bahasa Cina kepada bahasa sasaran (Jepun atau Inggeris), atau daripada bahasa sasaran kembali kepada bahasa Cina. Hal ini sepadan dengan penggunaan model oleh penipu, terutamanya untuk menterjemah perbualan yang sedang berlangsung.
Kadangkala, akaun tersebut meminta model menjana balasan dengan nada tertentu, seperti wanita muda yang menggoda. Butiran biografi yang terperinci kadangkala diberikan untuk memandu jawapan model, termasuk nama, latar belakang pendidikan, pekerjaan, lokasi dan hobi persona palsu tersebut. Biografi ini biasanya menyatakan bahawa persona palsu tersebut turut mencuba pelaburan dalam talian.
Penipu dipercayai menggunakan pelbagai alat dan platform untuk berinteraksi dengan sasaran mereka. Siasatan kami menemukan bukti bahawa mereka menggunakan alat termasuk LINE, WhatsApp, X, Facebook, Instagram, pelbagai perkhidmatan pemesejan lain, fungsi “sembunyikan e-mel saya” Apple(dibuka dalam tetingkap baru), serta platform mata wang kripto dan pertukaran asing.
Output
Berdasarkan sudut pandang khusus kami terhadap aktiviti ini, penipu dipercayai mengikuti aliran kerja lazim untuk membawa sasaran daripada peringkat interaksi kepada pelaburan palsu:
Interaksi awam: Penipu meninggalkan komen pada siaran media sosial sasaran. Komen ini sering berakhir dengan soalan seperti, “Apakah pendapat anda tentang [subjek]?”, berkemungkinan untuk meningkatkan peluang berlakunya interaksi. Dalam beberapa kes, mereka mengulas tentang politik, tetapi lebih kerap berbicara tentang golf.
Kemungkinan pemesejan langsung: Penipu kemudian menjana komen ringkas berbentuk perbualan. Walaupun kami tidak dapat melihat sepenuhnya cara dan tempat komen ini digunakan, komen tersebut sepadan dengan situasi apabila penipu dan sasaran mula bertukar mesej langsung.
Pemesejan selamat: Tidak lama kemudian, lazimnya dalam beberapa hari, penipu menjana mesej yang mencadangkan agar perbualan dipindahkan ke aplikasi pemesejan yang lebih selamat. Kadangkala, mereka memberikan alasan bahawa penipu tidak mempercayai media sosial. Pada masa lain, alasan berkaitan keadaan diberikan, seperti mereka akan pergi ke tempat yang tidak mempunyai akses kepada media sosial.
Hubungan romantik: Penipu menulis dan menterjemah mesej yang semakin mesra dan intim. Jika sasaran meminta gambar “wanita” yang sedang berbual dengan mereka, penipu akan memberikan alasan.
Penglibatan kewangan: Penipu menulis dan menterjemah mesej yang membangga-banggakan keuntungan besar daripada pelaburan dalam talian dalam pertukaran asing, mata wang kripto atau emas. Hal ini sering digambarkan sebagai hasil mengikuti nasihat saudara yang bekerja dalam bidang kewangan. Penipu menggesa sasaran untuk mula melabur dengan cara yang sama dan menawarkan diri untuk membimbing mereka melalui proses tersebut.
Penipuan: Penipu menulis dan menterjemah mesej untuk meyakinkan mangsa supaya memindahkan wang ke aplikasi dagangan, serta menggalakkan mereka dengan membesar-besarkan jumlah keuntungan yang diperoleh. Setiap kali mangsa cuba mengeluarkan “keuntungan” mereka, penipu akan memberikan alasan, misalnya bayaran tertentu perlu dijelaskan.
Corak aktiviti ini sepadan dengan laporan yang tersedia kepada umum(dibuka dalam tetingkap baru) tentang cara penipuan sebegini lazimnya dilakukan.
Kesan
Aktiviti ini kelihatan melibatkan banyak percubaan yang terbantut dan gagal. Sesetengah perbualan yang diproses oleh penipu melalui model kami berakhir apabila sasaran menyatakan bahawa aktiviti itu ialah penipuan atau menyuruh penipu supaya tidak mengganggu mereka. Kami turut mengenal pasti siaran penipu di media sosial yang langsung tidak menerima sebarang interaksi.
Walau bagaimanapun, sesetengah perbualan menyebut jumlah beribu-ribu dolar (atau nilai setara dalam mata wang lain) sebagai skala transaksi individu. Memandangkan cara pengendali ini menggunakan model kami, kami tidak dapat melihat sama ada transaksi kewangan tersebut benar-benar dilakukan. Namun, rujukan dalam perbualan menunjukkan bahawa sekurang-kurangnya dalam sesetengah kes, penipu berjaya memperdaya sasaran mereka.
Dasar OpenAI melarang keras penggunaan output daripada alat kami untuk penipuan. Kami komited untuk bekerjasama dengan rakan industri dan pihak berkuasa bagi memahami cara AI digunakan dalam tingkah laku adversarial serta secara aktif mengganggu aktiviti penipuan yang menyalahgunakan perkhidmatan kami. Selaras dengan komitmen ini, kami telah berkongsi maklumat tentang rangkaian penipuan yang kami ganggu dengan rakan industri dan pihak berkuasa berkaitan.