Romantik ilişki tuzağı: Yapay zekâ destekli domuz kasaplığı dolandırıcılığı iş akışları
OpenAI, Kamboçya kaynaklı görünen ve romantik ilişki ile yatırım dolandırıcılığı konuşmalarını çevirmek ve oluşturmak için yapay zekâ kullanan hesapları yasakladı.
Bu vaka çalışması ilk olarak OpenAI'ın Şubat 2025(yeni bir pencerede açılır) raporunda yayımlandı.
Aktör
Japonca, Çince ve İngilizce kısa yorumları çeviren ve oluşturan bir grup ChatGPT hesabını yasakladık. Bu faaliyet Kamboçya kaynaklı görünüyordu ve romantik ilişki ile yatırım dolandırıcılığıyla (diğer adıyla “domuz kasaplığı”) örtüşüyordu. Meta kısa süre önce kendi platformunda, Kamboçya'da yeni kurulan bir dolandırıcılık yerleşkesinden kaynaklandığı düşünülen bağlantılı bir faaliyet tespit etti(yeni bir pencerede açılır).
Davranış
Bu ağ, kısa yorumları çevirmek ve oluşturmak için modellerimizi kullandı. Aktörlerin ana dilinin Çince olduğu anlaşılıyor. Çıktılar başta Japonca ve Çince olmak üzere çeşitli dillerde, ayrıca İngilizceydi.
Aktörler modellerimizi iki temel faaliyet için kullandı. İlk olarak Facebook, X ve Instagram dâhil sosyal medya platformlarında herkese açık şekilde paylaşılan yorumlar oluşturuyorlardı. Her sosyal medya hesabında genellikle genç bir kadına ait bir veya daha fazla profil resmi bulunuyordu. Bu profil resimlerinin en azından bazılarının yapay zekâyla oluşturulmak yerine gerçek modellerden veya fenomenlerden kopyalandığını değerlendiriyoruz.
Oluşturulan yorumların çoğu, gerçek kişilerin sosyal medya gönderilerine yanıt olarak paylaşıldı. Operatörlerin yanıt verdiği gönderilerden bazıları aylar, hatta yıllar öncesine aitti. Bu operasyon genellikle herkese açık profillerinden 40 yaşın üzerinde olduğu anlaşılan, çoğu zaman sağlık sektöründe çalışan erkekleri hedef alıyordu. Operasyonun golf hakkındaki gönderilere sık sık yanıt vermesi, bilinçli bir hedefleme stratejisine işaret ediyordu. Dolandırıcılar zaman zaman siyasi meseleler veya güncel olaylar hakkında gönderiler de paylaşıyordu.
Bu aktörün modellerimizi kullanarak oluşturduğu ve bu operasyonla bağlantılı görünmeyen bir kişinin golf hakkındaki yorumuna yanıt olarak Facebook'ta paylaştığı yorum. Dolandırıcılık hesabının profil resmi, ABD'li bir moda ve güzellik fenomeninden kopyalanmış. Dolandırıcılık hesabı yorum yaptığında asıl gönderi bir aydan daha eskiydi.
Modellerimiz tarafından oluşturulan ve bu dolandırıcılıkla bağlantılı görünmeyen bir hesabın tweet'ine yanıt olarak X'te doğrulanmış bir hesap tarafından paylaşılan yorum. Hesabın profil resmi, aynı ABD'li moda ve güzellik fenomeninden kopyalanmış. İlk tweet yaklaşık altı ay önce paylaşılmıştı.
İkinci ve daha sık görülen faaliyet ise operatörlerin çevrimiçi bir sohbetin parçalarını andıran kısa yorumlar oluşturmasıydı. Bu genellikle yorumları Çinceden hedef dile (Japonca veya İngilizceye) ya da hedef dilden tekrar Çinceye çevirmekten ibaretti. Bu durum, dolandırıcıların modeli öncelikle devam eden sohbetleri çevirmek için kullandığını gösteriyor.
Hesaplar bazen modelden, flörtöz genç bir kadın gibi belirli bir üslupla yanıt oluşturmasını istiyordu. Modele yanıtlarında yol göstermesi için bazen sahte kişinin adı, eğitim geçmişi, işi, konumu ve hobileri dâhil kapsamlı biyografik bilgiler veriliyordu. Bu biyografilerde genellikle sahte kişinin çevrimiçi yatırımla biraz ilgilendiği bilgisi yer alıyordu.
Dolandırıcıların hedefleriyle iletişim kurmak için çok sayıda farklı araç ve platform kullandığı anlaşılıyor. İncelememizde LINE, WhatsApp, X, Facebook, Instagram, çeşitli diğer mesajlaşma hizmetleri, Apple'ın “E-postamı Gizle” özelliği(yeni bir pencerede açılır) ile kripto para ve döviz platformlarını kullandıklarına ilişkin kanıtlar ortaya çıktı.
Tamamlamalar
Bu faaliyete ilişkin görebildiğimiz belirli kesite göre dolandırıcılar, hedeflerini ilk etkileşimden sahte yatırıma yönlendirirken ortak bir iş akışı izlemiş görünüyor:
Herkese açık etkileşim: Dolandırıcılar hedefin sosyal medya gönderilerine yorum yapıyordu. Bu yorumlar genellikle “Siz [konu] hakkında ne düşünüyorsunuz?” gibi bir soruyla bitiyor, böylece etkileşim olasılığı artırılmaya çalışılıyordu. Az sayıda vakada siyaset hakkında yorum yaptılar, ancak daha çok golften söz ettiler.
Muhtemel doğrudan mesajlaşma: Dolandırıcılar daha sonra kısa ve sohbet tarzında yorumlar oluşturuyordu. Bunların nasıl ve nerede kullanıldığını tam olarak göremesek de yorumlar, dolandırıcı ile hedefin doğrudan mesajlaşmaya başladığı bir durumla örtüşüyordu.
Güvenli mesajlaşma: Dolandırıcılar çok geçmeden, çoğunlukla birkaç gün içinde, daha güvenli bir mesajlaşma uygulamasına geçmeyi öneren mesajlar oluşturuyordu. Bazen dolandırıcı sosyal medyaya güvenmediğini söylüyor, bazen de sosyal medyaya erişemeyeceği bir yere gitmek üzere olduğu gibi pratik bir bahane öne sürüyordu.
Romantik yakınlaşma: Dolandırıcılar giderek daha sevgi dolu ve samimi hâle gelen mesajlar yazıp çeviriyordu. Hedefler sohbet ettikleri “kadının” fotoğraflarını istediğinde dolandırıcılar bahaneler uyduruyordu.
Finansal yakınlaşma: Dolandırıcılar döviz, kripto para veya altına çevrimiçi yatırım yaparak büyük miktarda para kazandıklarıyla övünen mesajlar yazıp çeviriyordu. Bu kazanç çoğunlukla finans sektöründe çalışan bir akrabanın tavsiyesine uymanın sonucu olarak sunuluyordu. Dolandırıcı, hedefi aynı şekilde yatırım yapmaya teşvik ediyor ve süreç boyunca ona rehberlik etmeyi teklif ediyordu.
Dolandırıcılık: Dolandırıcılar mağduru bir alım satım uygulamasına para aktarmaya ikna etmeye çalışan mesajlar yazıp çeviriyor, ne kadar kâr elde ettiğini abartarak mağduru teşvik ediyordu. Mağdur “kârını” çekmeye çalıştığında dolandırıcı, bir ücret ödenmesi gerektiği gibi bir bahane öne sürüyordu.
Bu faaliyet örüntüsü, bu tür dolandırıcılıkların genellikle nasıl işlediğine ilişkin kamuya açık haberlerle(yeni bir pencerede açılır) örtüşüyor.
Etki
Bu faaliyette çok sayıda sonuçsuz girişim ve başarısızlık yaşandığı anlaşılıyor. Dolandırıcıların modellerimiz aracılığıyla yürüttüğü bazı konuşmalar, hedefin bunun dolandırıcılık olduğunu söylemesi veya dolandırıcıdan kendisini rahat bırakmasını istemesiyle sona erdi. Dolandırıcıların sosyal medyada hiçbir etkileşim almayan gönderilerini de tespit ettik.
Ancak bazı konuşmalarda, tekil işlemlerin tutarı olarak binlerce dolardan (veya diğer para birimlerindeki karşılığından) söz ediliyordu. Bu operatörlerin modellerimizi kullanım biçimi nedeniyle söz konusu finansal işlemlerin gerçekleşip gerçekleşmediğini göremiyoruz. Ancak konuşmalardaki ifadeler, dolandırıcıların en azından bazı vakalarda hedeflerini dolandırmayı başardığını gösteriyor.
OpenAI politikaları, araçlarımızdan alınan çıktıların dolandırıcılık amacıyla kullanılmasını kesinlikle yasaklar. Yapay zekânın kötü niyetli davranışlarda nasıl kullanıldığını anlamak ve hizmetlerimizi kötüye kullanan dolandırıcılık faaliyetlerini etkin biçimde engellemek için sektördeki kuruluşlar ve yetkili makamlarla iş birliği yapmaya kararlıyız. Bu taahhüdümüz doğrultusunda, engellediğimiz dolandırıcılık ağları hakkındaki bilgileri sektördeki kuruluşlar ve ilgili makamlarla paylaştık.