Lumaktaw sa pangunahing content
OpenAI

Mayo 1, 2024

Kaligtasan

“Maling Gramatika”: Aktibidad ng mga komento sa Telegram na nauugnay sa Russia

Nag-ban ang OpenAI ng mga account na kaugnay ng di pa naiulat na operasyon mula Russia na tinawag naming “Maling Gramatika.” Gumamit ito ng AI para gumawa ng mga komentong Ingles at Ruso sa Telegram ukol sa politika ng Ukraine, Moldova, Baltics, at US.

Naglo-load…

Ang case study na ito ay unang inilathala sa ulat ng OpenAI noong Mayo 2024⁠(magbubukas sa bagong window).

Aktor

Nag-ban kami ng isang network ng mga account na hindi pa dating naiulat at gumagamit sa aming mga modelo upang gumawa ng mga komentong kalauna’y ipinost sa Telegram. Iniugnay namin ang aktibidad na ito sa mga indibidwal mula sa Russia. Dahil nakatuon ito sa Telegram, paulit-ulit na nagpo-post ng maling gramatika sa Ingles, at nahihirapang bumuo ng audience, binansagan namin ang network na ito na “Maling Gramatika.”

Gawi

Tinarget ng network na ito ang mga audience sa Russia, Ukraine, Estados Unidos, Moldova, at mga Estadong Baltic gamit ang nilalamang nasa Russian at Ingles.

Ginamit ng network ang aming mga modelo at mga account sa Telegram upang magtatag ng proseso para sa maramihang pag-spam ng komento. Una, ginamit ng mga operator ang aming mga modelo upang mag-debug ng code na tila ginawa para i-automate ang pagpo-post sa Telegram. Pagkatapos, bumuo sila ng mga komento sa Russian at Ingles bilang tugon sa mga partikular na post sa Telegram. Sa huli, tila gumamit sila ng hindi bababa sa labindalawang account sa Telegram upang i-post ang mga komentong iyon.

Pampublikong komento sa Telegram na tumutugma sa tekstong binuo ng network na ito. Paulit-ulit na nag-post ang naturang account ng mga komentong tumutugma sa output ng network na ito.

Pampublikong komento sa Telegram na tumutugma sa tekstong binuo ng network na ito. Paulit-ulit na nag-post ang naturang account ng mga komentong tumutugma sa output ng network na ito.

Sa Ingles, ginamit ng mga operator ang aming mga modelo upang bumuo ng mga komento sa boses ng iba’t ibang pekeng persona mula sa sari-saring demograpiko at magkabilang panig ng political spectrum sa Estados Unidos. Sa Russian, mas pinili nila ang mga tagubiling nakatuon sa tema at hindi gaanong nakabatay sa persona.

Pangunahing nagkomento ang network sa mga post ng iilang channel sa Telegram. Pinakamaraming beses na binanggit ang maka-Russia na channel na @Slavyangrad, na sinundan ng mga channel sa Ingles na @police_frequency at @SGTNewsNetwork. (Nagpapanggap ang huli bilang isang konserbatibong Amerikanong beterano, ngunit noong Nobyembre, iniulat ng Meta⁠(magbubukas sa bagong window) na nagmula talaga ito sa Iran.) Sa isang sample ng aktibidad noong Pebrero, sinubukan ng network na bumuo ng mga tugon sa tatlong channel na ito nang doble sa dalas kumpara sa pinagsamang 10 susunod na pinakamadalas banggiting channel.

Nilalaman

Bumuo ang kampanyang ito ng maiikling komentong nakatuon sa ilang temang pampolitika. Sa Ingles at Russian, ang mga pangunahing paksang ipinost nito sa Telegram ay ang digmaan sa Ukraine, kalagayang pampolitika sa Moldova at mga Estadong Baltic, at politika sa Estados Unidos.

Karaniwang inaakusahan ng mga komento sa Russian sa Telegram ang mga pangulo ng Ukraine at Moldova ng katiwalian, kawalan ng suporta ng mamamayan, at pagtataksil sa sarili nilang bayan para sa “panghihimasok” ng Kanluran. Nakatuon ang mga komento sa Ingles sa Telegram sa mga paksang gaya ng imigrasyon, paghihirap sa ekonomiya, at mga pangunahing balita ng araw. Madalas gamitin ng mga komentong ito ang konteksto ng mga kasalukuyang pangyayari upang igiit na hindi dapat suportahan ng Estados Unidos ang Ukraine.

Pampublikong komento sa Telegram na tumutugma sa tekstong binuo ng network na ito. Paulit-ulit na nag-post ang naturang account ng mga komentong tumutugma sa nilalamang binuo gamit ang aming mga modelo.

Pampublikong komento sa Telegram na tumutugma sa tekstong binuo ng network na ito. Paulit-ulit na nag-post ang naturang account ng mga komentong tumutugma sa nilalamang binuo gamit ang aming mga modelo.

Kung minsan, mahigit isang persona ang nagkomento sa iisang post at naglahad ng magkakasalungat na pananaw. Ang “doble-kara” nitong paraan ng pagpapanggap bilang mga boses ng magkabilang panig ay nakita na dati sa mga operasyon ng Russia, at maaaring nagpapahiwatig ng hangaring makahikayat ng mga partikular na audience o magpalala ng pagkakahati-hati.

Mga pampublikong komento sa Telegram na tumutugma sa mga tekstong binuo ng network na ito. Paulit-ulit na nag-post ang mga naturang account ng mga komentong tumutugma sa nilalamang binuo gamit ang aming mga modelo.

Mga pampublikong komento sa Telegram na tumutugma sa mga tekstong binuo ng network na ito. Paulit-ulit na nag-post ang mga naturang account ng mga komentong tumutugma sa nilalamang binuo gamit ang aming mga modelo.

Matapos ang pag-atakeng terorista sa Moscow noong Marso 22 at pagkakakulong sa apat na mamamayan ng Tajikistan, nagsimulang gumamit ang kampanya ng bagong pangkat ng mga account sa Telegram na nakatuon sa Tajikistan. Nanawagan ang mga ipinost nitong komento ng pagkakaisa ng mga Tajik at Russian, at paggalang sa batas ng Russia.

Pagtatasa ng epekto

Bago pa dumating ang generative AI, karaniwang pamamaraan na ng mga operasyong pang-impluwensiya ang pag-spam ng mga komento. Bagama’t gumamit ang Maling Gramatika ng bagong pamamaraan sa pagbuo ng mga komento nito, nahirapan ang sistema ng pamamahagi nito na makahikayat ng engagement.

Napakakaunti sa mga komento nito ang nakatanggap ng anumang like o tugon. Karaniwang maliit na bahagi lamang ng mga tugon sa anumang post ang mga komento ng network—ibig sabihin, hindi nito natabunan ang ibang pananaw, kung iyon man ang layunin.

Paminsan-minsan, ginamit ng network ang aming mga modelo upang bumuo ng tila mga pribadong mensahe, posibleng para sa isa pang user ng Telegram, ngunit ipinahihiwatig ng mga nabuong teksto na nakikipag-chat ang network sa isang scammer ng cryptocurrency.

Gamit ang Breakout Scale⁠(magbubukas sa bagong window) upang tasahin ang epekto ng mga operasyong pang-impluwensiya, na nagraranggo sa mga ito mula 1 (pinakamababa) hanggang 6 (pinakamataas), itinuturing namin itong Kategorya 1: aktibidad ng pagpo-post sa iisang platform, na walang ebidensiya ng makabuluhang pagpapalaganap ng mga taong hindi kabilang sa network.