本案例研究最初刊載於 OpenAI 的2025 年 2 月(在新視窗中開啟)報告。
行動者
我們封禁了一批曾翻譯及生成日文、中文和英文短留言的 ChatGPT 帳戶。這些活動看來源自柬埔寨,並符合愛情及投資詐騙(又稱「殺豬盤」)的模式。Meta 最近在其平台上發現相關活動(在新視窗中開啟),這些活動看來源自柬埔寨一個新設立的詐騙園區。
行為
這個網絡利用我們的模型翻譯及生成短留言。這些行動者主要使用的語言似乎是中文。輸出內容涵蓋多種語言,主要是日文和中文,也包括英文。
這些行動者主要利用我們的模型進行兩類活動。第一,他們會生成留言,並公開發佈至 Facebook、X 和 Instagram 等社交媒體平台。每個社交媒體帳戶通常會使用一張或多張年輕女性的個人資料圖片;我們評估後認為,當中至少部分圖片是抄自真人模特兒或網紅,而非由 AI 生成。
大部分生成的留言都用來回覆真人用戶的社交媒體帖文。行動者回覆的部分帖文已發佈數月甚至數年。這次行動通常針對公開個人資料顯示年逾 40 歲的男性,當中不少人從事醫療專業。這次行動經常回覆高爾夫球相關帖文,顯示背後可能有刻意部署的目標鎖定策略。詐騙者偶爾也會發佈政治議題或時事相關內容。

這名行動者利用我們的模型生成 Facebook 留言,回覆一名看來與這次行動無關的人所發表的高爾夫球相關留言。詐騙帳戶的個人資料圖片抄自一名美國時裝及美容網紅。該詐騙帳戶留言時,原帖文已發佈超過一個月。

由我們的模型生成並由 X 上的已驗證帳戶發佈的留言,用以回覆一個看來與這宗詐騙無關的帳戶所發的帖文。該帳戶的個人資料圖片抄自同一名美國時裝及美容網紅。原帖文已發佈近六個月。
第二,而且更常見的是,行動者會生成看似網上對話片段的短留言。一般做法是把中文留言翻譯成目標語言(日文或英文),或把目標語言翻譯成中文。這符合詐騙者主要利用模型翻譯進行中對話的情況。
帳戶有時會要求模型以特定語氣生成回覆,例如年輕女性帶有調情意味的口吻。他們有時會提供大量人物背景資料,引導模型作答,包括虛構角色的姓名、教育背景、職業、所在地和嗜好。這些人物背景通常會提到虛構角色有參與網上投資。
詐騙者看來使用了大量不同工具和平台接觸目標。我們的調查發現,他們曾使用 LINE、WhatsApp、X、Facebook、Instagram、多種其他通訊服務、Apple 的「隱藏我的電郵」功能(在新視窗中開啟),以及加密貨幣和外匯平台。
生成結果
根據我們從特定角度觀察到的活動,詐騙者看來採用了一套常見流程,把目標由初步互動逐步引向虛假投資:
公開互動:詐騙者會在目標的社交媒體帖文下留言。這些留言往往以「你對[主題]有甚麼看法?」之類的問題作結,可能是為了增加對方回應的機會。在少數個案中,他們會談論政治,但更多時候會談論高爾夫球。
可能轉用私訊:詐騙者隨後會生成簡短、口語自然的留言。雖然我們無法全面掌握這些留言在何處及如何使用,但內容符合詐騙者與目標開始互傳私訊的情況。
安全通訊:詐騙者很快便會生成訊息,通常在數天內提出轉用更安全的通訊應用程式。他們有時會聲稱不信任社交媒體;有時則以實際安排為藉口,例如聲稱即將前往無法使用社交媒體的地方。
建立感情:詐騙者會撰寫及翻譯感情逐漸升溫、越趨親密的訊息。如果目標要求取得聊天對象那名「女子」的照片,詐騙者便會找藉口推搪。
引入財務話題:詐騙者會撰寫及翻譯訊息,炫耀自己透過網上投資外匯、加密貨幣或黃金賺取巨款。他們通常會聲稱,這是聽從一名從事金融業的親屬所給建議而取得的成果。詐騙者會慫恿目標以相同方式開始投資,並表示願意逐步指導。
行騙:詐騙者會撰寫及翻譯訊息,企圖說服受害人把資金轉入交易應用程式,並藉誇大投資利潤鼓勵他們繼續投入。每當受害人嘗試提取「利潤」,詐騙者便會提出藉口,例如聲稱必須先繳付費用。
這種活動模式符合公開報道(在新視窗中開啟)所描述的此類詐騙常見運作方式。
影響
這些活動看來曾多次無法展開或以失敗告終。詐騙者利用我們的模型處理的部分對話,最終由目標直接指出這是詐騙,或要求詐騙者不要再騷擾他們。我們亦發現詐騙者在社交媒體上發佈的部分帖文完全沒有引起任何互動。
不過,部分對話提及個別交易金額達數千美元或等值貨幣。由於這些行動者使用我們模型的方式所限,我們無法得知這些金融交易是否實際進行;但對話中的相關內容顯示,詐騙者至少在部分個案中成功騙取了目標的金錢。
OpenAI 的政策嚴禁利用我們工具的輸出內容進行欺詐或詐騙。我們致力與業界同儕及主管機關合作,了解 AI 如何被用於對抗性行為,並主動打擊濫用我們服務的詐騙活動。為履行這項承諾,我們已與業界同儕及相關主管機關分享被我們瓦解的詐騙網絡資料。