本案例研究最初刊載於 OpenAI 的 2025 年 2 月(在新視窗中開啟)報告。
行動者
我們封鎖了一批使用 ChatGPT 帳號翻譯及產生日文、中文和英文短留言的帳號。這項活動疑似源自柬埔寨，其手法符合愛情與投資詐騙（又稱「殺豬盤」）的特徵。Meta 最近在其平台上發現了相關活動(在新視窗中開啟)，這些活動疑似源自柬埔寨一處新設立的詐騙園區。
行為
這個網路利用我們的模型翻譯及產生短留言。這些行動者使用的主要語言似乎是中文。輸出內容涵蓋多種語言，尤其以日文和中文為主，也包括英文。
這些行動者主要利用我們的模型進行兩類活動。第一，他們會產生留言，公開發布在 Facebook、X 和 Instagram 等社群媒體平台上。每個社群媒體帳號通常會使用一張或多張年輕女性的照片作為大頭貼。我們評估，其中至少有些照片是從真人模特兒或網紅處複製而來，而非由 AI 產生。
產生的大多數留言都用來回覆真人的社群媒體貼文。行動者回覆的部分貼文已發布數月甚至數年。這項行動通常以公開個人檔案顯示年齡超過 40 歲的男性為目標，其中許多人從事醫療專業。這項行動經常回覆高爾夫球相關貼文，顯示這可能是一種刻意的鎖定策略。詐騙者偶爾也會發布政治議題或時事相關內容。
這名行動者利用我們的模型產生 Facebook 留言，回覆一名看似與此行動無關的人所發表的高爾夫球相關留言。詐騙帳號的大頭貼是從一位美國時尚與美妝網紅處複製而來。詐騙帳號留言時，原始貼文已發布超過一個月。
由我們的模型產生、經 X 認證帳號發布的留言，用來回覆一個看似與此詐騙無關的帳號所發的推文。該帳號的大頭貼是從同一位美國時尚與美妝網紅處複製而來。原始推文發布於近六個月前。
第二，而且更常見的是，行動者會產生看似線上對話片段的短留言。這通常是將中文留言翻譯成目標語言（日文或英文），或將目標語言翻譯回中文。這符合詐騙者主要使用模型翻譯進行中對話的情況。
有時，這些帳號會要求模型以特定語氣產生回覆，例如愛調情的年輕女性口吻。他們有時會提供詳盡的生平資料來引導模型回答，包括虛假人設的姓名、教育背景、工作、所在地和嗜好。這些生平資料通常會提到，虛假人設平時會小額嘗試線上投資。
詐騙者似乎使用了大量不同的工具和平台與目標互動。我們的調查發現，他們使用的工具包括 LINE、WhatsApp、X、Facebook、Instagram、其他多種通訊服務、Apple 的「隱藏我的電子郵件」功能(在新視窗中開啟)，以及加密貨幣和外匯平台。
執行流程
根據我們對這項活動所能觀察到的特定範圍，詐騙者似乎依循一套常見流程，逐步將目標從初步互動引向虛假投資：
公開互動：詐騙者會在目標的社群媒體貼文下留言。這些留言結尾通常會提出問題，例如：「你對［主題］有什麼看法？」，目的可能是提高對方互動的機率。少數情況下，他們會談論政治，但更多時候談的是高爾夫球。
可能轉為私訊：詐騙者接著會產生簡短、口語化的留言。雖然我們無法完整掌握這些留言如何及在何處使用，但其內容符合詐騙者與目標開始交換私訊的情境。
安全通訊：不久後（通常在幾天內），詐騙者便會產生訊息，提議改用更安全的通訊應用程式。有時，他們會聲稱詐騙者不信任社群媒體；有時則以現實安排為藉口，例如即將前往無法使用社群媒體的地方。
發展感情：詐騙者會撰寫及翻譯越來越親密、充滿愛意的訊息。如果目標要求查看正在聊天的那名「女子」的照片，詐騙者就會找藉口推託。
引入財務話題：詐騙者會撰寫及翻譯訊息，吹噓自己透過線上投資外匯、加密貨幣或黃金賺取了大筆金錢。他們通常會聲稱，這是聽從從事金融業的親屬建議所得的成果。詐騙者會敦促目標以同樣方式開始投資，並主動表示願意逐步提供指導。
行騙：詐騙者會撰寫及翻譯訊息，試圖說服受害者將資金轉入交易應用程式，並大肆宣揚獲利金額來鼓勵對方。每當受害者試圖提領「獲利」時，詐騙者便會找藉口阻撓，例如聲稱必須先支付費用。
這種活動模式符合公開報導(在新視窗中開啟)所描述的此類詐騙常見運作方式。
影響
這項活動似乎歷經許多無疾而終的嘗試與失敗。詐騙者透過我們的模型處理的部分對話，最終以目標直接指出這是詐騙，或要求詐騙者別再騷擾而告終。我們也發現，詐騙者在社群媒體上發布的一些貼文完全沒有獲得任何互動。
然而，部分對話提到單筆交易的金額達數千美元，或等值的其他貨幣。鑑於這些行動者使用我們模型的方式，我們無法得知這些金融交易是否確實發生；但對話中的相關內容顯示，至少在部分案例中，詐騙者成功騙取了目標的金錢。
OpenAI 的政策嚴禁利用我們工具的輸出內容進行詐騙。我們致力與同業及主管機關合作，瞭解 AI 如何被用於對抗性行為，並主動遏止濫用我們服務的詐騙活動。為履行這項承諾，我們已向同業及相關主管機關分享所遏止詐騙網路的資訊。