本案例研究最初刊載於 OpenAI 的 2025 年 10 月(在新視窗中開啟)報告。
疑似源自柬埔寨、緬甸和奈及利亞的網路濫用 ChatGPT，企圖在網路上詐騙他人。
我們致力於識別、防範及阻止濫用我們的模型來從事有害活動的企圖。這類濫用行為包括詐騙；我們會偵測並封禁企圖濫用我們的模型來欺騙及詐取他人的惡意行為者。過去三個月，我們阻止了疑似源自柬埔寨、緬甸和奈及利亞的詐騙網路。AI 也能協助打擊詐騙：在調查這些濫用模式的過程中，我們也發現許多人運用我們的模型來協助辨識詐騙。本報告探討這兩類使用案例。
濫用我們的模型來協助詐騙的情況，從個人企圖行騙，到疑似與組織犯罪集團有關的大規模持續性行動都有。無論來源和具體手法為何，我們所阻止的詐騙相關活動通常都遵循一套共同模式，我們稱之為「試探」（主動接觸陌生人）、「煽動」（試圖激起興奮或恐慌）及「下手」（騙取金錢或有價值的資訊）。
這些詐騙者一開始會在通訊服務和網際網路上廣泛散布內容，包括投放社群媒體廣告；這些內容可能由 AI 生成，也可能不是。接著，他們試圖讓回覆者因有利可圖的機會而興奮，或因即將面臨財務損失而恐慌，再利用這些情緒說服目標交出金錢或敏感資訊。
我們也觀察到許多案例顯示，我們的模型很可能協助人們免於詐騙。我們發現，每月有數百萬次使用 ChatGPT 協助辨識及避開網路詐騙的情況；在本報告提及的每起詐騙行動中，我們都看到模型協助人們正確辨識詐騙，並提供適當的安全措施建議。我們目前估計，人們使用 ChatGPT 辨識詐騙的頻率，最高可達利用它從事詐騙的三倍。
範例：一名 OpenAI 調查人員將收到的詐騙簡訊截圖貼到 ChatGPT，成功使用模型辨識出這是詐騙。在此案例中，威脅行為者企圖冒充 TikTok 招募人員。
自上次報告發布以來，我們進一步強化了偵測及阻止詐騙的能力。我們進一步阻止了疑似源自柬埔寨、緬甸和奈及利亞的詐騙網路。結合我們先前阻止的行動，這些取締成果讓我們得以找出不同國家多起詐騙行動中的一些新興趨勢。
老把戲，AI 新工具
我們所阻止的詐騙活動，大多是將 AI 納入既有的詐騙手法，而非圍繞 AI 打造全新的手法。在我們今年識別並封禁的所有詐騙行動中，AI 主要都被當作擴大規模及提升效率的工具。常見用途包括使用我們的模型進行翻譯、撰寫訊息，以及製作社群媒體內容。
例如，我們最近封禁了疑似源自柬埔寨和奈及利亞的詐騙行動；這些行動冒充「投資公司」，企圖詐騙多個國家的受害者。詐騙者建立網站並投放網路廣告來宣傳假公司，還使用疑似虛假的社群媒體帳號冒充交易專家，邀請人們加入私人通訊群組。威脅行為者以高獲利、零風險的賺錢機會為誘餌，企圖吸引潛在受害者將款項匯入虛構的交易平台。在所有這些詐騙中，詐騙者主要使用我們的模型生成及翻譯通訊內容、製作網站與社群媒體帳號的內容，以及進行基本研究。
另一起案例中，我們封禁了一個極可能位於緬甸的詐騙中心；該中心使用我們的模型生成詐騙內容，也用來處理日常業務。相關工作包括安排行程、草擬內部公告、分配辦公座位和宿舍床位，以及管理財務帳目。部分營運人員詢問，從事網路詐騙遭查獲者會面臨哪些刑事處罰。
詐騙者一律平等，但有些比其他人更「AI 等」
我們所阻止的詐騙者使用模型的方式及複雜程度並不相同。詐騙者與 ChatGPT 的互動大多是翻譯等相對簡單的工作，但有些詐騙行動更具野心，也更為複雜。
例如，我們阻止了一起疑似源自柬埔寨的詐騙行動；該行動使用我們的模型，為虛構的投資專家和假交易公司的虛構員工生成詳細履歷。詐騙者接著要求 ChatGPT 以這些角色的口吻撰寫社群媒體訊息。威脅行為者經常將看似由目標傳來的訊息輸入模型，並要求模型以假身分繼續對話。
另一起同樣疑似源自柬埔寨的詐騙行動，起初使用我們的模型生成陌生開發簡訊，再大量傳送至美國電話號碼。其中一則簡訊傳給了一名 OpenAI 調查人員，情況與我們在 6 月報告的案例相似。這些簡訊邀請收件者加入名稱酷似某家合法投資公司的 WhatsApp 群組，而這些群組其後已遭封禁。
根據傳給 OpenAI 調查人員的一系列 WhatsApp 訊息，如果潛在目標加入其中一個群組，很快就會看到約六個不同帳號展開一場全都圍繞投資的「對話」。其中一個帳號冒充「投資專家」，其他帳號則冒充信心和經驗各異的投資人。整段對話全由詐騙者生成，再從中文一次整批翻譯，目的可能是營造群組氣氛熱絡、成員都是積極且成功交易者的假象。最後，「投資專家」會建議目標也嘗試投資。
另外，一個極可能源自奈及利亞的投資詐騙團體，要求模型逐步說明如何利用社群媒體廣告接觸拉丁美洲的富裕人士、如何隱藏自身位置，以及如何規避社群媒體平台的限制。他們會引導模型查閱平台公開的服務條款，並要求模型審查擬議的廣告內容是否符合規定。
掩飾與藉口
詐騙者，尤其是大型詐騙中心，往往鍥而不捨。活動遭阻止後，他們往往會試圖重新展開違規活動，同時改變部分行為模式，可能是為了逃避後續偵測。因此，與業界分享這類活動的演變趨勢至關重要。例如 OpenAI 與 Meta 曾分別分享威脅行為者的資訊，推動進一步調查與執法。
可能是為了因應取締行動，或回應網路上對於哪些跡象會暴露 AI 使用情形的廣泛討論，我們發現詐騙者試圖在網路內容及與目標的通訊中掩飾自己使用 AI。例如，疑似源自柬埔寨的詐騙行動曾指示模型移除輸出中的破折號。
在一個案例中，詐騙者為了解釋旗下社群媒體資產遭到大規模取締，捏造了遭封禁的藉口。這起事件涉及上述疑似源自柬埔寨、透過簡訊和 WhatsApp 運作的詐騙中心。WhatsApp 封禁與該行動有關的「投資群組」後，營運人員開始生成訊息，聲稱這些群組遭競爭對手惡意檢舉，可能是想為封禁找藉口。
WhatsApp 採取下架行動後，與柬埔寨有關的詐騙行動傳給 OpenAI 調查人員的 WhatsApp 訊息截圖。