このケーススタディは、OpenAI の 2025 年 10 月（新しいウィンドウで開く）のレポートで初出したものです。
カンボジア、ミャンマー、ナイジェリアが発信元とみられるネットワークが、オンライン詐欺を試みるために ChatGPT を悪用していました。
私たちは、有害な目的でモデルを悪用する試みの特定、防止、阻止に取り組んでいます。こうした悪用には詐欺も含まれます。私たちは、人々を欺いて金品を詐取するためにモデルを悪用しようとする悪意ある攻撃者を検出し、利用を禁止しています。過去 3 か月間に、カンボジア、ミャンマー、ナイジェリアが発信元とみられる詐欺ネットワークを阻止しました。また、こうした悪用パターンを調査する中で、多くの人が詐欺の見極めに私たちのモデルを役立てていることも確認しました。これは、AI が詐欺対策で果たし得る役割を示しています。本レポートでは、この 2 つのユースケースを取り上げます。
詐欺を支援する目的でのモデル悪用は、単独犯による詐欺未遂から、組織犯罪集団との関係が疑われる大規模で継続的な活動まで多岐にわたります。発信元や具体的な手口を問わず、私たちが阻止した詐欺関連活動には通常、共通のパターンがあります。私たちはこれを、接触（無差別な勧誘）、揺さぶり（期待やパニックをあおること）、搾取（金銭や価値ある情報を引き出すこと）と捉えています。
詐欺師はまず、AI で生成したものかどうかを問わず、ソーシャルメディア広告などを通じて、メッセージサービスやインターネット上にコンテンツをばらまきます。次に、返信した人に対して、もうかる機会への期待感か、目前に迫った金銭的損失への恐怖心を抱かせ、その感情を利用して金銭や機密情報を渡すよう説得します。
一方で、私たちのモデルが詐欺から人々を守る一助になったとみられる事例も数多く確認しています。ChatGPT を使ってオンライン詐欺を見極め、回避していることを示す事例は、毎月数百万件確認されています。本レポートで取り上げるすべての詐欺活動において、モデルが詐欺を正しく見抜く手助けをし、適切な安全対策を助言していました。現時点の推計では、ChatGPT が詐欺の実行に使われる頻度に比べ、詐欺の見極めに使われる頻度は最大 3 倍です。
OpenAI の調査担当者が、受信した詐欺 SMS のスクリーンショットを ChatGPT に貼り付け、モデルを使って詐欺だと正しく見抜いた例です。この事例では、攻撃者が TikTok の採用担当者になりすましていました。
前回のレポート以降、私たちは詐欺を検出し、阻止する能力をさらに強化しました。カンボジア、ミャンマー、ナイジェリアが発信元とみられる詐欺ネットワークを新たに阻止しました。今回と以前の摘発を総合することで、複数の国で活動するさまざまな詐欺組織に共通する新たな傾向が見えてきました。
昔ながらの手口と AI ツール
私たちが阻止した詐欺活動の大半は、AI を軸に新たな手口を編み出すのではなく、既存の詐欺の筋書きに AI を組み込むものでした。今年、私たちが特定して利用を禁止した詐欺活動は、いずれも主に規模の拡大と効率化のためのツールとして AI を使用していました。典型的な用途は、私たちのモデルを使った翻訳、メッセージの作成、ソーシャルメディア向けコンテンツの制作です。
例えば最近、複数の国の被害者から金銭をだまし取ろうと「投資会社」を装っていた、カンボジアとナイジェリアが発信元とみられる詐欺活動を禁止しました。詐欺師は、偽の会社を宣伝するウェブサイトやオンライン広告を作り、投資の専門家を装う偽アカウントとみられるソーシャルメディアアカウントを使って、非公開のメッセージグループに参加するよう人々を勧誘していました。攻撃者は、高収益でリスクのない投資機会をうたい、架空の取引プラットフォームに入金するよう潜在的な被害者を誘導しようとしていました。どの詐欺でも、詐欺師は主に、やり取りの文面の生成と翻訳、ウェブサイトやソーシャルメディアアカウント向けコンテンツの作成、基礎的な調査に私たちのモデルを使用していました。
別の事例では、ミャンマーに所在する可能性が極めて高い詐欺拠点が、不正な計画のコンテンツ作成と日常的な業務の両方に私たちのモデルを使用していたため、利用を禁止しました。具体的には、スケジュール管理、社内通知の作成、座席や寮の割り当て、財務口座の管理などです。一部の運営者は、オンライン詐欺で逮捕された場合に科される刑罰について質問していました。
詐欺師は皆平等、ただし AI 活用度は一様ならず
私たちが阻止した詐欺師が、全員同じ方法や同じ複雑さでモデルを使用していたわけではありません。詐欺師と ChatGPT のやり取りの大半は翻訳など比較的単純な作業でしたが、より野心的で手の込んだ詐欺活動もありました。
例えば、私たちが阻止したカンボジア発とみられる詐欺活動の一つでは、偽の投資専門家や架空の取引会社の従業員について、詳細な経歴をモデルに生成させていました。その後、詐欺師は ChatGPT に、それらの人物になりきった口調でソーシャルメディア向けのメッセージを書くよう求めていました。攻撃者は、標的から受け取ったとみられるメッセージをモデルに入力し、架空の人物になりきって会話を続けるよう求めることもたびたびありました。
同じくカンボジア発とみられる別の詐欺活動では、まずモデルを使って勧誘用の SMS を生成し、米国の電話番号に一斉送信していました。そのうちの 1 通は、6 月に報告した事例と同様に、OpenAI の調査担当者へ送られてきました。これらの SMS には、実在する投資会社に似た名前の WhatsApp グループへの招待が含まれていました。その後、これらのグループは禁止されました。
OpenAI の調査担当者に送られた一連の WhatsApp メッセージによると、潜在的な標的がグループに参加すると、すぐに 6 件ほどの異なるアカウントが投資について語り合う「会話」を目にする仕組みでした。そのうちの一つは「投資専門家」を装い、残りは自信や経験の度合いが異なる投資家を装っていました。この会話はすべて詐欺師が作成し、中国語からまとめて翻訳したものでした。意欲的で成功したトレーダーが活発に交流するグループだと思わせる狙いがあったとみられます。最終的に、「投資専門家」が標的にも投資を試すよう持ちかけます。
これとは別に、ナイジェリア発である可能性が極めて高い投資詐欺組織は、ソーシャルメディア広告で中南米の富裕層に接触する方法、自分たちの所在地を隠す方法、ソーシャルメディアプラットフォームの制限を回避する方法について、段階的な助言をモデルに求めていました。その際、プラットフォームが公開している利用規約をモデルに示し、広告案が規約に準拠しているか確認させていました。
偽装と言い逃れ
詐欺師、特に大規模な詐欺拠点は、執拗に活動を続けます。活動を阻止されると、多くの場合、行動の一部を変えながら、規約に違反する活動を再開しようとします。さらなる検出を免れる狙いがあるとみられます。だからこそ、変化する攻撃者の活動について、業界全体で知見を共有することが重要です。例えば、OpenAI と Meta はそれぞれ攻撃者に関する情報を共有し、それが追加調査や措置につながりました。
詐欺師は、活動の阻止や、AI の使用を見破る手掛かりをめぐるオンライン上の議論を受けてか、オンラインコンテンツや標的とのやり取りで AI の使用を隠そうとしています。例えば、カンボジア発とみられる詐欺活動では、出力から em ダッシュを削除するようモデルに指示していました。
ある事例では、詐欺師がソーシャルメディア上の資産を大規模に停止された理由について、架空の説明をでっち上げていました。これは、前述した、SMS と WhatsApp で活動していたカンボジア発とみられる詐欺拠点に関するものです。WhatsApp がこの活動に関連する「投資グループ」を禁止した後、運営者は、競合相手による虚偽の通報でグループが停止されたと主張するメッセージを生成し始めました。停止措置を正当化する狙いがあったとみられます。
WhatsApp による削除措置後、カンボジアと関連する詐欺組織が OpenAI の調査担当者に送った WhatsApp メッセージのスクリーンショット。