이 사례 연구는 OpenAI의 2025년 10월(새 창에서 열기) 보고서에 처음 게재되었습니다.
캄보디아, 미얀마, 나이지리아에서 시작된 것으로 추정되는 네트워크가 온라인에서 사람들을 속이려는 목적으로 ChatGPT를 악용한 사례입니다.
OpenAI는 유해한 목적으로 모델을 악용하려는 시도를 식별하고 예방하며 차단하기 위해 최선을 다하고 있습니다. 이러한 악용에는 사기도 포함됩니다. OpenAI는 사람들을 속여 금전적 피해를 입히기 위해 모델을 오용하려는 악의적 행위자를 탐지하고 차단합니다. 지난 3개월 동안 OpenAI는 캄보디아, 미얀마, 나이지리아에서 시작된 것으로 추정되는 사기 네트워크를 차단했습니다. AI가 사기 방지에 어떤 역할을 할 수 있는지를 보여주듯, 이러한 악용 패턴을 조사하는 과정에서 많은 사람이 사기를 식별하는 데 OpenAI 모델을 활용하는 모습도 확인했습니다. 이 보고서에서는 두 가지 활용 사례를 모두 다룹니다.
사기를 지원하기 위한 모델 악용은 개인의 사기 시도부터 조직범죄 집단과 연계된 것으로 추정되는 대규모의 지속적인 활동까지 다양합니다. 발원지와 구체적인 수법에 관계없이 OpenAI가 차단한 사기 관련 활동은 대체로 공통된 패턴을 따릅니다. OpenAI는 이를 ‘핑’(불특정 대상에게 먼저 접근), ‘징’(기대감이나 공포심 유발), ‘스팅’(돈이나 중요한 정보 탈취)이라고 부릅니다.
이러한 사기범은 AI 생성 여부와 관계없이 메시징 서비스와 인터넷 곳곳에 콘텐츠를 퍼뜨리는 것으로 시작하며, 소셜 미디어 광고도 활용합니다. 그런 다음 응답한 사람에게 큰 수익을 낼 기회라는 기대감이나 임박한 금전 손실에 대한 두려움을 불러일으키고, 그 감정을 이용해 돈이나 민감한 정보를 넘기도록 설득합니다.
OpenAI 모델이 사람들을 사기로부터 보호하는 데 도움을 준 것으로 보이는 사례도 다수 확인했습니다. 매월 수백만 건에 걸쳐 사람들이 ChatGPT를 사용해 온라인 사기를 식별하고 피하는 데 도움을 받은 정황을 확인했습니다. 이 보고서에 소개된 모든 사기 활동에서도 모델이 사람들이 사기를 정확히 식별하고 적절한 안전 조치를 취하도록 안내한 사례가 확인되었습니다. 현재 추산으로는 ChatGPT가 사기에 사용되는 경우보다 사기를 식별하는 데 사용되는 경우가 최대 3배 더 많습니다.

OpenAI 조사관이 자신에게 전송된 사기성 SMS 메시지의 스크린샷을 ChatGPT에 붙여 넣고, 모델을 활용해 해당 메시지가 사기임을 성공적으로 식별한 사례입니다. 이 사례에서 위협 행위자는 TikTok 채용 담당자를 사칭하려 했습니다.
지난 보고서 이후 OpenAI는 사기를 탐지하고 차단하는 자체 역량을 강화했습니다. 캄보디아, 미얀마, 나이지리아에서 시작된 것으로 보이는 사기 네트워크를 추가로 차단했습니다. 이번 조치와 이전의 차단 조치를 종합하면 여러 국가의 다양한 사기 활동에서 새롭게 나타나는 몇 가지 추세를 파악할 수 있습니다.
오래된 수법, 새로운 AI 도구
OpenAI가 차단한 사기 활동의 대부분은 AI를 중심으로 새로운 수법을 만드는 대신, 기존 사기 수법에 AI를 접목하는 데 초점을 맞췄습니다. 올해 OpenAI가 식별하고 차단한 모든 사기 활동은 주로 규모를 확대하고 효율을 높이는 도구로 AI를 사용했습니다. 일반적으로 OpenAI 모델을 번역과 메시지 작성, 소셜 미디어용 콘텐츠 제작에 활용했습니다.
예를 들어 최근에는 여러 국가의 피해자를 속이기 위해 ‘투자 회사’를 사칭한, 캄보디아와 나이지리아 발원 추정 사기 조직을 차단했습니다. 사기범들은 가짜 회사를 홍보하는 웹사이트와 온라인 광고를 만들고, 투자 전문가를 사칭하는 허위 소셜 미디어 계정을 이용해 사람들을 비공개 메시징 그룹으로 초대했습니다. 이후 위협 행위자들은 높은 수익과 무위험 투자 기회를 내세워 잠재적 피해자가 가짜 거래 플랫폼에 돈을 입금하도록 유도했습니다. 모든 사기에서 사기범들은 주로 서신을 작성하고 번역하거나, 웹사이트와 소셜 미디어 계정용 콘텐츠를 만들거나, 기초 조사를 하는 데 OpenAI 모델을 사용했습니다.
또 다른 사례에서는 미얀마에 있을 가능성이 매우 높은 사기 센터가 사기 수법에 쓸 콘텐츠를 생성하고 일상적인 업무를 처리하는 데 OpenAI 모델을 사용해 차단되었습니다. 일정 정리, 내부 공지 작성, 업무 공간과 기숙사 배정, 재무 계정 관리 등이 여기에 포함되었습니다. 일부 운영자는 온라인 사기를 저지르다 적발된 사람이 받게 되는 형사 처벌을 물었습니다.
사기범은 모두 평등하지만, 어떤 사기범은 더 AI답다
OpenAI가 차단한 모든 사기범이 모델을 같은 방식이나 같은 수준의 복잡도로 사용한 것은 아닙니다. 사기범이 ChatGPT와 나눈 상호작용은 대부분 번역 같은 비교적 단순한 작업이었지만, 일부 사기 활동은 더 대담하고 정교했습니다.
예를 들어 OpenAI가 차단한 캄보디아 발원 추정 사기 조직 한 곳은 모델을 사용해 가짜 투자 전문가와 허위 거래 회사의 가상 직원에 관한 상세한 약력을 생성했습니다. 이후 사기범들은 ChatGPT에 해당 인물들의 말투로 소셜 미디어 메시지를 작성해 달라고 요청했습니다. 위협 행위자는 표적으로부터 받은 것으로 보이는 메시지를 모델에 입력하고, 가짜 인물로 가장해 대화를 이어가 달라고 요청하는 경우가 많았습니다.
역시 캄보디아에서 시작된 것으로 추정되는 두 번째 사기 조직은 OpenAI 모델로 불특정 대상에게 보낼 SMS 메시지를 생성한 뒤 미국 전화번호에 대량 발송하는 것으로 활동을 시작했습니다. 이 가운데 하나는 OpenAI 조사관에게 전송되었으며, 6월에 보고한 사례와 유사했습니다. 이 SMS 메시지에는 합법적인 투자 회사와 비슷한 이름의 WhatsApp 그룹에 가입하라는 초대가 포함되어 있었으며, 해당 그룹들은 이후 차단되었습니다.
OpenAI 조사관에게 전송된 일련의 WhatsApp 메시지에 따르면, 잠재적 표적이 이러한 그룹 중 하나에 가입하면 서로 다른 6개가량의 계정이 모두 투자에 관해 이야기하는 ‘대화’를 곧바로 보게 됩니다. 이 중 한 계정은 ‘투자 전문가’를 사칭했고, 나머지는 자신감과 경험 수준이 서로 다른 투자자들을 사칭했습니다. 이 대화는 전부 사기범들이 생성한 것으로, 열정적이고 성공한 투자자들이 활발히 활동하는 그룹이라는 인상을 주기 위해 대화 전체를 한꺼번에 중국어에서 번역한 것으로 보입니다. 마지막에는 ‘투자 전문가’가 표적에게 직접 투자해 보라고 제안합니다.
이와 별도로 나이지리아에서 시작되었을 가능성이 매우 높은 투자 사기 조직은 소셜 미디어 광고로 중남미의 부유층에게 접근하는 방법, 위치를 숨기는 방법, 소셜 미디어 플랫폼의 제한을 피하는 방법을 모델에 단계별로 물었습니다. 여기에는 모델이 플랫폼의 공개 서비스 약관을 참조하게 한 뒤, 게시하려는 광고 콘텐츠가 약관을 준수하는지 검토해 달라고 요청하는 작업도 포함되었습니다.
은폐와 변명
사기범, 특히 대규모 사기 센터는 끈질기게 활동합니다. 이들은 차단되면 추가 탐지를 피하려는 듯 일부 행동 방식을 바꾸면서 정책 위반 활동을 재개하려 하는 경우가 매우 많습니다. 따라서 업계 전반에서 이들의 진화하는 활동에 관한 정보를 공유하는 것이 중요합니다. OpenAI와 Meta가 각각 위협 행위자에 관한 정보를 공유해 추가 조사와 제재에 기여한 사례가 그 예입니다.
차단 조치나 AI 사용을 드러내는 징후에 관한 온라인상의 폭넓은 논의에 대응하려는 듯, 사기범들이 온라인 콘텐츠와 표적과의 소통에서 AI 사용 사실을 감추려 한 사례도 확인했습니다. 캄보디아에서 시작된 것으로 추정되는 사기 조직이 모델에 출력문에서 전각 대시를 삭제하라고 지시한 사례가 여기에 포함됩니다.
한 사례에서는 사기범들이 소셜 미디어 자산이 대규모로 차단된 이유를 둘러대기 위해 차단 사유를 꾸며냈습니다. 이는 앞서 설명한 SMS와 WhatsApp에서 활동하던 캄보디아 발원 추정 사기 센터와 관련된 사례입니다. WhatsApp이 이 조직과 연계된 ‘투자 그룹’을 차단하자, 운영자들은 차단 조치를 해명하려는 듯 경쟁업체의 허위 신고로 해당 그룹들이 차단되었다고 주장하는 메시지를 만들기 시작했습니다.

WhatsApp의 차단 조치 이후 캄보디아 연계 사기 조직이 OpenAI 조사관에게 보낸 WhatsApp 메시지의 스크린샷입니다.