SweetSpecter: 중국 연계 사이버 활동
OpenAI는 중국을 거점으로 활동하는 것으로 의심되는 위협 행위자 SweetSpecter의 소유일 가능성이 높은 계정들을 차단했습니다. 이 계정들은 AI를 취약점 연구, 코드 작성, 스피어 피싱 활동 지원에 사용했습니다.
이 사례 연구는 OpenAI의 2024년 10월(새 창에서 열기) 보고서에 처음 게재되었습니다.
위협 행위자
OpenAI는 자사 모델을 공격적 사이버 작전에 활용하려 한 계정들을 확인하고 차단했습니다. 신뢰할 만한 출처의 평가에 따르면, 이 계정들은 중국을 거점으로 활동하는 것으로 의심되는 위협 행위자의 소유일 가능성이 높았습니다. 이 행위자는 동시에 OpenAI 직원들과 전 세계 정부를 대상으로 스피어 피싱 공격을 수행하고 있었습니다. SweetSpecter라는 이름으로 공개적으로 추적되는 이 위협 행위자는 2023년에 등장했습니다. 이전에는 중동, 아프리카, 아시아의 정치 관련 조직을 주로 표적으로 삼았다고 알려져 있습니다. 미국에 기반을 둔 AI 기업이 이들의 표적에 포함된 사실이 공개적으로 확인된 것은 이번이 처음인 것으로 파악됩니다.
행동
2024년 5월, 신뢰할 만한 출처로부터 해당 조직의 보안팀이 SweetSpecter의 스피어 피싱 이메일 발송을 포착했다는 제보를 받았습니다. 악성 첨부 파일이 포함된 이 이메일들은 일부 OpenAI 직원들의 회사 및 개인 이메일 계정으로 발송되었습니다.
SweetSpecter가 소수의 OpenAI 직원에게 보낸 이메일에서 일부 정보를 가린 버전. 이 이메일들은 OpenAI의 보안 시스템에 의해 차단되었습니다. 이미지 제공: Proofpoint.
이 이메일에서 SweetSpecter는 ChatGPT 사용자를 사칭하며 표적으로 삼은 직원들에게 지원을 요청했습니다. 이메일에는 LNK 파일이 담긴 ‘some problems.zip’이라는 악성 첨부 파일이 포함되어 있었습니다. 이 LNK 파일에는 실행 시 ChatGPT의 각종 오류 및 서비스 메시지로 보이는 내용을 나열한 DOCX 파일을 사용자에게 표시하는 코드가 들어 있었습니다. 하지만 백그라운드에서는 SugarGh0st RAT라는 Windows 악성코드가 복호화되어 실행되도록 되어 있었습니다. 이 악성코드는 SweetSpecter가 감염된 기기를 제어하고 임의의 명령 실행, 스크린샷 촬영, 데이터 유출 등의 작업을 수행할 수 있도록 설계되었습니다.
OpenAI 보안팀은 이 스피어 피싱 캠페인의 표적이 된 것으로 추정되는 직원들에게 연락했으며, 기존 보안 통제 조치가 해당 이메일의 회사 이메일 계정 도달을 사전에 차단했음을 확인했습니다.
분석 대상 악성 LNK 파일 중 하나를 실행하면 표시되는 유인용 콘텐츠.
이 과정 전반에서 업계 파트너들과의 협력이 직원 계정 침해를 노린 이러한 실패한 시도들을 식별하는 데 핵심적인 역할을 했습니다. 이는 AI 시대에 고도화된 위협 행위자보다 한발 앞서 대응하려면 위협 인텔리전스 공유와 협력이 중요하다는 점을 보여 줍니다. 공유된 인사이트와 공동의 전문성을 활용하면 자산을 더 효과적으로 보호하고, 이러한 활동과 관련된 플랫폼 내 계정의 활동을 차단할 수 있습니다.
모델 응답
이 캠페인을 뒷받침하는 인프라를 더 폭넓게 분석하던 중, 동일한 인프라를 이용해 질문에 대한 답변을 얻고 스크립트 작성 및 취약점 연구 작업을 수행하려는 ChatGPT 계정군을 발견하고 활동을 차단했습니다. OpenAI는 이러한 상호작용을 Microsoft가 올해 초 MITRE ATT&CK® 프레임워크에 통합하자고 제안한 LLM 관련 전술·기법·절차(TTP)에 대응시켜 분류했습니다. MITRE 프레임워크는 사이버 위협 행위자가 실제로 사용하는 전술과 기법을 체계화한 것입니다. OpenAI는 이러한 분류 결과를 공개함으로써 더 넓은 사이버 보안 커뮤니티에 관찰된 TTP를 알리고 사이버 방어의 효과를 높이는 데 기여하고자 합니다.
이러한 TTP에 해당하는 SweetSpecter의 활동 사례는 다음과 같습니다.
활동 | LLM ATT&CK 프레임워크 범주 |
|---|---|
여러 애플리케이션의 취약점에 관해 질문 | LLM 정보 기반 정찰 |
심각한 원격 코드 실행(RCE) 취약점인 Log4Shell에 취약한 특정 버전의 Log4j를 검색하는 방법에 관해 질문 | LLM 정보 기반 정찰 |
해외에서 널리 사용되는 콘텐츠 관리 시스템에 관해 질문 | LLM 정보 기반 정찰 |
특정 CVE 번호에 대한 정보 요청 | LLM 정보 기반 정찰 |
인터넷 전체를 대상으로 하는 스캐너의 제작 방법에 관해 질문 | LLM 정보 기반 정찰 |
sqlmap을 사용해 웹 셸로 쓰일 수 있는 파일을 표적 서버에 업로드하는 방법에 관해 질문 | LLM을 활용한 취약점 연구 |
유명 자동차 제조업체의 인프라를 공격할 방법을 찾는 데 도움 요청 | LLM을 활용한 취약점 연구 |
코드를 제공하고 통신 서비스를 통해 프로그래밍 방식으로 문자 메시지를 보내는 데 추가 도움 요청 | LLM으로 강화한 스크립팅 기법 |
사이버 보안 도구의 확장 기능을 개발하면서 디버깅 지원 요청 | LLM으로 강화한 스크립팅 기법 |
공격자가 지정한 번호로 프로그래밍 방식으로 문자 메시지를 보내는 대규모 프레임워크의 일부 코드를 디버깅하는 데 도움 요청 | LLM을 활용한 개발 |
정부 부처 직원들이 관심을 가질 만한 주제와 차단을 피하기에 적합한 첨부 파일 이름에 관해 질문 | LLM을 활용한 사회공학 |
공격자가 제공한 채용 메시지의 변형 문안 요청 | LLM을 활용한 사회공학 |
조사 전반에 걸쳐 OpenAI 보안팀은 ChatGPT를 활용해 위협 행위자 계정의 상호작용을 분석, 분류, 번역, 요약했습니다. 이를 통해 작업에 필요한 자원을 최소화하면서 대규모 데이터셋에서 신속하게 인사이트를 도출할 수 있었습니다. 모델이 더욱 발전하면 ChatGPT를 사용해 직원들에게 전송된 악성 첨부 파일을 리버스 엔지니어링하고 분석하는 것도 가능해질 것으로 기대합니다.
영향
첫 번째 위협 보고서에서 관찰한 바와 마찬가지로, 위협 행위자들이 OpenAI 모델을 사용해 얻은 역량이나 지침은 여러 공개 자료에서도 얻을 수 있는 수준이었으며, 그 외에 새로운 것을 얻은 것으로는 보이지 않았습니다. OpenAI의 보안 체계는 위협 행위자의 악성 이메일이 직원들의 받은편지함에 도달하기 전에 차단했습니다.