OpenAI-Hugging Face 사건(새 창에서 열기)은 향후 몇 달간 일반적인 위협 행위자의 역량이 어떻게 진화할지 엿볼 수 있게 했다는 점에서 사이버 보안의 분수령이었습니다. 지난 몇 주 동안 여러 조직과 이야기를 나누며 한 가지 분명한 공통점을 발견했습니다. 모두가 전례 없는 속도로 사이버 보안 관행의 수준을 근본적으로 높여야 한다는 점을 알고 있었습니다. 이 글에서는 OpenAI를 방어하기 위해 무엇을 하고 있는지, 다른 조직이 오늘 당장 취할 수 있는 구체적인 조치는 무엇인지, 그리고 왜 지금 행동해야 하는지 설명하겠습니다.
전 세계에서 개발된 AI 모델이 실제 사이버 공격의 일부를 점점 더 많이 자동화하면서, 사람이 작성한 소프트웨어 깊숙이 숨은 버그부터 잊힌 권한에 이르기까지 오랫동안 방치된 보안 허점을 더 쉽게 찾아내고 악용할 수 있게 되었습니다. 동일한 AI 역량은 방어자에게 이러한 약점을 찾아 수정할 새로운 방법을 제공하지만, 지금 바로 움직여야 합니다. 기업이 기본기를 개선하고 AI로 팀의 역량을 대폭 강화하는 등 단호하게 행동한다면, 인터넷을 그 어느 때보다 안전하게 만들 수 있습니다.
OpenAI-Hugging Face 사건에서는 여러 에이전트로 구성된 집단이 OpenAI의 연구 인프라뿐 아니라 다른 회사의 프로덕션 인프라까지 자율적으로 침투했습니다. 이전에 알려지지 않은 보안 결함부터 인터넷에 유출된 사용자 계정의 인증 정보까지 다양한 취약점을 연쇄적으로 활용했습니다. 모든 기업의 기술 부채(새 창에서 열기)가 심각한 결함을 가리고 있다는 사실이 갈수록 분명해지고 있으며, 방어자는 공격자보다 먼저 이를 찾아 수정해야 합니다.
공격자보다 방어자에게 유리한 환경을 만들기 위해 올해 초부터 사이버 역량을 신뢰할 수 있는 방어자에게만 제공하기 시작했습니다. 그 후 여러 회사가 프런티어 수준에 불과 몇 달 뒤처진 사이버 역량을 갖춘 오픈 웨이트 모델을 출시했습니다. 이 가운데 가장 최신 모델은 8월 말 출시될 예정(새 창에서 열기)으로 보이며, 위협 환경의 변화를 크게 가속할 가능성이 높습니다.
AI를 활용하는 공격자가 곧 기존의 수많은 시스템에 오랫동안 남아 있던 결함을 찾아낼 수 있게 되겠지만, AI는 방어자가 같은 결함을 발견하고 우선순위를 정해 수정하는 일도 훨씬 쉽게 해줄 것입니다. 보안은 여전히 쫓고 쫓기는 싸움이지만, AI는 방어자에게 근본적으로 유리한 방향으로 그 경제성을 바꿀(새 창에서 열기) 수 있습니다. 예를 들어, 인간을 뛰어넘는 수준으로 안전한 코드를 작성하도록 모델을 전문적으로 훈련하기 시작했습니다. 또한 모델은 수학적 증명에도 탁월합니다. 이를 활용하면 인간에게는 현실적으로 불가능했던 방식으로 소프트웨어의 보안을 형식 검증할 수 있습니다.
OpenAI-Hugging Face 사건 이후, 공개된 GPT‑5.6 Sol을 사용하는 ChatGPT Work에 gregbrockman.com(새 창에서 열기)의 보안을 평가해 달라고 요청했습니다. Cloudflare를 프런트 도어로 두고 AWS에서 호스팅하는 단순한 정적 사이트라 취약점이 있을 만한 공격 표면은 크지 않을 것이라고 생각했습니다.
약 15분 만에 13가지 문제를 찾아냈습니다. 그중 다수는 단독으로 악용하기 어려울 듯했지만, 다른 취약점과 연쇄적으로 결합되면 상당한 영향을 미칠 수 있어 보였습니다. 공격자가 저를 사칭한 이메일을 보내지 못하도록 DNS 레코드를 설정하지 않았고, 사이트에서는 안전하지 않은 버전의 jQuery를 사용했으며, Cloudflare는 암호화되지 않은 HTTP를 통해 AWS로 요청을 전달하고 있었습니다.
그런 다음 ChatGPT Work에 이 문제들을 해결해 달라고 요청했고, 약 한 시간 만에 작업이 완료되었습니다. 브라우저에서 Cloudflare 제어판을 열어 여러 버튼을 직접 클릭하며 DNS, TLS, 고급 보안 설정을 올바르게 구성했고, 사이트에서 jQuery를 완전히 제거했습니다. 또한 AWS에서 Cloudflare Pages로 사이트를 이전하고 DMARC(새 창에서 열기)를 단계적으로 적용하기 시작했습니다.
그런데 이것은 제 개인 웹사이트에 불과했습니다. 이는 기존 모델이 사이버 보안 수호자처럼 작동할 수 있음을 보여주는 작은 사례입니다. 사람이 시간이나 전문성이 부족해 미처 처리하지 못할 수많은 문제를 찾아내고, 적절히 조정된 출시 계획에 따라 해결할 수 있습니다. 모델이 수정한 설정 중 상당수는 저도 대략 알고 있었지만, 올바른 구성 방법을 바로 떠올리지는 못했을 것입니다.
Hugging Face 사건을 통해 OpenAI가 자사 AI 모델의 실제 사이버 역량을 과소평가했다는 사실이 드러났습니다. 이에 맞춰 안전 요건을 강화하고 있으며, 그 결과 기존의 안전 연구와 내부 보안 업무도 더욱 시급해졌습니다.
다른 조직에도 도움이 되기를 바라며, 현시점에서 OpenAI의 보안을 강화하기 위해 취하고 있는 접근 방식의 일부를 공유하고자 합니다. OpenAI를 보호하기 위해 기본 원칙을 올바르게 지키는 기초 통제에 대대적으로 투자하는 동시에, 프런티어 AI로 방어 역량을 강화하고 있습니다. 이 전략은 네 가지 핵심 축으로 구성됩니다.
첫째, 모델을 활용해 코드 보안을 강화하고 있습니다. 보안 플러그인을 포함한 Codex는 코드 변경 사항을 검증하고 취약점을 식별하며, 개발자가 배포 전에 문제를 해결하도록 돕습니다. 사람의 검증이 필요한 보안 진단 결과를 단순히 더 많이 내놓는 것은 지양합니다. 진짜 취약점을 출시 전에 포착하고, 문제 발견부터 수정 사항의 안전한 배포까지 걸리는 시간을 단축하는 것이 목표입니다. 더욱 안전한 코드를 생성하도록 모델을 지속적으로 훈련해, 새로 작성되는 코드에서 일부 유형의 소프트웨어 취약점을 없애는 것이 목표입니다.
둘째, 모델을 활용해 인프라를 상시 방어하고 있습니다. 현재 초기 보안 알림은 거의 모두 AI가 우선 분류한 뒤 사람에게 전달됩니다. 이를 통해 방어 인력의 반복 업무를 줄이고 대응 시간을 단축하는 한편, 사람은 분별력과 판단력, 실무 전문성이 가장 빛을 발하는 업무에 집중할 수 있습니다. 영향이 가장 큰 결정은 계속 사람이 책임지도록 하면서, 이러한 탐지 기능을 범위가 제한된 자동 대응과 점차 연계하고 있습니다. 보안 문제를 기계의 속도로 탐지하고 대응할 수 있도록 하는 것이 목표입니다.
셋째, 프런티어 AI를 활용해 잠재적 공격 경로를 지속적으로 열거하고 탐색하며 식별하고 있습니다. 취약점, 잘못된 구성, 과도한 권한이 부여된 ID, 의도치 않은 신뢰 경계를 찾아내 공격자가 악용하기 전에 이러한 허점을 신속히 식별하고 차단할 수 있습니다. 이를 통해 제품, 인프라, 시스템 전반에서 참이라고 전제하는 보안 속성인 ‘보안 불변 조건’을 지속적으로 평가하고 모니터링하며 테스트할 수 있습니다.
마지막으로, 기본 원칙을 대규모로 구현하는 데 집중적으로 투자하고 있습니다. 안전한 아키텍처와 통제에 꾸준히 투자하고, 심층 방어와 최소 권한 같은 전략을 채택하며, 재앙적인 사고가 발생하려면 서로 독립적인 여러 통제가 동시에 실패해야 하도록 시스템을 설계하고 있습니다. 네트워크 격리, 워크로드 강화, 모니터링, 안전한 패치와 배포 같은 전통적인 보안 통제는 AI 시대에 그 어느 때보다 중요해질 것입니다.
시간이 관건인 만큼, 방어자는 아래 단계를 전례 없이 빠르게 추진해야 합니다. 아래에서는 OpenAI 기술을 언급하겠지만, 생태계에는 함께 검토할 만한 경쟁 제품도 많습니다. 중요한 것은 특정 도구가 아니라, 지금 당장 유능한 AI를 방어자의 손에 쥐여 주는 것입니다.
- 조직 차원의 의지와 지지를 확보하세요. 보안 위험이 빠르게 변화하고 있습니다. 보안 및 엔지니어링 조직이 이러한 위험에 신속히 대응하는 데 필요한 지원과 협력, 자원을 확보하도록 하세요. 이러한 공격이 조직에서 어떤 형태로 나타날 수 있고 어떻게 대응할지 모의하는 도상 훈련을 팀과 함께 실시하세요.
- 보안팀에 에이전트를 제공하세요. Codex, Codex 보안 플러그인(새 창에서 열기) 또는 역량 있는 다른 에이전트 기반 코딩 및 보안 도구를 사용하기 시작하세요. 보안팀이 평가해야 하는 코드베이스, 인프라 구성, 기술 문서에 승인된 범위 내에서 접근할 수 있도록 하세요. 전사 도입을 기다리지 말고 최우선 시스템부터 시작하세요.
- 에이전트에 보안 전문성을 갖춰 주세요. 먼저 커뮤니티가 지원하는 스킬(새 창에서 열기)을 활용하세요. 여기에는 정적 분석, 보안 중심 코드 검토, 취약점 변형 분석, 소프트웨어 공급망 위험 등 다양한 보안 워크플로가 포함되어 있습니다. 그런 다음 조직의 아키텍처, 보안 표준, 위협 모델, 대응 절차에 맞춰 자체 스킬을 구축하세요.
- 자체 시스템에 대한 보안 평가를 즉시 실시하세요. 인터넷에 노출된 서비스, 인증 절차, 코드형 인프라, 배포 파이프라인, 민감한 정보를 처리하는 시스템부터 우선 평가하세요. 팀의 확신이 커지는 대로 검사 범위를 확대하세요.
- 기존 취약점 백로그를 처리하세요. 코드 스캐너의 진단 결과, 종속성 알림, 보안 티켓, 버그 바운티 보고서, 이전 평가 결과를 에이전트에 제공하세요. 진단 결과를 분류하고, 악용 가능한 문제와 잡음을 구분하며, 코드베이스의 다른 부분에서 관련 취약점을 찾아내고, 우선 수정할 항목을 제안하도록 요청하세요.
- 개발 프로세스에 보안 검토를 직접 통합하세요. 에이전트를 사용해 코드 변경 사항이 병합되기 전에 검토하고, CI에서 보안 검사를 실행하세요. 인증 오류, 접근 통제 우회, 노출된 인증 정보, 안전하지 않은 종속성, 불안전한 기본 설정, 프로덕션 시스템에 대한 접근 범위를 확대하는 변경 사항과 기타 취약점을 찾으세요.
- 에이전트가 발견한 문제를 직접 수정하도록 하세요. 검증된 문제에 대해서는 범위를 명확히 한 패치를 생성하고 검증하며, 회귀 테스트를 작성하고, 취약점이 더 이상 재현되지 않는지 확인하도록 요청하세요. 중대한 변경 사항은 계속 사람이 검토하되, 실제 문제를 식별한 뒤 엔지니어에게 안전한 수정안을 제시하기까지 발생하는 불필요한 지연은 없애세요.
- 탐지 결과 분류를 단계적으로 자동화하세요. 처음부터 자율형 보안 운영 센터를 구축하려고 하지 마세요. 먼저 하나의 리포지터리를 대상으로 읽기 전용 보안 검사를 실행하거나, 기존 로그에 대한 읽기 전용 접근 권한을 부여해 에이전트가 이미 해결된 알림을 검토하도록 하세요. 모든 결정은 사람이 내리되, 에이전트가 증거를 요약하고 처리 방안을 제안하도록 하세요. 확신이 커지면 권고 목적의 풀 리퀘스트 검사, 실시간 알림 분류, 범위가 명확한 오탐의 자동 종결 순으로 발전시키세요.
- 필요해지기 전에 AI 지원 포렌식 조사 역량을 준비하세요. 사이버 보안용 신뢰 기반 접근 권한(새 창에서 열기)을 신청해 팀이 사고 대응, 탐지 엔지니어링, 멀웨어 분석 등 승인된 방어 업무에 GPT‑Daybreak‑Blue를 사용할 수 있도록 승인을 받으세요. 이 기능으로 로그, 텔레메트리, 보안 알림을 분석하는 연습을 하세요.
- 실험하고, 해킹 주간을 운영하며, 빠르게 개선하세요. 다가오는 세상에 대비하려면 온갖 새로운 도구를 만들고 업무 방식을 바꾸며 모든 구성원의 역량을 높여야 합니다. 구성원들이 실험하도록 장려하고, 새로운 역량을 구축할 해킹 주간을 마련하며, 문제의 작은 부분부터 자동화하는 순환 과정을 빠르게 개선하는 데 집중하세요. 작은 발전이 빠르게 쌓이면 방어 성과도 복리처럼 커지며, 팀의 확신이 높아지는 만큼 자율성도 점진적으로 확대할 수 있습니다.
어떤 기업도 이 일을 혼자 해낼 수는 없습니다. AI 연구소, 보안 업체, 기업, 유지관리자가 검증된 진단 결과와 수정 사항, 실용적인 대응 절차를 공유해 한 조직의 발견이 전체 생태계를 강화하는 데 기여하기를 바랍니다.
방어자에게 열린 기회는 바로 지금입니다. 향후 몇 달 안에 모든 조직은 보안을 유지하기 위해 보안 프로그램의 상당 부분을 자동화하기 시작해야 합니다. AI가 계속 발전하는 가운데, 보안 커뮤니티는 공격자보다 방어자의 역량을 더 빠르게 강화할 도구와 관행, 대응 절차를 시급히 정립해야 합니다. 이를 위해서는 전례 없이 막대한 노력이 필요하지만, 모두가 힘을 모은다면 지금까지 상상하지 못했던 더욱 안전한 세상을 만들 수 있습니다.
