프롬프트 인젝션을 거부하는 AI 에이전트 설계하기

AI 에이전트가 사용자를 대신해 웹을 탐색하고 정보를 수집하며 작업을 수행하는 능력은 시간이 지날수록 더욱 향상되고 있습니다. 이러한 기술은 유용하지만 공격자들이 시스템을 조작할 수 있는 새로운 방식을 만들어 내기도 합니다.

프롬프트 인젝션⁠이라고 불리는 이러한 공격은 외부 콘텐츠에 명령을 삽입해 모델이 사용자가 요청하지 않은 작업을 수행하도록 유도하는 방식입니다. OpenAI의 경험에 따르면 실제 환경에서 효과적으로 작동하는 공격은 단순한 프롬프트 덮어쓰기보다는 점점 더 사회공학 공격과 유사한 형태를 보이고 있습니다.

이 변화는 중요한 의미를 갖습니다. 문제가 단순히 악성 문자열을 식별하는 것이 아니라 정상적인 콘텐츠에 섞여 있는 조작성 명령을 구별하는 것이라면 입력 필터링만으로는 충분히 방어할 수 없습니다. 일부 공격이 성공하더라도 조작으로 인한 영향을 제한할 수 있도록 시스템 자체를 면밀하게 설계해야 합니다.

초기 프롬프트 인젝션 공격은 AI 에이전트가 방문할 수 있는 위키피디아 문서를 편집해 그 안에 직접적인 명령을 삽입하는 것처럼 단순한 형태였습니다. 적대적 환경을 훈련 과정에서 경험하지 못한 AI 모델은 이런 명령을 별다른 의심 없이 따르는 경우가 많았습니다.¹ 하지만 모델이 점점 더 발전하면서 이러한 방식에 대한 취약성은 줄어들었고, 프롬프트 인젝션 공격도 이에 대응해 사회공학적 요소를 포함하는 형태로 발전했습니다.

AI 보안 생태계 전반에서는 AI 에이전트와 외부 세계 사이에 중간 계층을 두어 입력값을 악성 프롬프트 인젝션과 일반 입력으로 분류하는 ‘AI 방화벽’ 기술이 흔히 사용됩니다. 그러나 정교하게 발전한 공격은 이러한 시스템에서 대부분 탐지되지 않습니다. 이런 시스템에서는 악성 입력을 탐지하는 것이 거짓말이나 허위 정보를 판별하는 것만큼 어려운 문제가 되며, 필요한 맥락 정보조차 없는 경우가 많습니다.

현실 세계의 프롬프트 인젝션 공격이 점점 더 복잡해지면서 OpenAI는 사회공학적 전술을 이용한 공격이 가장 효과적인 공격 방식이라는 사실을 알게 되었습니다. 이에 프롬프트 인젝션을 별도의 새로운 문제로 다루기보다는 다른 산업에서 인간을 대상으로 한 사회공학적 공격 위험을 관리할 때 취하는 것과 동일한 관점으로 문제를 바라보기 시작했습니다. 프롬프트 인젝션 위험에 노출된 환경에서 AI 시스템의 목표는 악성 입력을 완벽하게 식별하는 데 그치지 않고 일부 공격이 성공하더라도 조작으로 인한 영향을 제한할 수 있도록 에이전트와 시스템을 설계하는 데 있습니다. 이와 같은 접근 방식은 프롬프트 인젝션과 사회공학적 공격 모두를 완화하는 데 효과적인 것으로 나타났습니다.

해당 관점에서 보면 AI 에이전트는 고객 상담원이 놓인 상황과 비슷한 구조 속에서 작동한다고 볼 수 있습니다. 상담원은 고용주를 대신해 업무를 수행하려 하지만 동시에 자신을 속이려는 외부 입력에 지속적으로 노출됩니다. 인간 상담원과 AI 상담원 모두 악의적 환경에서 발생할 수 있는 위험을 줄이기 위해 수행할 수 있는 권한과 기능에 일정한 제한이 필요합니다.

배송 지연이나 제품 결함 같은 불편을 겪은 고객에게 인간 상담원이 기프트 카드 또는 환불을 제공할 수 있는 고객 지원 시스템을 생각해 볼 수 있습니다. 이는 여러 주체가 얽힌 문제로, 기업은 상담원이 정당한 사유에 따라 환불을 처리할 것이라고 신뢰해야 하며 상담원은 자신을 속이려 하거나 심지어 압박하려는 제3자 또한 상대해야 합니다.

현실 세계에서는 상담원에게 따라야 할 일련의 규칙이 주어지지만 이러한 적대적 환경에서는 상담원이 속아 넘어갈 수 있다는 점도 고려해야 합니다. 예를 들면 환불이 처리되지 않았다고 주장하는 메시지를 보내거나 환불을 해주지 않으면 해를 끼치겠다고 위협하는 고객이 있을 수도 있습니다. 상담원이 사용하는 결정론적 시스템은 고객에게 제공할 수 있는 환불 금액에 제한을 두고 고객의 이메일을 잠재적인 피싱 이메일로 표시하며, 개별 상담원이 영향을 받더라도 그 영향이 커지지 않도록 다양한 완화 장치를 적용합니다. 

이러한 관점은 사용자에게 기대되는 보안 수준을 유지하기 위해 OpenAI가 도입한 여러 대응 조치를 설계하는 데 중요한 기반이 되었습니다.

ChatGPT에서는 이러한 사회공학적 공격 모델을 소스-싱크 분석과 같은 전통적인 보안 엔지니어링 접근 방식과 함께 사용합니다.

이 관점에서 공격이 성립하려면 두 가지 요소가 필요합니다. 하나는 시스템에 영향을 미칠 수 있는 경로인 소스이고, 다른 하나는 잘못된 맥락에서 위험해질 수 있는 기능인 싱크입니다. 에이전트형 시스템에서는 보통 제3자에게 정보를 전송하거나 링크를 따라가거나 도구를 사용하는 행동과 신뢰할 수 없는 외부 콘텐츠가 결합될 때 이러한 상황이 발생합니다.

OpenAI의 목표는 사용자에게 기대되는 핵심적인 보안 원칙을 유지하는 것입니다. 즉 잠재적으로 위험한 행동이나 민감할 수 있는 정보의 전송을 사용자에게 알리지 않거나 적절한 보호 장치 없이 수행되지 않도록 하는 것입니다.

ChatGPT를 대상으로 가장 자주 시도되는 공격은 대화에서 얻은 비밀 정보를 악의적인 제3자에게 전송하도록 유도하는 방식입니다. OpenAI가 확인한 대부분의 경우 이러한 공격은 안전 규칙에 따라 에이전트가 거부하기 때문에 실패합니다. 그러나 에이전트가 설득되는 경우에 대비해 OpenAI는 Safe Url이라는 완화 전략을 마련했습니다. 이 전략은 어시스턴트가 대화에서 얻은 정보를 제3자에게 전송하려 할 때 이를 감지하도록 설계되었습니다. 이 경우 전송될 정보를 사용자에게 보여주고 확인을 요청하거나, 전송을 차단하고 사용자의 요청을 다른 방식으로 처리하도록 에이전트에 안내합니다.

이 메커니즘은 Atlas⁠의 탐색과 북마크 기능, 심층 리서치⁠의 검색과 탐색 기능에도 동일하게 적용됩니다. ChatGPT 캔버스⁠와 ChatGPT 앱⁠ 역시 유사한 접근 방식을 취하여 에이전트가 제작하는 애플리케이션이 예기치 않은 통신을 감지하고 사용자 동의를 요청할 수 있는⁠(새 창에서 열기) 샌드박스 환경에서 실행되도록 합니다.

자세한 설명과 구조를 다룬 논문은 AI 에이전트가 링크를 클릭할 때 데이터를 안전하게 보호하기⁠ 블로그 포스트에서 확인할 수 있습니다.

완전히 자율적으로 작동하는 에이전트는 적대적인 외부 환경과 안전하게 상호작용할 수 있어야 합니다. AI 모델을 애플리케이션 시스템에 통합할 때에는 비슷한 상황에서 인간 상담원에게 어떤 통제 장치가 필요한지 고려하고 이를 구현하는 것을 권장합니다. 충분히 지능적인 AI 모델은 인간 상담원보다 사회공학적 공격에 더 잘 대응할 수 있을 것으로 예상되지만 애플리케이션에 따라 항상 현실적이거나 비용 효율적인 방법은 아닐 수 있습니다.

OpenAI는 AI 모델을 대상으로 한 사회공하적 공격의 의미와 이에 대한 방어 방식을 계속 연구하고 있으며 이러한 연구 결과를 애플리케이션 보안 아키텍처와 AI 모델 훈련 과정에 모두 반영하고 있습니다.