OpenAI와 전쟁부의 AI 협약

어제 OpenAI는 기밀 환경에서 고급 AI 시스템을 운용하는 방식에 대해 전쟁부와 합의했으며, 해당 조건을 다른 모든 AI 기업에도 동일하게 제공해 달라고 요청했습니다.

OpenAI는 이번 협약이 기밀 AI 시스템 배포와 관련한 기존의 어떤 협약보다도 더 강력한 안전 장치를 갖추고 있다고 봅니다. Anthropic의 협약과 비교해도 그렇습니다. 그 이유는 다음과 같습니다.

OpenAI는 전쟁부와의 협력에서 다음 세 가지를 핵심 레드라인으로 규정합니다. 이는 여러 프런티어 AI 연구소가 일반적으로 공유하는 원칙이기도 합니다.

• OpenAI 기술을 대규모 국내 감시에 사용하지 않습니다
• OpenAI 기술을 자율 무기 시스템을 지휘하는 데 사용하지 않습니다 
• OpenAI 기술을 사회 신용 시스템과 같이 중대한 의사결정을 자동화하는 데 사용하지 않습니다

다른 AI 연구소들은 국가 안보 분야에 시스템을 배치하면서 모델의 안전 장치를 축소하거나 제거하고, 대신 이용 정책을 주요 보호 수단으로 삼는 방식을 택했습니다. 그러나 OpenAI는 다층적 접근 방식이 용납할 수 없는 사용을 방지하는 데 더 효과적이라고 생각합니다.

이번 협약에서 OpenAI는 보다 폭넓고 다층적인 방식으로 레드라인을 보호합니다. 안전 스택에 대한 전적인 재량권을 OpenAI가 보유하고 클라우드를 통해서만 시스템을 배포하며 보안 인가를 받은 OpenAI 인력이 운영 과정에 참여합니다. 또한 계약에 강력한 보호 조항을 명시하고 미국 법률에 따른 기존 보호 장치도 함께 적용합니다. 

OpenAI는 민주주의의 가치를 확고히 지지합니다. AI 기술의 중요성을 고려할 때 앞으로 나아갈 바람직한 방향은 AI 개발과 민주적 절차 간의 긴밀한 협력에 있다고 봅니다. 또한 이 기술이 전 세계에 새로운 위험을 가져올 수 있다는 점을 인식하는 동시에, 미국을 방어하는 이들이 최선의 도구를 갖추는 일 역시 중요하다고 믿습니다.

이번 협약에는 다음 내용이 포함됩니다.

1. 배포 아키텍처: 이번 배포는 클라우드 전용 방식으로 이루어지며 OpenAI가 직접 운영하는 안전 스택이 적용됩니다. 여기에는 앞서 언급한 원칙을 비롯한 다양한 안전 기준이 포함됩니다. OpenAI는 전쟁부에 안전 장치를 해제한 모델이나 안전 훈련을 거치지 않은 모델을 제공하지 않으며, 자율 살상 무기에 활용될 가능성이 있는 엣지 기기에도 모델을 배포하지 않습니다. 

이러한 배포 아키텍처를 통해 OpenAI는 정책 위반 가능성을 감지하는 분류 시스템을 운영하고 지속적으로 업데이트하며 레드라인 위반 여부를 독립적으로 검증할 수 있습니다.

2. 계약 조항: 다음은 관련 조항의 내용입니다.

전쟁부는 적용 법령, 작전상 요구 사항, 그리고 확립된 안전 및 감독 절차에 부합하는 범위 내에서 모든 합법적 목적을 위하여 AI 시스템을 사용할 수 있다. 다만 법률, 규정 또는 부처 정책에 따라 인간의 통제가 요구되는 경우 어떠한 상황에서도 해당 AI 시스템을 자율 무기를 독자적으로 지휘하는 데 사용하지 않으며, 동일한 권한 체계 아래에서 인간 의사결정자의 승인이 필요한 기타 중대한 결정을 대신 수행하는 데에도 사용하지 않는다. 국방부 지침 3000.09(2023년 1월 25일자)에 따라, 자율 및 준자율 시스템에서 AI를 사용하는 경우 배포 전에 실제 환경에서 의도한 대로 작동하는지 확인하기 위해 엄격한 검증, 확인 및 시험 절차를 거쳐야 한다.

정보 활동과 관련하여 개인정보를 처리하는 경우에는 미국 수정헌법 제4조, 1947년 국가안보법, 1978년 해외정보감시법, 행정명령 12333호 및 명확한 해외 정보 목적을 요구하는 관련 국방부 지침을 준수한다. AI 시스템은 앞서 명시한 법률 및 권한 체계에 따라 미국인의 개인정보를 무제한적으로 감시하는 데 사용되어서는 안 된다. 또한 포시 코미타투스법 및 기타 관련 법령이 허용하는 경우를 제외하고 국내 법 집행 활동에도 해당 시스템이 사용되어서는 안 된다.

3. AI 전문가 참여: OpenAI는 보안 인가를 받은 현장 파견 엔지니어를 통해 정부를 지원하며, 보안 인가를 받은 안전 및 정렬 연구진도 운영 과정에 함께 참여시킬 예정입니다. 

왜 이런 협약을 체결했나요? 

첫째, OpenAI는 미국 군이 임무를 수행하는 데 강력한 AI 모델이 반드시 필요하다고 생각합니다. 특히 잠재적 적대 세력이 자체 시스템에 AI 기술을 빠르게 통합하고 있는 상황에서 그 필요성은 더욱 커지고 있습니다. OpenAI는 초기에 안전 장치와 시스템이 충분히 준비되지 않았다고 판단해 기밀 배포 계약에 곧바로 참여하지 않았으며, 이후 레드라인을 준수하는 보호 장치를 갖춘 상태에서 기밀 배포가 이루어질 수 있도록 실현 가능한 방안을 지속적으로 모색해 왔습니다. 

OpenAI는 국가 안보 업무의 역량을 높이기 위해 핵심적인 안전 장치를 제거하는 방식을 받아들이지 않았으며, 지금도 그 입장을 유지하고 있습니다. 이는 미국 군을 지원하는 올바른 방법이 아니라고 판단합니다. 

둘째, 전쟁부와 미국 AI 연구소들 사이의 긴장을 완화할 필요가 있다고 보았습니다. 건설적인 미래를 위해서는 정부와 AI 연구소 간의 실질적이고 긴밀한 협력이 필요합니다. 이를 위해 OpenAI는 이번 협약 과정에서 모든 AI 연구소에 동일한 조건을 적용하도록 요청했으며, 특히 정부가 Anthropic과의 문제를 해결하기 위해 노력해 줄 것을 요구했습니다. 현재와 같은 상황은 정부와 AI 연구소들이 다음 단계의 협력을 시작하는 데 바람직하지 않다고 생각합니다.

왜 Anthropic은 합의에 이르지 못했는데 OpenAI는 가능했나요? Anthropic이 거부한 조건에 응한 것인가요?

OpenAI가 파악한 바에 따르면 이번 협약은 Anthropic의 초기 협약을 포함한 기존의 어떤 협약보다 더 강력한 보장과 책임 있는 안전 장치를 제공합니다. 배포를 클라우드 전용으로 제한해 엣지 환경에는 적용하지 않고 OpenAI가 최선이라고 판단하는 방식으로 안전 스택을 유지하며 보안 인가를 받은 OpenAI 인력이 운영 과정에 참여하도록 함으로써 레드라인을 보다 확실히 지킬 수 있다고 판단합니다.

OpenAI는 Anthropic이 왜 정부와 합의에 이르지 못했는지 알지 못합니다. 다만 Anthropic을 비롯해 더 많은 연구소들이 이 조건을 검토해 보기를 바랍니다.

Anthropic을 ‘공급망 위험’으로 지정해야 한다고 보나요?

그렇지 않습니다. 이에 대한 입장은 정부에 분명히 전달했습니다.

이번 협약으로 전쟁부가 OpenAI 모델을 자율 살상 무기에 활용할 수 있게 되나요? 

아니요. OpenAI의 안전 스택과 클라우드 전용 배포 방식, 계약 조항, 그리고 현행 법률과 규정, 정책에 따라 그러한 일은 발생할 수 없다고 확신합니다. 또한 OpenAI 인력을 운영 과정에 참여시켜 추가적인 안전 장치를 마련할 예정입니다.  

이번 협약으로 전쟁부가 OpenAI 모델을 사용해 미국인에 대한 대규모 감시를 수행할 수 있게 되나요?

아니요. 당사의 안전 스택, 계약 문구, 그리고 DoW의 국내 감시를 강하게 제한하는 현행 법률에 비추어 볼 때, 이런 일이 발생할 수 없다고 확신합니다. 또한 OpenAI 인력을 운영 과정에 참여시켜 추가적인 안전 장치를 마련할 예정입니다.  

안전 스택 없이 모델을 배포할 것인가요?

아니요. OpenAI는 배포하는 안전 스택에 대해 전적인 통제권을 가지며 안전 장치 없이 모델을 배포하지 않습니다. 또한 안전 및 정렬 연구진이 운영 과정에 참여해 시스템을 지속적으로 개선할 예정입니다. 다른 AI 연구소들이 모델의 안전 장치를 축소하고 이용 정책을 주요 보호 수단으로 삼아 온 점은 알고 있습니다. 그러나 OpenAI는 다층적 접근이 용납할 수 없는 사용을 방지하는 데 더 효과적이라고 생각합니다.

정부가 계약 조건을 위반하면 어떻게 되나요?

다른 계약과 마찬가지로 상대방이 계약 조건을 위반할 경우 계약을 해지할 수 있습니다. 다만 그러한 상황이 발생할 것으로 예상하지는 않습니다.

정부가 법률이나 기존 전쟁부 정책을 변경하면 어떻게 되나요?

본 협약은 감시 및 자율 살상 무기와 관련한 법률과 정책을 현재 시행 중인 상태 그대로 명시적으로 참조합니다. 따라서 향후 해당 법률이나 정책이 변경되더라도 OpenAI 시스템의 사용은 계약에 반영된 현재 기준에 계속 부합해야 합니다. 

Anthropic이 블로그 게시물⁠(새 창에서 열기)에서 전쟁부와 논의한 내용을 다루며 제기한 주장에 대해 OpenAI는 어떤 입장을 가지고 있나요?

해당 글에서 Anthropic은 두 가지 레드라인을 제시했습니다(OpenAI의 레드라인도 이와 동일하며 여기에 더해 중대한 의사결정을 자동화하지 않는다는 원칙을 추가하여 총 세 가지 레드라인을 적용하고 있습니다). Anthropic은 당시 전쟁부가 제시한 계약 조건 아래에서는 이러한 레드라인이 충분히 준수되지 않을 것이라고 판단했다고 밝혔습니다. 동일한 레드라인이 OpenAI의 협약에서는 지켜질 수 있다고 보는 이유는 다음과 같습니다.

• 대규모 국내 감시: 전쟁부와 협의하는 과정에서 전쟁부는 대규모 국내 감시가 불법이라는 입장을 분명히 했으며, AI 시스템을 그러한 목적으로 사용하지 않을 계획임을 확인했습니다. OpenAI는 해당 행위가 합법적 사용 범위에 포함되지 않는다는 점을 계약에 분명히 명시했습니다.
• 완전 자율 무기: 계약에 따른 클라우드 전용 배포 구조에서는 완전 자율 무기를 구동하는 것이 허용되지 않습니다. 이는 엣지 환경 배포를 필요로 하기 때문입니다. 

이러한 보호 장치에 더해 OpenAI의 안전 스택과 기술 전문가의 참여 등 추가적인 다층 보호 체계도 계약에 포함되어 있습니다.