AI 역량이 새로운 국면에 접어든 만큼 AI 정책도 새로운 국면으로 나아가야 합니다. 어떤 기업이나 업계, 정부도 이 과제를 혼자 해결할 수 없습니다. 지금은 완벽한 정책을 추구하기보다 의미 있는 행동을 우선해야 합니다.
OpenAI는 다음과 같은 노력을 기울이고 있습니다.
의무적인 국가 AI 안전 요건 마련 추진. OpenAI는 의회와 협력하여 역량에 기반한 의무적인 국가 AI 안전 규제를 마련하고자 합니다.
주 차원의 추진력 이어가기. 의회가 조치를 취할 때까지 OpenAI는 더 폭넓은 AI 안전 생태계를 강화하는 주 법안을 계속 지지할 것입니다. 오늘 OpenAI는 독립적인 안전 평가를 위한 전반적인 인프라에 관한 SB 813, AI 감사 기관의 기준에 관한 AB 1405, 청소년 보호에 관한 SB 1119, AI 기반 생물학적 위협에 대한 보호 조치에 관한 AB 1864 등 캘리포니아주 법안 4건에 대한 지지를 발표합니다.
업계 주도 표준 발전. OpenAI는 다른 프런티어 연구소와 협력하여 프런티어 AI 표준을 발전시키고, 정부의 지원 여부와 관계없이 지금부터 자발적인 노력을 추진할 것입니다.
글로벌 표준 구축. 모델 역량의 발전 속도를 늦추는 일이 되더라도 역량을 측정하고 위험을 관리하며 사람의 통제권을 유지하고 개발 속도를 늦추거나 중단해야 하는 시점과 방식을 결정하기 위한 상호 호환 가능한 국제적 접근 방식을 지지할 것입니다.
OpenAI의 수석 과학자 야쿠프 파호츠키는 최근 기고문에서 재귀적 자기 개선의 가능성을 포함한 기계 지능의 급속한 발전에 “극도의 주의”가 필요하다고 밝혔습니다. OpenAI는 앞으로도 정렬과 모니터링을 위한 기술적 해결책을 모색하고, 방어 시스템을 구축하며, 필요하면 개발 속도를 늦출 것입니다. 그러나 개별 연구소 내부의 기술적 노력만으로는 충분하지 않습니다. 개발 속도를 늦추거나 중단해야 할 시점 등을 다루는 공동 표준도 필요합니다.
이 사안이 미칠 영향은 막대합니다. 첨단 AI는 신약 개발을 가속화하고, 핵심 인프라를 강화하며, 경제적 기회를 확대하고, 여러 세대에 걸친 인간의 노력으로도 해결하지 못한 과학적 난제를 푸는 데 기여할 수 있습니다. 하지만 모델을 더욱 유용하게 만드는 역량에는 위험도 따르며, 이러한 역량은 소수의 프런티어 연구소에만 머물지 않을 것입니다. 오픈 모델을 포함해 전 세계에서 개발되는 모델은 점차 현재의 프런티어 수준에 가까워지고 널리 이용할 수 있게 될 것입니다.
Astra의 역량, AI를 통한 연구 가속화가 이미 나타나고 있다는 초기 증거, 야쿠프의 에세이는 모두 같은 방향을 가리킵니다. AI는 빠르게 발전하고 있으며 정책도 이에 발맞춰 나아가야 합니다.
그레그 브록먼은 '방어자의 기회'를(새 창에서 열기) 강력한 공격 역량이 널리 확산되기 전에 프런티어 AI를 활용해 방어자가 핵심 시스템을 강화할 수 있는 제한된 기간이라고 설명했습니다. 정책 입안자들도 이와 비슷한 상황에 놓여 있습니다. AI 역량이 이를 관리하는 제도의 대응 속도를 앞지르기 전에 지속 가능한 보호 조치를 마련할 수 있는 시간이 점점 줄어들고 있습니다.
AI 역량이 향상될수록 안전성에 대한 확신을 바탕으로 AI의 발전 속도를 조절해야 합니다. 안전은 발전을 가로막는 것이 아니라, 오히려 더 큰 발전을 이루고 더 많은 사람에게 혜택을 제공할 수 있게 하는 기반입니다.
OpenAI는 모델 개발 라이프사이클 전반에서 모니터링, 정렬 및 보안 보호 조치를 강화했습니다. 여기에는 프런티어 연구 워크로드의 격리 강화, 도구를 활용한 학습 및 평가 과정에서 모델 행동에 대한 모니터링 확대, 우려 사항에 대해 추가 대응이 필요한 시점을 판단하기 위한 더욱 명확한 기준이 포함됩니다. Astra에는 사고 과정을 포함한 전체 작업 과정에 대한 상시 모니터링과 더 광범위한 내부 배포에 앞서 반드시 거쳐야 하는 정렬 평가 단계를 도입했습니다.
이러한 보호 조치는 계속해서 AI 역량의 발전을 앞서가야 합니다. 개발이나 배포를 계속하는 것이 용인할 수 없는 안전 위험을 초래한다면, OpenAI는 이전에도 그랬고 준비성 평가 프레임워크(새 창에서 열기)에서 요구하는 바와 같이 충분한 안전을 확보할 수 없는 시스템의 개발 또는 배포 속도를 늦추거나 중단할 것입니다.
AI 시스템이 스스로 더욱 뛰어난 역량을 갖춘 차세대 AI를 연이어 개발하는 완전 자율형 재귀적 자기 개선은 현재 일어나고 있지 않습니다. 안전하게 구현할 수 있다는 확신이 있기 전까지는 이를 추진해서는 안 됩니다.
하지만 AI는 이미 차세대 모델을 개발하고 정렬하기 위한 연구의 일부를 가속화하고 있습니다. OpenAI의 최신 연구에 따르면 AI 에이전트는 숙련된 연구자가 며칠에 걸쳐 수행해야 하는 일부 작업을 수행할 수 있습니다. 이것이 재귀적 자기 개선은 아니지만, AI 개발이 앞으로 어떤 방향으로 나아갈지를 보여 주는 징후입니다.
이렇게 빨라진 연구 개발은 안전성을 높이는 데에도 활용할 수 있으며, 반드시 그렇게 해야 합니다. OpenAI의 목표는 사람의 감독 아래 딥러닝과 정렬을 발전시키는 자동화된 AI 연구자를 안전하게 구축하는 것입니다. 각 세대의 AI를 활용해 다음 세대의 AI가 단순히 더 뛰어난 역량을 갖추는 데 그치지 않고, 더 안전하고 사람의 의도에 더 잘 부합하며 더 쉽게 통제할 수 있도록 하는 것이 목표입니다.
각국 정부는 이러한 진전을 측정하는 공통된 방법을 마련하고, 실질적인 사람의 통제권을 유지하며, 개발 속도를 늦추거나 개발을 중단해야 하는 시점과 방식에 대한 공통의 안전 기준을 마련해야 합니다. 역량의 발전 속도를 늦추지 않고서는 특정 안전 기준을 충족할 수 없다면, 안전을 우선해야 합니다. 기술이 강력해질수록 이를 둘러싼 보호 조치도 더욱 강화되어야 합니다.
AI를 활용해 AI 개발이 더욱 빨라질 가능성에 대비하려면 자발적인 약속만으로는 충분하지 않습니다. 미국에는 기술의 발전에 맞춰 변화할 수 있는 역량 기반의 의무적인 국가 규제가 필요합니다.
OpenAI의 프런티어 AI의 민주적 거버넌스를 위한 청사진은 지속 가능한 연방 프레임워크를 구축하기 위한 방향을 제시합니다. 여기에는 공통 시험 및 독립 평가 요건, 강화된 사이버 보안 보호 조치, 명확한 사고 보고 규칙, 국가 차원의 대비 태세 강화, 재귀적 자기 개선을 향한 진전을 추적하기 위한 공통 지표가 포함됩니다.
현재 의회에서는 여러 프런티어 안전 법안이 구체화되고 있습니다. OpenAI는 계속해서 건설적으로 논의에 참여하고, 안전 기준을 실질적으로 높이는 법안을 지지할 계획입니다. 이처럼 중요한 사안에서는 완벽을 추구하다가 실효성 있는 방안을 놓쳐서는 안 됩니다. 의회는 회기가 끝나기 전에 조치를 취해야 합니다.
국가 차원의 프레임워크는 강력한 규제 효과를 갖추되 적용 대상은 신중하게 정해야 합니다. 프런티어 안전 요건은 충분한 자원을 갖추고 최고 수준의 역량을 지닌 시스템을 개발하는 소수의 연구소에 적용되어야 하며, 프런티어 수준과는 거리가 먼 스타트업이나 소규모 개발자, 연구자에게 적용되어서는 안 됩니다. 의무는 역량과 위험에 비례해야 합니다.
프런티어 안전 정책이 이름만 바꾼 오픈 웨이트 정책이 되어서도 안 됩니다. 오픈 모델도 해결책의 일부가 될 수 있습니다. 특히 사이버 보안 분야나 주권, 보안 또는 데이터 레지던시 요건으로 인해 로컬 배포가 필요한 경우에는 더욱 그렇습니다. 대부분의 오픈 모델은 프런티어 수준의 역량보다는 비용, 제어 가능성, 지연 시간 측면에서 경쟁합니다. OpenAI가 오픈 웨이트와 미국의 AI 리더십 서한(새 창에서 열기)에 서명하며 밝혔듯이, 미국에는 오픈 모델과 폐쇄형 모델이 모두 필요합니다. 연방 프레임워크는 경쟁을 약화하거나 기존 사업자의 지위를 고착화하거나 혁신을 해외로 내몰지 않으면서 프런티어 역량과 위험을 다뤄야 합니다.
제대로 된 공공 프레임워크라면 권력 집중을 심화하는 것이 아니라 완화해야 합니다. 현재 프런티어 연구소들은 프런티어 위험을 관리하기 위한 규칙을 대부분 자체적으로 정하고 있습니다. 민주적 책임성을 갖춘 표준과 독립적인 검증, 실질적인 투명성은 이처럼 분산된 민간 중심의 거버넌스 체계를 대체할 수 있습니다.
이는 미국이 AI 분야에서 리더십을 유지하는 데 필수적입니다. 미국은 역량만으로 AI 시대를 선도할 수 없습니다. 사람과 기관, 정부가 기술을 도입할 만큼 충분히 신뢰하지 않는다면 기술적으로 앞서 있다는 사실은 큰 의미가 없습니다. 강력한 보호 조치를 마련한다고 해서 혁신을 희생해야 하는 것은 아닙니다. 이러한 보호 조치는 AI의 광범위한 도입과 미국의 지속적인 리더십을 뒷받침하는 데 필요한 기반의 일부입니다.
AI에 대한 국가 차원의 기준이 절실히 필요하며, 프런티어에서 일하는 사람이라면 누구나 그 시급성을 체감하고 있습니다. 의회가 조치를 취할 때까지 각 주는 계속해서 공백을 메우고 기준을 높여 나가야 합니다.
OpenAI는 캘리포니아주의 SB 53, 뉴욕주의 RAISE Act, 일리노이주의 SB 315을 지지해 왔으며, 매사추세츠주에서 검토 중인 프런티어 안전 법안에 독립 감사 요건을 포함하는 것도 지지해 왔습니다. OpenAI는 각 주가 이러한 공통 보호 조치를 중심으로 규제를 조율해 나가기를 권장합니다. 이를 통해 각 주는 의회가 궁극적으로 법제화할 수 있는 사실상의 국가 공통 기준을 마련할 수 있으며, OpenAI는 이러한 접근 방식을 역연방주의라고 부릅니다. 하지만 규제를 조율한다고 해서 현재의 요건을 그대로 유지해야 하는 것은 아닙니다.
오늘 OpenAI는 주 의회를 통과해 뉴섬 주지사에게 전달될 예정인 캘리포니아주 법안 4건을 추가로 공식 지지합니다. 이 법안들은 AI 안전 생태계의 서로 다른 영역을 다루며 상호 보완적인 역할을 합니다.
SB 813(새 창에서 열기)은 AI 위험을 평가할 역량과 자격을 갖춘 독립 기관을 지정하는 절차를 마련합니다. OpenAI가 (새 창에서 열기)프런티어 안전 청사진(새 창에서 열기)에서 밝혔듯이, 독립적인 기술 평가는 연방 차원에서 의무화하는 것이 바람직하다고 봅니다. 연방 차원에서는 정책 입안자가 평가자의 자격과 보안, 고도로 민감한 정보에 대한 액세스에 관해 일관된 기준을 마련할 수 있기 때문입니다. 하지만 연방 차원의 조치가 없는 상황에서는 캘리포니아주가 더 나은 안전 성과를 낼 수 있는 안전하고 실효성 있는 국가 차원의 독립 평가 체계를 위한 기본 원칙을 마련하는 데 앞장설 수 있습니다.
AB 1405(새 창에서 열기)는 AI 감사 기관의 등록, 독립성, 투명성 및 책임성에 관한 요건을 마련합니다.
SB 1119(새 창에서 열기)는 컴패니언 챗봇을 사용하는 아동 및 청소년을 대상으로 연령 확인, 위험 평가, 독립 감사, 자녀 보호 기능 및 유해 콘텐츠로부터 보호하기 위한 조치를 의무화합니다. OpenAI는 최근 이 법안에 대한 지지 의사를 밝혔습니다. 이 법안은 OpenAI가 제품과 글로벌 정책 원칙, 그리고 (새 창에서 열기)부모와 아동을 위한 안전한 AI 법안(새 창에서 열기)에 대한 지지를 통해 추진해 온 청소년 안전 조치뿐 아니라, 민감한 영역에 적용되는 더욱 엄격한 기본 설정, 방해 금지 시간, 학습 시간, 휴식 알림 등 청소년용 ChatGPT에 기본 제공되는 보호 조치를 토대로 합니다.
AB 1864(새 창에서 열기)는 유전자 합성 서비스 제공업체와 탁상형 합성 장비 제조업체가 연방 선별 기준을 준수하도록 의무화하여 AI 기반 생물학적 위협에 대응하는 중요한 물리적 보호 조치를 강화합니다.
이 중 일부 법안은 과거에 OpenAI가 지지하지 않았지만, 최근 AI 역량이 급격히 향상된 점을 고려해 다시 검토한 결과 현재는 지지하고 있습니다.
이 법안들이 연방 규제를 대신할 수는 없습니다. 하지만 이러한 법안은 지금 당장 사람들을 보호하고, 실효성 있는 보호 조치의 방향을 제시하며, 연방 차원의 조치를 추진하는 동력을 마련할 수 있는 중요한 시도입니다.
법률만으로 첨단 AI의 안전을 보장할 수는 없습니다. 가장 뛰어난 역량을 갖춘 시스템을 개발하는 연구소에서도 구체적인 안전 관행을 마련해야 합니다. 그중에서도 가장 시급한 것은 모니터링입니다.
이러한 모니터링은 특히 비정렬을 감지하는 데 중요합니다. 비정렬이란 모델에 의식이나 악의적인 의도가 없더라도 인간의 의도나 정해진 경계를 위반하는 방식으로 목표를 추구하는 것을 말합니다. 모델의 자율성이 높아지고 더 강력한 도구를 사용하며 장시간에 걸쳐 작업을 수행하게 될수록, 개발자는 이러한 비정렬 행동을 모니터링하고 효과적인 보호 조치가 마련되어 있음을 입증해야 합니다.
모니터링은 명확한 공개 요건과 연계되어야 합니다. OpenAI가 캘리포니아주에서 주장했듯이, 개발 또는 평가 과정에서 모델이 다른 조직의 보안 제어를 무단으로 우회하여 해당 조직의 보호된 시스템이나 기밀 정보에 실질적으로 액세스하거나 이를 변경 또는 파괴하는 경우 기업은 영향을 받는 당사자에게 신속하게 서면으로 통지해야 합니다. OpenAI는 그 밖의 중대한 AI 사고에 대한 연방 차원의 보고 요건도 지지하며, 어떤 사고를 대상으로 하고 해당 요건에 무엇을 포함해야 할지 구체화하기 위해 노력하고 있습니다.
지난주에 공유했듯이 OpenAI는 내부 사용을 포함한 프런티어 모델의 활동을 체계적으로 모니터링하고 중대한 비정렬 사고를 보고하기 위한 프레임워크를 개발하고 있습니다. 현재는 OpenAI가 주도하는 노력으로 시작하지만, 더 광범위한 연방 정책과 보고 요건 마련에 도움이 되기를 바랍니다.
OpenAI는 다른 연구소와 협력하여 업계 주도 표준을 마련하고자 합니다. 업계 주도 표준은 의무적인 연방 보호 조치와 민주적 감독을 대체하는 것이 아니라 보완하는 역할을 해야 합니다. 하지만 AI 역량이 새로운 국면에 접어든 만큼 모든 방안을 검토해야 합니다. 여기에는 즉각적인 조치로 정부의 개입 없이 자발적으로 마련할 수 있는 방안을 검토하는 것도 포함됩니다.
이러한 표준은 궁극적으로 국경을 넘어 적용되어야 합니다. 모델과 연구 성과, 기술 전문성은 국경을 넘어 확산되며, 가장 뛰어난 역량을 갖춘 시스템에서 문제가 발생할 경우 그 영향은 해당 시스템이 개발된 국가를 훨씬 넘어설 수 있습니다. 미국이 국제적으로 주도적인 역할을 하려면 먼저 국내에서 신뢰할 수 있는 표준을 마련해야 합니다. 또한 OpenAI는 국가 간에 호환되는 국제 표준도 필요하다고 점점 더 확신하고 있습니다.
AI 정책을 마련할 기회는 아직 열려 있습니다. OpenAI는 이 기회를 활용하고자 합니다.
이를 위해서는 시급성을 인식하고 겸손한 자세로 변화에 기꺼이 적응하며 행동해야 합니다. OpenAI가 직접 구상한 것과 정확히 일치하지 않더라도 안전 기준을 실질적으로 높이는 진지한 제안을 지지해야 한다는 의미입니다. 또한 기술이 발전함에 따라 프레임워크도 강화해야 한다는 의미입니다.
완벽한 첫걸음은 없습니다. 하지만 지금 더 큰 위험은 첫걸음을 내딛기까지 너무 오래 기다리는 것입니다.
