AI의 다음 단계를 위한 표준 구축
OpenAI의 사명은 범용 인공지능이 모든 인류에게 혜택을 주도록 하는 것입니다. 최근 Sam Altman과 Jakub Pachocki가 설명했듯이, OpenAI는 다음 세 가지 주요 목표를 중심으로 이 사명을 위한 업무의 우선순위를 정하고 있습니다.
자동화된 AI 연구자를 구축하고, 이를 활용해 정렬 문제를 반복적으로 개선하며, 인간이 자기 개선 과정에 계속 참여할 방법을 모색함으로써 다음 AI 발전기를 헤쳐 나갑니다.
고도로 지능적인 기계가 가능하게 하는 과학 발전과 경제 성장의 혜택을 제공합니다.
모든 사람이 개인용 AGI를 활용할 수 있도록 지원합니다.
AI는 OpenAI의 연구와 엔지니어링을 가속하고 있으며, AI를 활용한 연구는 수학의 발전을 이끌어 나비에-스토크스 밀레니엄 문제에서도 성과를 냈습니다. 이러한 진전은 나머지 두 목표에도 큰 가능성을 제시하며, 전 세계에서 의학의 중요한 발견, 누구나 폭넓게 이용할 수 있는 의료 서비스, 중소기업과 개인 사업가의 경제적 역량 강화로 이어질 수 있습니다.
많은 기업과 국가에서 AI가 발전하고 있으며, 이 분야 전반의 진전은 모두가 마주하는 기회와 과제를 변화시킵니다. 역량과 정렬성을 갖춘 AI는 다른 혜택과 더불어 방어 체계를 강화하고 정렬 연구를 진전시키며, 사람들이 AI 개발의 다음 단계를 이해하고 이끌도록 지원함으로써 이 전환기를 헤쳐 나가는 데 중요한 역할을 할 것입니다.
이 전환을 안전하게 헤쳐 나가려면 정렬 연구가 이러한 역량과 보조를 맞춰야 합니다. 그래야 OpenAI와 다른 주체들이 구축하는 시스템이 인간의 가치에 맞게 정렬되고 인간의 통제 아래 유지될 수 있습니다. AI 시스템의 역량과 자율성이 커지고 AI 연구개발 자체에서 더 많은 역할을 맡게 될수록 이는 더욱 중요해집니다. AI의 지속적인 발전을 안전하고 유익하게 만들려면 정렬 연구의 진전과 더불어 연구소와 국가 전반의 개발을 이끌 공동 표준이 필요합니다.
자동화된 AI 연구에는 다양한 수준의 인간 감독이 적용될 수 있습니다. AI 시스템이 차세대 AI 개발 업무를 더 많이 담당하면서 인간이 계속 참여하더라도 재귀적 자기 개선(RSI) 과정을 점점 더 주도할 수 있습니다. 이 과정이 더 자동화되면 AI의 발전 속도가 급격히 빨라질 수 있습니다.
OpenAI는 자동화된 AI 연구가 사람들의 삶을 직접 개선하는 모델을 만들어낼 것으로 봅니다. 첨단 지능의 비용을 낮춰 전 세계 사람들이 혜택을 누리게 할 수 있습니다. 자동화된 연구는 정렬을 크게 개선하고 점점 더 강력해지는 AI에 대한 방어 체계를 구축하는 데에도 도움이 될 수 있습니다. 자동화된 AI 연구자는 자동화된 AI 안전 연구자 역할도 할 수 있습니다. 더 강력하고 정렬된 시스템은 핵심 인프라를 보호하고 위험한 AI 에이전트에 대응하며 새로운 보호 조치를 개발하는 데 도움이 될 수 있습니다.
완전히 자율적인 RSI는 현재 일어나고 있지 않으며, 안전하게 수행할 수 있다는 확신이 들기 전까지는 이를 추진해서는 안 됩니다. 추진 여부와 방식은 인간의 통제를 유지할 수 있는 능력과 혜택 및 위험에 관한 충분한 정보에 기반한 민주적 선택(새 창에서 열기)에 따라 결정되어야 합니다. 적절한 주의와 신중함 없이 RSI를 진행하면 인간이 AI 개발에 대한 실질적인 통제력을 잃고, 더 이상 이해할 수 없는 연구 과정을 감독하지 못하게 될 수 있습니다. 그렇게 되면 AI는 더 위험해지고 정렬성이 낮아져 전반적으로 사람들에게 위협이 될 수 있습니다. OpenAI가 공개한 Hugging Face 사고는 RSI의 직접적인 결과는 아니지만, 강력한 안전장치와 정렬이 없을 때 훨씬 심각해질 수 있는 위험의 단면을 보여줍니다.
프런티어 AI 개발의 안전 및 보안 관행에 관한 국제 표준은 프런티어의 발전 속도를 조절하는 데 정렬 연구 자체만큼 중요할 수 있습니다. 표준을 통해 양질의 증거에 대한 공통된 정의와 기술적 안전장치의 엄격성에 관해 합의된 기준선을 마련할 수 있습니다. 간단히 말해 표준은 “치명적인 AI 위험을 완화하는 바람직한 방식은 무엇인가?”라는 질문에 답하도록 도와줍니다.
AI 표준 및 혁신 센터(CAISI)와 같은 기존 민주적 기관, 주법, 연방 AI 체계뿐만 아니라 새로운 형태의 민관 협력(새 창에서 열기)도 여기에 기여할 수 있습니다. 그러나 AI의 개발과 배포는 여러 국가에서 이루어지고 있고 전 세계적으로 도입되고 있으며, 그 영향은 시기와 방식은 달라도 모두가 경험하게 될 가능성이 큽니다.
따라서 다음과 같은 몇 가지 핵심 과제를 해결하려면 국제적인 표준 개발 노력이 필요합니다.
분절화—국가마다 평가, 보고 요건, 사고 정의가 서로 충돌할 수 있으며, 이로 인해 증거를 비교하고 새롭게 등장하는 역량을 이해하며 국경을 넘는 위험에 대응하기가 어려워질 수 있습니다.
공동 행동—각국이 독자적으로 행동하면 어느 나라도 원하지 않는 결과가 나올 수 있습니다. RSI는 AI 연구 자체를 가속할 수 있으며, 그 속도가 진전을 이해하고 위험을 평가하며 실질적인 인간의 감독을 유지할 수 있는 공동의 역량을 넘어설 가능성이 있습니다.
역량의 불균형—프런티어 개발 활동과 관련 전문 지식은 전 세계에 고르게 분포되어 있지 않습니다. 이는 앞서 언급한 두 문제를 모두 심화합니다.
이러한 과제는 오픈 모델과 폐쇄형 모델 모두에 해당합니다.
분명히 말해 자동화된 AI 연구나 기타 첨단 역량을 추진하는 모든 AI 연구소는 자기 책임의 기본 원칙과 현행법에 따라 이를 안전하게 수행할 책임을 져야 합니다. OpenAI가 표준을 지지하는 근거는 권력 집중을 방지하고 더 나은 실질적 결과를 만들어내는 데 있습니다. 표준은 연구소 외부의 더 많은 이해관계자가 이 기술의 발전 방식에 의견을 제시할 수 있게 하고, 특정 연구소의 구체적인 관행과 관계없이 신뢰할 수 있는 명확한 원칙을 제공합니다. 또한 여러 주체가 협력해 위의 과제를 해결하면 더 나은 결과를 얻을 가능성이 큽니다.
따라서 OpenAI는 미국이 RSI를 포함한 프런티어 AI의 글로벌 기술 표준을 개발하기 위해 전 세계 국가와 협력하는 노력을 주도해야 한다고 봅니다.
이 구상은 시간이 지나면서 크게 발전하겠지만, 다음 두 가지 요소는 반드시 필요합니다.
이를 실현하는 한 가지 방법은 호주, 캐나다, 독일, 프랑스, 케냐, 일본, 한국, 싱가포르, 인도, 영국 등에 이미 설립된 AI 안전 연구소 네트워크를 활용하는 것입니다. CAISI와 각국 산업 단체를 통해 표준 수립을 촉진하되, 특히 (1) 역량 벤치마크로 평가되는 프런티어 AI 모델과 개발사, (2) RSI를 포함한 자동화된 AI 연구의 편익 및 위험 관리에 초점을 맞출 수 있습니다. 미국은 CAISI가 2024년에 설립한 첨단 AI 측정·평가·과학 국제 네트워크(새 창에서 열기)를 기반으로 여러 공공기관이 AI 측정, 평가, 과학 분야에서 협력하도록 할 수 있습니다.
이러한 노력으로 개발된 표준은 역량 측정과 평가, 위험 평가, 안전장치의 충분성을 위한 공통 기술 기반을 제공할 것입니다. 이 기술 표준은 AI 모델에 대한 허가 제도나 의무적인 출시 전 심사 또는 승인 요건이 아닙니다. 각국 정부는 이러한 표준을 자국 법체계에 반영할지 여부와 반영 방식을 결정하게 됩니다.
또한 오픈 모델과 폐쇄형 모델 개발사, 독립 기술 전문가, 학계의 의견을 수렴하여 경쟁력 있는 AI 생태계를 지원해야 합니다. 공통 표준은 투명하게 개발되어야 하며, 신규 진입자나 오픈 웨이트 개발사의 경쟁을 어렵게 만드는 등 특정 기업, 국가 또는 비즈니스 모델에 유리하게 설계되어서는 안 됩니다.
OpenAI가 제안했듯이(새 창에서 열기), 이 접근법은 각국이 국가 권한을 포기하지 않으면서 공통 기술 표준과 신뢰할 수 있는 협력 채널을 구축한 항공 및 금융 안정성 등의 분야에서 교훈을 얻을 수 있습니다. 또한 ISO(새 창에서 열기), 프런티어 모델 포럼(새 창에서 열기), 에이전트형 AI 재단(새 창에서 열기), 오픈 시큐어 AI 얼라이언스(새 창에서 열기)와 같은 기존 및 신생 표준 기구는 물론, 국제 표준을 실제 AI 평가와 연결하는 실용적인 규격을 개발 중인 Appia 재단 같은 구현 중심 단체와도 긴밀히 협력해야 합니다.
국제 AI 표준은 AI 연구와 재귀적 자기 개선의 자율성이 커지는 상황을 관리하는 데 특히 중요합니다. 구체적으로 다음에 관한 표준을 포함할 수 있습니다.
RSI 관련 AI의 진전과 AI 기업 내부에서 이루어지는 자율 연구의 규모를 평가하는 기준. 연구 가속화에 관한 OpenAI의 최근 보고서는 이러한 노력에 대한 첫 기여입니다.
어떤 자동화된 AI 연구 절차가 즉각적인 인간 검토를 촉발해야 하는지 등을 포함해 자동화된 AI 연구를 인간이 감독하는 방식.
공통 사고 심각도 등급과 보고 기준 등 정렬 및 자동화된 AI 연구 문제와 관련된 사고의 분류, 추적, 보고, 대응 방식. OpenAI의 오정렬 보고 체계는 초기 단계의 기여입니다.
이러한 표준과 더불어 전 세계 핵심 인프라 운영자와 정부가 안전한 소통 채널을 마련하여 빠르게 발전하는 프런티어 AI 안전 분야의 국가 안보 우려, 새롭게 드러나는 취약점과 위협, 모범 사례를 공유하는 것도 중요하다고 봅니다. 이 분야에서 미국과 중국이 대화하는 것은 긍정적인 진전이 될 것이며, 곧 열릴 회담은 시의적절합니다.
AI 개발 속도를 조절한다는 것은 미리 정해진 속도를 유지한다는 뜻이 아닙니다. 기술적으로는 정렬 연구와 그 연구의 적용이 역량 발전보다 앞서 나가도록 하는 것입니다. 사회적으로는 표준, 제도, 협력을 활용해 산업 네트워크와 사회적 관계, 시장의 힘을 강화하고 모두에게 이익이 되는 결과를 이끌어내는 것입니다. 최근 제안된 사이버 방어를 위한 공동 행동이 후자의 사례입니다.
미국은 AI 산업이 기술적 프런티어에 있으며 금융, 무역, 국방, 기술, 정보 시스템과 같은 핵심 분야의 글로벌 네트워크에서도 여전히 유리한 위치를 차지하고 있어 이를 주도하기에 적합합니다. 지금 주도권을 잡느냐에 따라 미국이 글로벌 AI 체계를 만들어갈지, 아니면 분열되고 불균형하며 갈등으로 얼룩진 시스템이 주변에 자리 잡는 모습을 지켜보게 될지가 결정됩니다. 또한 첨단 AI가 미국과 동맹국의 기존 네트워크를 강화할지도 여기에 달려 있습니다. 주도하지 못하면 이러한 네트워크가 약화될 수 있습니다.
지정학적 경쟁은 누가 기술적으로 앞서느냐뿐 아니라 AI의 도입과 확산을 둘러싸고도 벌어질 것입니다. 모든 기업과 사회가 이 기술에 미래를 걸기 위해 원하는 현실적인 협력과 합리적인 공통 규칙을 누가 주도하느냐가 AI의 도입과 확산을 점점 더 좌우할 수 있습니다.
실질적인 국제 협력으로 연계된 강력한 국가 거버넌스는 안전장치를 강화하고 혁신을 이어가며 AI의 혜택에 대한 폭넓은 접근성을 확보할 길을 제시합니다.
