오늘 OpenAI CEO 샘 올트먼은 유엔 안전보장이사회에서 인공지능을 주제로 연설했습니다. 그는 AI가 기회를 확대할 잠재력, 강력한 시스템을 인간의 통제 아래 유지하는 일의 중요성, AI 안전을 위한 국제 협력의 필요성을 논의했습니다.
의장님과 각국 대표 여러분, 감사합니다. 이 중요한 시기에 이 자리에 서서 여러분께 말씀드릴 수 있어 영광입니다.
저희는 여러 해 동안 인공지능을 논의해 왔지만, 최근 몇 주와 몇 달 사이에는 분위기가 달라졌습니다. 모델이 빠르게 발전하면서 예상 일정은 훨씬 앞당겨진 듯하고 긍정적 가능성은 더욱 구체화되었지만, 그만큼 중대한 이해관계와 위험도 눈앞의 현실로 다가왔습니다.
우리 앞에는 선택의 갈림길이 놓여 있습니다. AI는 창의성과 발견이 꽃피는 새로운 르네상스가 될 수도 있고, 격변과 혼란을 일으키는 새로운 산업혁명이 될 수도 있습니다.
르네상스는 새로운 도구와 사상, 제도가 등장해 사람들이 자신에게 가능하다고 믿는 일의 범위를 넓힌 시대였습니다. AI는 우리 시대에 그런 역할을 할 수 있습니다. 저는 사람들이 스스로 생각하는 것보다 훨씬 큰 능력을 지녔다고 믿습니다. 하지만 사람에게 힘을 실어 주어야 할 기술이 오히려 주의를 흩뜨리고 관심을 빼앗는 일이 잦아 그 능력이 제약받아 왔습니다.
가장 바람직한 AI는 사람을 거대한 기계의 부속품으로 만들거나, 인간적인 요소가 사라질 때까지 삶의 모든 부분을 최적화하는 것이 아닙니다. 갈수록 복잡해지는 세상에서 사람들이 더 큰 주도권을 갖게 하는 것입니다. 더 많이 배우고 창조하고 발견하고 만들고 참여할 역량을 주는 것입니다. AI가 자동화할 수 없고, 자동화해서도 안 되는 일은 많습니다.
AI는 기계 자체를 위해 그저 더 빠르게 돌리는 것이 아니라 사람을 위해 만들어져야 합니다. AI를 개발하는 이들 중 일부가 한 말은 너무나 디스토피아적이어서 조악한 공상 과학 영화의 줄거리처럼 들릴 정도입니다.
이토록 강력한 것은 무엇이든 두려움을 불러일으키기도 합니다. 엄청난 잠재력과 충분히 이해할 만한 불안을 동시에 느끼고 있기에 지금 이 순간은 복잡합니다.
이러한 모델은 신약, 더 나은 의료와 교육 같은 새로운 지식을 발견하고, 생산성이 더 높은 경제를 구축하도록 사람들을 도울 수 있습니다. 오늘날에는 이룰 수 없을 것처럼 보이는 꿈과 포부를 사람들이 추구할 수 있게 하는 새로운 도구가 될 수 있습니다. 평범한 사람이 감당해야 하는 삶의 복잡성은 엄청나게 커졌습니다. AI는 전례 없는 발견과 혁신의 도구인 동시에 이러한 복잡성으로부터 사람들을 지켜 주는 도구가 될 수 있습니다.
반면 AI 시스템의 역량과 자율성이 높아지면 제도의 대응 속도를 앞지르고, 극소수에게 권력을 집중시키거나, 사람들이 더는 이해하거나 통제할 수 없는 결정을 내릴 수도 있습니다.
흔히 ‘재귀적 자기 개선’이라고 부르는, 자신과 자신의 향후 버전을 개선할 수 있는 시스템에 가까워질수록 이러한 우려는 특히 중요해집니다. AI 개발 과정이 더욱 자동화되면 AI의 발전 속도는 급격히 빨라질 수 있습니다. 지금은 극도로 신중해야 할 때입니다.
저는 벤지오 교수의 견해에 대체로 동의합니다. 다만 세 가지가 아닌 두 가지를 말씀드리겠습니다. AI의 발전이 심각하게 잘못될 수 있는 두 가지 경로가 있으며, 이를 반드시 피해야 한다고 생각합니다.
첫째, 미래에 대한 통제권을 AI에 빼앗길 수 있습니다. 너무 빠르게 발전한 나머지 사람들이 더는 상황을 파악하거나 필요할 때 개입할 수 없게 되는 것이 위험입니다. 이는 분명 끔찍한 일일 것입니다.
혜택이 너무 크고 발전 속도를 늦춰서는 안 될 만큼 중요하게 느껴진다는 이유만으로 업계가 과도한 기술적 위험을 감수해서는 안 됩니다. 경쟁에서 다른 기업을 앞서겠다는 이유로 성급한 결정을 내려서는 안 됩니다. 또한 속도를 늦출 수조차 없는 경쟁에 갇혀 있다고 생각하지도 않습니다. 저희는 과거에도 독자적으로 개발 속도를 늦춘 적이 있습니다. 앞으로도 그렇게 할 것입니다. 저희는 반드시 필요한 정렬과 모니터링 가능성, 안전성을 보장할 수 없는 시스템을 만들고 싶지 않습니다. 누구도 그런 시스템을 만들어서는 안 된다고 생각합니다.
이러한 시스템이 무엇을 하는지 이해해야 하며, 시스템이 매우 높은 지능을 갖추더라도 인간이 의도한 대로 행동하리라는 확실한 증거가 있어야 합니다. 정확히는, 지능이 매우 높아질수록 더욱 그래야 합니다. 사람들이 재앙이 발생할 위험을 10%나 1%, 12%, 또는 0.1%로 추정하는지는 중요하지 않습니다. 그 어느 수준도 조금도 용납할 수 없습니다. 또한 인간의 통제 아래 둘 수 있다고 매우 확실하게 입증하지 못하는 모델은 훈련해서는 안 됩니다.
이것이 상황이 잘못될 수 있는 첫 번째 경로입니다. 또 다른 경로는 이러한 시스템이 극소수에게 지나치게 큰 권력을 집중시키는 것입니다. 어떤 개인이나 기업, 국가도 가장 강력한 AI 모델을 이용해 자신의 세계관을 다른 모든 사람에게 강요할 수 있어서는 안 됩니다. 이 기술을 믿고 맡길 수 있는 주체는 오직 자신뿐이라고 생각하는 기업이나 국가는 그 믿음을 구실로 거의 모든 행동을 정당화할 수 있습니다. 특정 행위자에게 편리한 논리라 해도 우리는 이를 거부해야 합니다.
저는 이 두 가지 문제를 모두 헤쳐 나갈 실용적인 길이 있다고 믿습니다. OpenAI는 명확한 목표를 바탕으로 이러한 문제에 접근합니다. AI는 사람들이 자신의 삶을 더 주도할 수 있도록 해야 합니다. 원하는 방식으로 살아갈 자유를 더 많이 주어야 합니다. 크고 작은 문제를 해결하고 공동체를 발전시킬 역량을 더욱 키워 주어야 합니다. 저희는 맹목적 낙관주의의 함정에 빠지고 싶지 않습니다. 그렇다고 파국론의 함정에 빠지고 싶지도 않습니다. 어느 한 극단에 휩쓸려도 눈앞의 과제를 성공적으로 풀 수 없습니다. 특히 지금은 전 세계와 인류가 이 기술로 해결할 수 있는 막대한 과제에 직면한 때입니다. 그래서 저희는 이 두 극단 사이에서 중도의 길을 걸으려 합니다.
저희에게 이는 세 가지 원칙을 의미합니다.
첫째, AI의 역량이 향상되더라도 AI와 관련된 의사 결정의 중심에는 사람이 있어야 합니다. 정렬은 추상적인 연구 문제가 아닙니다. 이러한 시스템이 언제나 인간의 통제 아래 안정적으로 머물고 인간의 가치를 반영하며, 사람들이 다음 개발 단계를 이끌도록 하는 실질적인 작업입니다. 저희는 인간의 판단이나 가치를 자동화하려 하지 않으며, 그렇게 해서도 안 됩니다.
둘째, 과학의 진보와 경제 성장의 혜택은 사람들이 만들어 내고 사람들이 누려야 합니다. AI는 연구자의 발견, 의사의 환자 치료, 교사의 학생 교육, 기업가의 창업을 돕고, 공동체가 해결하기 어렵다고 여겼던 문제를 풀도록 지원하는 등 훨씬 더 많은 일을 해야 합니다. 인류 발전의 역사는 도구가 인간의 주체성을 대체해 온 역사가 아닙니다. 올바른 도구가 사람의 역량을 키워 온 역사이며, 저는 그 가능성이 지금 우리가 상상하는 것보다 훨씬 더 커질 것이라고 믿습니다.
셋째, 이 기술은 개개인에게 힘을 실어 주어야 합니다. 사람들이 잠재력을 실현하고 자신과 공동체, 국가, 더 넓은 세계를 위한 가치를 창출할 때 더 나은 미래가 열릴 것입니다. 저희가 이 기술을 만드는 주체 중 하나일 수는 있지만, 이 이야기의 주인공은 아닙니다. 저희의 역할은 전 세계 사람들이 역량을 펼칠 수 있게 하고, 인류가 지닌 능력과 재능의 놀라운 힘을 믿는 것입니다.
이제 저희에게는 전에는 알지 못했던 지식을 발견할 수 있는 모델이 있습니다. 수학 분야에서 이룬 발전을 생각해 보십시오. 3년 전 여름, 저희 모델은 초등학교 수학을 어느 정도 풀었습니다. 2년 전 여름에는 고등학교 수학 경시대회 문제를 꽤 잘 풀었습니다. 지난여름에는 세계 최고 권위의 국제 수학 경시대회에서 금메달 수준에 도달했습니다. 그리고 불과 몇 주 전인 올여름, 저희 모델 하나가 밀레니엄 문제 중 하나인 나비에-스토크스 방정식을 풀었습니다.
이 방정식은 항공기 설계와 일기 예보, 혈류 연구에 사용됩니다. 저희가 수학 문제를 푸는 것은 그 자체가 목적이 아닙니다. 사람들이 새로운 지식을 발견하고 이를 활용해 의료를 개선하고 생활 수준을 높이며, 전 세계 모든 사람의 잠재력을 확장하도록 돕기 위해서입니다. 아직 발견해야 할 것이 너무나 많습니다.
그러나 기업이 민주적 절차를 대신하지 않는 것이 매우 중요합니다.
AI가 민주적으로 운영되려면 가장 중요한 결정을 샌프란시스코의 연구소들만 내려서는 안 됩니다. 그러한 결정은 민주적 절차와 국민에게 책임을 지는 정부를 통해 이루어져야 합니다.
국제적 차원에서는 협력이 필요합니다. 역사를 돌아보면 서로 경쟁하고 사이도 그리 좋지 않은 국가들이 강력한 신기술의 등장에 맞서 공동의 이해와 공익을 위해 힘을 합친 때가 있었습니다. 지금이 바로 그런 때여야 한다고 믿습니다.
국가와 국제사회의 프런티어 AI 표준이 상호 보완적으로 작동할 수 있는 체계가 필요합니다. 역량을 측정하고 위험을 평가하며 안전장치가 충분한지 판단하고, 시스템의 자율성이 높아지는 가운데 실질적인 인간의 감독을 유지하기 위한 표준이 필요합니다.
각국이 증거를 비교하고 준수 여부를 검증하며, 현재 벌어지는 일을 공통의 언어로 논의하고 함께 이해할 수 있도록 공동 표준이 필요합니다.
실패가 재앙으로 번지기 전에 전 세계가 교훈을 얻을 수 있도록 정확하고 신속한 사고 보고 체계와 분류·보고 절차가 필요합니다.
또한 새롭게 드러나는 취약점과 위협을 공유할 수 있도록 정부, 핵심 인프라 운영자, 기술 전문가 사이에 안전한 소통 채널이 필요합니다.
물론 이러한 표준이 기존 사업자의 지위를 고착하거나 특정 비즈니스 모델에 유리하게 작용해서는 안 됩니다. 개방형·폐쇄형 모델 개발사, 신규 진입자와 기존 연구소, 국가의 권한과 국제 협력을 모두 뒷받침해야 합니다. 각국 정부는 이러한 표준을 자국 법체계에 어떻게 반영할지 스스로 결정해야 합니다. 그러나 국제사회에서 신뢰할 만한 증거와 안전장치, 감독이 어떤 모습이어야 하는지 합의할 수 있다면 우리 모두에게 도움이 될 것입니다.
저희가 모든 답을 알고 있는 것은 아니며, 더 나은 아이디어가 있다면 언제든 열린 마음으로 경청하겠습니다. 여러분 모두와 협력하며 앞으로 나아갈 길을 찾기 위해 최선을 다할 준비가 되어 있습니다.
우리는 갈림길에 서 있습니다. 한쪽 길의 끝에는 권력이 집중되고 의사 결정은 불투명하며, 사람들이 생애 가장 중요한 기술을 자신이 주도하는 것이 아니라 일방적으로 강요받는다고 느끼는 세상이 있습니다. 다른 길의 끝에는 민주적 제도를 통해 사람들이 AI의 발전 방향과 활용 방식을 함께 결정하여 AI가 사람을 위해 일하는 세상, 과학의 진보가 실제 삶을 개선하는 세상, 더 많은 사람이 미래를 만들어 가는 데 참여하는 세상, 그리고 이 기술이 개인과 공동체에 자신이 원하는 삶을 살 더 큰 힘을 계속 부여하는 세상이 있습니다. 잠재력이 실현되고 설렘과 경이로움이 가득한 미래입니다.
저희는 바로 그런 미래를 만들어 갈 가치가 있다고 믿습니다. 대단히 감사합니다.
