Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.
Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.
We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.
We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.
The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.
The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.
AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.
Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.
These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.
On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.
That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.
I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.
First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.
The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.
We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.
So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.
저는 이 두 가지 문제를 모두 헤쳐 나갈 실용적인 길이 있다고 믿습니다. OpenAI는 명확한 목표를 바탕으로 이러한 문제에 접근합니다. AI는 사람들이 자신의 삶을 더 주도할 수 있도록 해야 합니다. 원하는 방식으로 살아갈 자유를 더 많이 주어야 합니다. 크고 작은 문제를 해결하고 공동체를 발전시킬 역량을 더욱 키워 주어야 합니다. 저희는 맹목적 낙관주의의 함정에 빠지고 싶지 않습니다. 그렇다고 파국론의 함정에 빠지고 싶지도 않습니다. 어느 한 극단에 휩쓸려도 눈앞의 과제를 성공적으로 풀 수 없습니다. 특히 지금은 전 세계와 인류가 이 기술로 해결할 수 있는 막대한 과제에 직면한 때입니다. 그래서 저희는 이 두 극단 사이에서 중도의 길을 걸으려 합니다.
저희에게 이는 세 가지 원칙을 의미합니다.
첫째, AI의 역량이 향상되더라도 AI와 관련된 의사 결정의 중심에는 사람이 있어야 합니다. 정렬은 추상적인 연구 문제가 아닙니다. 이러한 시스템이 언제나 인간의 통제 아래 안정적으로 머물고 인간의 가치를 반영하며, 사람들이 다음 개발 단계를 이끌도록 하는 실질적인 작업입니다. 저희는 인간의 판단이나 가치를 자동화하려 하지 않으며, 그렇게 해서도 안 됩니다.
둘째, 과학의 진보와 경제 성장의 혜택은 사람들이 만들어 내고 사람들이 누려야 합니다. AI는 연구자의 발견, 의사의 환자 치료, 교사의 학생 교육, 기업가의 창업을 돕고, 공동체가 해결하기 어렵다고 여겼던 문제를 풀도록 지원하는 등 훨씬 더 많은 일을 해야 합니다. 인류 발전의 역사는 도구가 인간의 주체성을 대체해 온 역사가 아닙니다. 올바른 도구가 사람의 역량을 키워 온 역사이며, 저는 그 가능성이 지금 우리가 상상하는 것보다 훨씬 더 커질 것이라고 믿습니다.
셋째, 이 기술은 개개인에게 힘을 실어 주어야 합니다. 사람들이 잠재력을 실현하고 자신과 공동체, 국가, 더 넓은 세계를 위한 가치를 창출할 때 더 나은 미래가 열릴 것입니다. 저희가 이 기술을 만드는 주체 중 하나일 수는 있지만, 이 이야기의 주인공은 아닙니다. 저희의 역할은 전 세계 사람들이 역량을 펼칠 수 있게 하고, 인류가 지닌 능력과 재능의 놀라운 힘을 믿는 것입니다.
이제 저희에게는 전에는 알지 못했던 지식을 발견할 수 있는 모델이 있습니다. 수학 분야에서 이룬 발전을 생각해 보십시오. 3년 전 여름, 저희 모델은 초등학교 수학을 어느 정도 풀었습니다. 2년 전 여름에는 고등학교 수학 경시대회 문제를 꽤 잘 풀었습니다. 지난여름에는 세계 최고 권위의 국제 수학 경시대회에서 금메달 수준에 도달했습니다. 그리고 불과 몇 주 전인 올여름, 저희 모델 하나가 밀레니엄 문제 중 하나인 나비에-스토크스 방정식을 풀었습니다.
이 방정식은 항공기 설계와 일기 예보, 혈류 연구에 사용됩니다. 저희가 수학 문제를 푸는 것은 그 자체가 목적이 아닙니다. 사람들이 새로운 지식을 발견하고 이를 활용해 의료를 개선하고 생활 수준을 높이며, 전 세계 모든 사람의 잠재력을 확장하도록 돕기 위해서입니다. 아직 발견해야 할 것이 너무나 많습니다.
그러나 기업이 민주적 절차를 대신하지 않는 것이 매우 중요합니다.
AI가 민주적으로 운영되려면 가장 중요한 결정을 샌프란시스코의 연구소들만 내려서는 안 됩니다. 그러한 결정은 민주적 절차와 국민에게 책임을 지는 정부를 통해 이루어져야 합니다.
국제적 차원에서는 협력이 필요합니다. 역사를 돌아보면 서로 경쟁하고 사이도 그리 좋지 않은 국가들이 강력한 신기술의 등장에 맞서 공동의 이해와 공익을 위해 힘을 합친 때가 있었습니다. 지금이 바로 그런 때여야 한다고 믿습니다.
국가와 국제사회의 프런티어 AI 표준이 상호 보완적으로 작동할 수 있는 체계가 필요합니다. 역량을 측정하고 위험을 평가하며 안전장치가 충분한지 판단하고, 시스템의 자율성이 높아지는 가운데 실질적인 인간의 감독을 유지하기 위한 표준이 필요합니다.
각국이 증거를 비교하고 준수 여부를 검증하며, 현재 벌어지는 일을 공통의 언어로 논의하고 함께 이해할 수 있도록 공동 표준이 필요합니다.
실패가 재앙으로 번지기 전에 전 세계가 교훈을 얻을 수 있도록 정확하고 신속한 사고 보고 체계와 분류·보고 절차가 필요합니다.
또한 새롭게 드러나는 취약점과 위협을 공유할 수 있도록 정부, 핵심 인프라 운영자, 기술 전문가 사이에 안전한 소통 채널이 필요합니다.
물론 이러한 표준이 기존 사업자의 지위를 고착하거나 특정 비즈니스 모델에 유리하게 작용해서는 안 됩니다. 개방형·폐쇄형 모델 개발사, 신규 진입자와 기존 연구소, 국가의 권한과 국제 협력을 모두 뒷받침해야 합니다. 각국 정부는 이러한 표준을 자국 법체계에 어떻게 반영할지 스스로 결정해야 합니다. 그러나 국제사회에서 신뢰할 만한 증거와 안전장치, 감독이 어떤 모습이어야 하는지 합의할 수 있다면 우리 모두에게 도움이 될 것입니다.
저희가 모든 답을 알고 있는 것은 아니며, 더 나은 아이디어가 있다면 언제든 열린 마음으로 경청하겠습니다. 여러분 모두와 협력하며 앞으로 나아갈 길을 찾기 위해 최선을 다할 준비가 되어 있습니다.
우리는 갈림길에 서 있습니다. 한쪽 길의 끝에는 권력이 집중되고 의사 결정은 불투명하며, 사람들이 생애 가장 중요한 기술을 자신이 주도하는 것이 아니라 일방적으로 강요받는다고 느끼는 세상이 있습니다. 다른 길의 끝에는 민주적 제도를 통해 사람들이 AI의 발전 방향과 활용 방식을 함께 결정하여 AI가 사람을 위해 일하는 세상, 과학의 진보가 실제 삶을 개선하는 세상, 더 많은 사람이 미래를 만들어 가는 데 참여하는 세상, 그리고 이 기술이 개인과 공동체에 자신이 원하는 삶을 살 더 큰 힘을 계속 부여하는 세상이 있습니다. 잠재력이 실현되고 설렘과 경이로움이 가득한 미래입니다.
저희는 바로 그런 미래를 만들어 갈 가치가 있다고 믿습니다. 대단히 감사합니다.
