Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Ik geloof dat er voor beide kwesties een pragmatische oplossing bestaat. Bij OpenAI benaderen we deze vragen met een duidelijk doel: AI moet mensen meer zeggenschap over hun eigen leven geven. Meer vrijheid om te leven zoals ze dat zelf willen. Meer mogelijkheden om grote en kleine problemen op te lossen en hun gemeenschap te versterken. We willen niet in de val van blind optimisme lopen. Maar evenmin willen we in de val van doemdenken lopen. Als we ons door een van beide uitersten laten meeslepen, helpt dat ons niet om de uitdagingen waarvoor we staan met succes aan te pakken. Zeker niet nu de wereld en haar inwoners voor enorme problemen staan die deze technologie kan helpen oplossen. Daarom proberen we tussen deze twee uitersten een middenweg te bewandelen.

Voor ons berust die op drie principes.

Ten eerste moeten mensen centraal blijven staan in de besluitvorming over AI naarmate AI meer kan. Afstemming is geen abstract onderzoeksvraagstuk. Het gaat erom te waarborgen dat deze systemen op betrouwbare wijze onder menselijke controle blijven, menselijke waarden weerspiegelen en mensen helpen richting te geven aan de volgende ontwikkelingsfasen. We proberen menselijk beoordelingsvermogen of menselijke waarden niet te automatiseren, en dat mogen we ook niet doen.

Ten tweede moeten de voordelen van wetenschappelijke vooruitgang en economische groei door en voor mensen worden gerealiseerd. AI moet onderzoekers helpen ontdekkingen te doen, artsen om patiënten te behandelen, docenten om les te geven en ondernemers om bedrijven te starten. Ook moet AI gemeenschappen helpen problemen op te lossen die onoverkomelijk leken, en nog veel meer. De rode draad in de menselijke vooruitgang is niet dat hulpmiddelen het menselijke handelingsvermogen vervangen. Het is juist dat de juiste hulpmiddelen mensen tot meer in staat stellen, en ik geloof dat dit veel verder zal gaan dan wij nu voor mogelijk houden.

Ten derde moet deze technologie individuele mensen meer mogelijkheden geven. Een geweldige toekomst ontstaat wanneer mensen hun potentieel verwezenlijken en waarde creëren voor zichzelf, hun gemeenschap, hun land en de wereld als geheel. Wij behoren misschien tot de bouwers van deze technologie, maar we zijn niet de helden van dit verhaal. Het is onze rol om mensen overal ter wereld in staat te stellen hun talenten te benutten en te vertrouwen op de magie van het menselijke kunnen.

We hebben nu modellen die kennis kunnen ontdekken waarover we nooit eerder beschikten. Kijk bijvoorbeeld naar de vooruitgang die we in de wiskunde hebben gezien. Drie zomers geleden waren onze modellen redelijk goed in wiskunde op basisschoolniveau. Twee zomers geleden presteerden ze behoorlijk goed bij wiskundewedstrijden voor middelbare scholieren. Afgelopen zomer bereikten we het niveau van een gouden medaille in de meest prestigieuze internationale wiskundewedstrijd. En slechts enkele weken geleden, deze zomer, loste een van onze modellen een van de millenniumprijsproblemen op: de Navier-Stokes-vergelijkingen.

Deze vergelijkingen worden gebruikt voor vliegtuigontwerp, weersvoorspellingen en onderzoek naar de bloedstroom. We lossen wiskundige problemen niet op omwille van de wiskunde zelf, maar om mensen in staat te stellen nieuwe kennis te ontdekken en die te gebruiken om de gezondheidszorg te verbeteren, de levensstandaard te verhogen en overal ter wereld ieders mogelijkheden te vergroten. Er valt nog ontzettend veel te ontdekken.

Maar het is van groot belang dat bedrijven niet in de plaats treden van het democratische proces.

Als AI democratisch moet zijn, mogen de belangrijkste beslissingen niet alleen door laboratoria in San Francisco worden genomen. Ze moeten vorm krijgen via democratische processen en door overheden die verantwoording afleggen aan de mensen die zij dienen.

Op internationaal niveau vereist dit samenwerking. In de loop van de geschiedenis zijn landen die met elkaar concurreren en elkaar niet altijd even graag mogen, toch samengekomen vanwege gedeelde belangen en het algemeen welzijn wanneer zij met een krachtige nieuwe technologie werden geconfronteerd. Wij vinden dat dit opnieuw zo'n moment moet zijn.

We hebben een mechanisme nodig voor elkaar aanvullende nationale en internationale normen voor grensverleggende AI: normen om capaciteiten te meten, risico's te beoordelen, vast te stellen of veiligheidsmaatregelen toereikend zijn en betekenisvol menselijk toezicht te behouden naarmate systemen autonomer worden.

We hebben gemeenschappelijke normen nodig, zodat landen bewijsmateriaal kunnen vergelijken, naleving kunnen verifiëren en dezelfde taal en hetzelfde inzicht hebben in wat er gebeurt.

We hebben nauwkeurige en snelle melding van incidenten nodig, evenals protocollen voor classificatie en rapportage, zodat de wereld van fouten kan leren voordat die uitmonden in rampen.

Ook hebben we beveiligde kanalen nodig waarlangs overheden, beheerders van kritieke infrastructuur en technische experts nieuwe kwetsbaarheden en dreigingen kunnen delen.

Uiteraard mogen deze normen de positie van gevestigde partijen niet bestendigen en het ene bedrijfsmodel niet boven het andere bevoordelen. Ze moeten ruimte bieden aan ontwikkelaars van open en gesloten modellen, nieuwkomers en gevestigde laboratoria, nationale bevoegdheden en internationale samenwerking. Elke overheid moet zelf bepalen hoe zij de normen in haar eigen rechtsstelsel opneemt. Maar we zijn allemaal beter af als we het er wereldwijd over eens kunnen worden wat deugdelijk bewijs, goede veiligheidsmaatregelen en goed toezicht inhouden.

We hebben niet alle antwoorden en staan volledig open voor betere ideeën. We staan klaar om met u allen samen te werken en alles op alles te zetten om de beste weg vooruit te vinden.

We staan op een kruispunt. Het ene pad leidt naar een wereld waarin macht is geconcentreerd, besluitvorming ondoorzichtig is en mensen het gevoel hebben dat de belangrijkste technologie van hun leven hun wordt opgelegd. Het andere pad leidt naar een wereld waarin AI ten dienste staat van mensen, omdat zij via democratische instellingen helpen bepalen hoe AI zich moet ontwikkelen en welke richting die ontwikkeling uitgaat; waarin wetenschappelijke vooruitgang het dagelijks leven verbetert; waarin meer mensen aan de toekomst kunnen deelnemen; en waarin deze technologie individuen en gemeenschappen steeds meer zeggenschap geeft over hoe zij willen leven. Dit is een toekomst van verwezenlijkt potentieel, enthousiasme en verwondering.

En wij vinden dat deze toekomst het waard is om op te bouwen. Hartelijk dank.