Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Ich glaube, dass es einen pragmatischen Weg durch beide Herausforderungen gibt. Bei OpenAI gehen wir diese Fragen mit einem klaren Ziel an: KI soll Menschen mehr Kontrolle über ihr eigenes Leben geben. Mehr Freiheit, ihr Leben nach eigenen Vorstellungen zu führen. Mehr Möglichkeiten, große wie kleine Probleme zu lösen und das eigene Umfeld zu verbessern. Wir wollen weder in die Falle des blinden Optimismus noch in die des Untergangsdenkens tappen. Wenn wir uns in eines dieser Extreme ziehen lassen, hilft uns das nicht, die vor uns liegenden Herausforderungen erfolgreich zu bewältigen. Das gilt besonders in einer Zeit, in der die Welt und ihre Bevölkerung vor gewaltigen Problemen stehen, zu deren Lösung diese Technologie beitragen kann. Deshalb versuchen wir, einen Mittelweg zwischen diesen beiden Polen zu gehen.

Für uns bedeutet das drei Grundsätze.

Erstens müssen die Menschen im Mittelpunkt der Entscheidungen über KI bleiben, während deren Fähigkeiten zunehmen. Alignment ist keine abstrakte Forschungsfrage. Es geht darum, zuverlässig sicherzustellen, dass diese Systeme unter menschlicher Kontrolle bleiben, menschliche Werte widerspiegeln und den Menschen helfen, die nächsten Entwicklungsphasen zu gestalten. Wir versuchen nicht, menschliches Urteilsvermögen oder menschliche Werte zu automatisieren, und dürfen es auch nicht tun.

Zweitens müssen wissenschaftlicher Fortschritt und Wirtschaftswachstum von Menschen gestaltet werden und den Menschen zugutekommen. KI soll Forschenden zu Entdeckungen verhelfen, Ärzt:innen beim Behandeln von Patient:innen unterstützen, Lehrkräfte beim Unterrichten, Unternehmer:innen beim Aufbau von Unternehmen und Gemeinschaften beim Lösen bisher unerreichbar scheinender Probleme. Und das ist nur ein Teil der Möglichkeiten. Die Geschichte des menschlichen Fortschritts ist keine Geschichte davon, dass Werkzeuge die menschliche Handlungsfähigkeit ersetzen. Sie zeigt vielmehr, dass die richtigen Werkzeuge Menschen zu mehr befähigen. Ich glaube, dass dies weit über das hinausgehen wird, was wir heute für möglich halten.

Drittens muss diese Technologie jeden einzelnen Menschen stärken. Eine großartige Zukunft entsteht, wenn Menschen ihr Potenzial ausschöpfen und Werte für sich selbst, ihr Umfeld, ihre Länder und die Welt insgesamt schaffen. Wir gehören vielleicht zu denjenigen, die diese Technologie entwickeln, aber wir sind nicht die Helden dieser Geschichte. Unsere Aufgabe ist es, Menschen auf der ganzen Welt zu befähigen und auf die außergewöhnlichen Fähigkeiten der Menschheit zu vertrauen.

Wir verfügen inzwischen über Modelle, die bisher unbekanntes Wissen erschließen können. Denken Sie an die Fortschritte in der Mathematik. Vor drei Sommern waren unsere Modelle bei Mathematikaufgaben auf Grundschulniveau ganz passabel. Vor zwei Sommern waren sie bei Mathematikwettbewerben für weiterführende Schulen schon ziemlich gut. Im vergangenen Sommer erreichten wir bei der renommiertesten internationalen Mathematikolympiade Goldmedaillenniveau. Und erst vor wenigen Wochen hat eines unserer Modelle in diesem Sommer eines der Millennium-Probleme gelöst: die Navier-Stokes-Gleichungen.

Diese Gleichungen werden bei der Konstruktion von Flugzeugen, für Wettervorhersagen und zur Erforschung des Blutflusses eingesetzt. Wir lösen mathematische Probleme nicht als Selbstzweck. Wir wollen Menschen befähigen, neues Wissen zu erschließen und damit die Gesundheitsversorgung zu verbessern, den Lebensstandard zu erhöhen und die Entfaltungsmöglichkeiten aller Menschen weltweit zu erweitern. Es gibt noch so viel zu entdecken.

Doch es ist sehr wichtig, dass Unternehmen nicht an die Stelle demokratischer Prozesse treten.

Wenn KI demokratisch sein soll, dürfen die wichtigsten Entscheidungen nicht allein von Laboren in San Francisco getroffen werden. Sie müssen durch demokratische Prozesse und von Regierungen gestaltet werden, die den Menschen gegenüber rechenschaftspflichtig sind, denen sie dienen.

Auf internationaler Ebene wird dies Zusammenarbeit erfordern. In unserer Geschichte gab es immer wieder Zeiten, in denen konkurrierende Länder, die einander nicht immer besonders wohlgesonnen waren, angesichts einer mächtigen neuen Technologie dennoch zusammenkamen, um gemeinsame Interessen und das Gemeinwohl zu fördern. Wir sind überzeugt, dass dies wieder eine solche Zeit sein muss.

Wir brauchen einen Mechanismus für einander ergänzende nationale und internationale Standards für Frontier-KI: Standards, um Fähigkeiten zu messen, Risiken zu bewerten, die Angemessenheit von Schutzvorkehrungen zu bestimmen und eine wirksame menschliche Aufsicht zu wahren, während die Systeme autonomer werden.

Wir brauchen gemeinsame Standards, damit Länder Erkenntnisse vergleichen, die Einhaltung von Vorgaben überprüfen und eine gemeinsame Sprache sowie ein gemeinsames Verständnis der Geschehnisse entwickeln können.

Wir brauchen eine präzise und schnelle Meldung von Vorfällen sowie Protokolle für deren Klassifizierung und Meldung, damit die Welt aus Fehlern lernen kann, bevor sie zu Katastrophen werden.

Und wir brauchen sichere Kanäle zwischen Regierungen, Betreibern kritischer Infrastrukturen und technischen Fachleuten, um Informationen über neu auftretende Schwachstellen und Bedrohungen auszutauschen.

Natürlich dürfen diese Standards weder die Stellung etablierter Anbieter festschreiben noch ein Geschäftsmodell gegenüber einem anderen bevorzugen. Sie müssen Entwickler offener und geschlossener Modelle, neue Marktteilnehmer und etablierte Labore sowie nationale Zuständigkeit und internationale Zusammenarbeit unterstützen. Jede Regierung sollte selbst entscheiden, wie sie Standards in ihr Rechtssystem einbindet. Doch es wird uns allen besser gehen, wenn wir uns weltweit darauf einigen können, was belastbare Erkenntnisse, gute Schutzvorkehrungen und wirksame Aufsicht ausmacht.

Wir haben nicht auf alles eine Antwort und sind für bessere Ideen sehr offen. Wir sind bereit, mit Ihnen allen zusammenzuarbeiten und mit ganzer Kraft einen Weg nach vorn zu finden.

Wir stehen an einem Scheideweg. Der eine Weg führt in eine Welt, in der Macht konzentriert ist, Entscheidungen undurchsichtig sind und die Menschen das Gefühl haben, dass ihnen die wichtigste Technologie ihres Lebens aufgezwungen wird. Der andere Weg führt in eine Welt, in der KI den Menschen dient, weil diese über demokratische Institutionen mitentscheiden, wie sie sich entwickeln soll, und ihre Entwicklung lenken; in der wissenschaftlicher Fortschritt das Leben der Menschen tatsächlich verbessert; in der mehr Menschen an der Zukunft teilhaben können; und in der diese Technologie Einzelnen und Gemeinschaften weiterhin mehr Möglichkeiten gibt, ihr Leben nach eigenen Vorstellungen zu gestalten. Diese Zukunft steht für verwirklichtes Potenzial, Begeisterung und Staunen.

Und wir glauben, dass es sich lohnt, diese Zukunft aufzubauen. Vielen Dank.