Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Úgy gondolom, mindkét kérdésre létezik gyakorlatias megoldás. Az OpenAI-nál világos célt követve közelítjük meg ezeket a kérdéseket: az MI-nek nagyobb befolyást kell adnia az embereknek saját életük alakítására. Nagyobb szabadságot ahhoz, hogy úgy éljenek, ahogyan szeretnének. Több lehetőséget kisebb-nagyobb problémáik megoldására és közösségeik jobbá tételére. Nem szeretnénk a vak optimizmus csapdájába esni. De a végletes borúlátás csapdáját is el akarjuk kerülni. Ha bármelyik szélsőség magával ragad bennünket, nem tudunk sikeresen megbirkózni az előttünk álló kihívásokkal – különösen most, amikor a világ és lakói olyan hatalmas problémákkal néznek szembe, amelyek megoldásában ez a technológia segítséget nyújthat. Ezért e két véglet között, a középutat igyekszünk járni.

Ez számunkra három alapelvet jelent.

Először is: ahogy az MI képességei fejlődnek, továbbra is az embereknek kell az MI-vel kapcsolatos döntések középpontjában állniuk. Az összehangolás nem elvont kutatási kérdés. Azt kell biztosítanunk, hogy ezek a rendszerek megbízhatóan emberi irányítás alatt maradjanak, az emberi értékeket tükrözzék, és segítsenek az embereknek irányt szabni a fejlesztés következő szakaszainak. Nem akarjuk – és nem is szabad – automatizálnunk az emberi ítélőképességet vagy az emberi értékeket.

Másodszor: a tudományos fejlődés és a gazdasági növekedés eredményeit az embereknek kell létrehozniuk, és azoknak az embereket kell szolgálniuk. Az MI-nek segítenie kell a kutatókat a felfedezésekben, az orvosokat a betegek kezelésében, a tanárokat az oktatásban, a vállalkozókat a cégalapításban, a közösségeket pedig a korábban megoldhatatlannak tűnő problémák leküzdésében – és még sok minden másban. Az emberiség fejlődésének története nem arról szól, hogy az eszközök átveszik az emberektől a cselekvés lehetőségét. Hanem arról, hogy a megfelelő eszközök többre teszik képessé az embereket – és úgy vélem, ez sokkal messzebbre vezet majd, mint ma elképzelhetőnek tartjuk.

Harmadszor: ennek a technológiának egyéni szinten is erőt és lehetőséget kell adnia az embereknek. Egy nagyszerű jövő abból születik majd, hogy az emberek kibontakoztatják a bennük rejlő lehetőségeket, és értéket teremtenek maguknak, közösségeiknek, országaiknak és az egész világnak. Lehet, hogy mi is e technológia megalkotói közé tartozunk, de nem mi vagyunk ennek a történetnek a hősei. A mi feladatunk az, hogy lehetőséget adjunk az embereknek szerte a világon, és bízzunk az emberi képességek és tehetség varázslatos erejében.

Ma már vannak olyan modelljeink, amelyek korábban ismeretlen tudás feltárására képesek. Gondoljunk csak a matematikában elért fejlődésre. Három nyárral ezelőtt modelljeink elfogadhatóan teljesítettek az általános iskolai matematikában. Két nyárral ezelőtt már egész jól szerepeltek a középiskolai matematikaversenyeken. Tavaly nyáron elértük az aranyérmes szintet a legrangosabb nemzetközi matematikaversenyen. Idén nyáron pedig, mindössze néhány hete, egyik modellünk megoldotta a millenniumi problémák egyikét, a Navier–Stokes-egyenleteket.

Ezeket az egyenleteket repülőgépek tervezéséhez, időjárás-előrejelzéshez és a véráramlás vizsgálatához használják. Nem önmagáért oldunk meg matematikai problémákat, hanem azért, hogy segítsünk az embereknek új ismereteket felfedezni és azokat az egészségügy javítására, az életszínvonal emelésére, valamint minden ember lehetőségeinek kibontakoztatására használni szerte a világon. Még rengeteg felfedeznivaló vár ránk.

Rendkívül fontos azonban, hogy a vállalatok ne lépjenek a demokratikus folyamatok helyébe.

Ha demokratikus MI-t akarunk, a legfontosabb döntéseket nem hozhatják meg egyedül San Franciscó-i laboratóriumok. Ezeket demokratikus folyamatoknak, valamint az általuk szolgált embereknek felelős kormányoknak kell alakítaniuk.

Nemzetközi szinten ehhez együttműködésre lesz szükség. A történelem során többször előfordult, hogy az egymással versengő, egymást nem mindig különösebben kedvelő országok egy nagy erejű új technológia megjelenésekor közös érdekeik és a közjó érdekében mégis összefogtak. Úgy véljük, most is ennek kell történnie.

Olyan mechanizmusra van szükségünk, amely összehangolja az élvonalbeli MI-re vonatkozó nemzeti és nemzetközi szabványokat: a képességek mérését, a kockázatok felmérését és a védőintézkedések megfelelőségének meghatározását szolgáló szabványokat, valamint az érdemi emberi felügyelet megőrzését, ahogy a rendszerek egyre önállóbbá válnak.

Közös szabványokra van szükség, hogy az országok összevethessék a bizonyítékokat, ellenőrizhessék a megfelelést, és közös nyelven, közös értelmezés alapján beszélhessenek a történésekről.

Pontos és gyors incidensjelentésre, valamint osztályozási és jelentéstételi protokollokra van szükségünk, hogy a világ még azelőtt tanulhasson a hibákból, hogy azok katasztrófához vezetnének.

Biztonságos csatornákra is szükség van a kormányok, a kritikus infrastruktúrák üzemeltetői és a műszaki szakértők között, hogy megoszthassák egymással az újonnan felmerülő sebezhetőségeket és fenyegetéseket.

Ezek a szabványok természetesen nem betonozhatják be a jelenlegi szereplők helyzetét, és nem részesíthetnek előnyben egyetlen üzleti modellt sem. Egyaránt támogatniuk kell a nyílt és zárt modellek fejlesztőit, az új szereplőket és a már működő laboratóriumokat, továbbá a nemzeti hatásköröket és a nemzetközi együttműködést. Minden kormánynak magának kell eldöntenie, hogyan építi be a szabványokat saját jogrendszerébe. Mindannyian jobban járunk azonban, ha világszerte egyetértésre jutunk abban, mit tekintünk megbízható bizonyítéknak, megfelelő védőintézkedésnek és hatékony felügyeletnek.

Nincs mindenre válaszunk, és teljesen nyitottak vagyunk minden jobb ötletre. Készen állunk arra, hogy mindannyiukkal együttműködve, minden tőlünk telhetőt megtegyünk a helyes út megtalálásáért.

Válaszúthoz érkeztünk. Az egyik út egy olyan világba vezet, ahol a hatalom kevesek kezében összpontosul, a döntések átláthatatlanok, az emberek pedig úgy érzik, hogy életük legfontosabb technológiai változása nélkülük, velük történik. A másik út egy olyan világba vezet, ahol az MI az embereket szolgálja, mert demokratikus intézményeiken keresztül ők is részt vesznek a fejlesztéséről és irányításáról szóló döntésekben; ahol a tudományos fejlődés valóban jobbá teszi az életet; ahol többen alakíthatják a jövőt; és ahol ez a technológia tovább növeli az egyének és közösségek lehetőségét arra, hogy saját választásuk szerint éljenek. Ebben a jövőben valóra válhatnak a lehetőségeink, és izgalommal, csodálattal tekinthetünk előre.

És úgy gondoljuk, ezért a jövőért érdemes dolgoznunk. Köszönöm szépen.