Sam Altman’s remarks at the United Nations Security Council

Today, OpenAI CEO Sam Altman addressed the United Nations Security Council on artificial intelligence. He discussed AI’s potential to expand opportunity, the importance of keeping powerful systems under human control, and the need for international cooperation on AI safety.

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable. And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

Cred că există o cale pragmatică printre aceste două extreme. La OpenAI, abordăm aceste întrebări având un obiectiv clar: AI ar trebui să le ofere oamenilor mai multă putere asupra propriilor vieți. Mai multă libertate de a trăi așa cum își doresc. Mai multă capacitate de a rezolva probleme, mari sau mici, și de a-și îmbunătăți comunitățile. Nu vrem să cădem în capcana optimismului orb. Dar nici în capcana fatalismului. Dacă ne lăsăm atrași de oricare dintre aceste extreme, nu vom putea găsi soluții bune la provocările din fața noastră, mai ales într-o perioadă în care lumea și oamenii ei se confruntă cu probleme uriașe pe care această tehnologie poate contribui la rezolvarea lor. De aceea, încercăm să urmăm calea de mijloc dintre acești doi poli.

Pentru noi, aceasta înseamnă trei principii.

În primul rând, pe măsură ce AI devine mai capabilă, oamenii trebuie să rămână în centrul deciziilor luate cu ajutorul ei. Alinierea nu este o problemă abstractă de cercetare. Ea presupune să ne asigurăm că aceste sisteme rămân în mod fiabil sub control uman, reflectă valorile umane și îi ajută pe oameni să orienteze următoarele etape ale dezvoltării. Nu încercăm și nici nu trebuie să automatizăm judecata sau valorile umane.

În al doilea rând, beneficiile progresului științific și ale creșterii economice trebuie create de oameni și pentru oameni. AI ar trebui să-i ajute pe cercetători să facă descoperiri, pe medici să trateze pacienți, pe profesori să-și educe elevii, pe antreprenori să înființeze companii, iar comunitățile să rezolve probleme care păreau imposibile și multe altele. Firul neîntrerupt al progresului uman nu arată că instrumentele înlocuiesc capacitatea oamenilor de a acționa. Arată că instrumentele potrivite îi fac pe oameni mai capabili, iar eu cred că acest lucru va merge mult mai departe decât ne imaginăm că este posibil.

În al treilea rând, această tehnologie trebuie să-i ajute pe oameni să devină mai puternici ca indivizi. Un viitor extraordinar va fi construit de oameni care își valorifică potențialul și creează valoare pentru ei înșiși, pentru comunitățile și țările lor și pentru întreaga lume. Poate că suntem printre cei care construiesc această tehnologie, dar nu noi suntem eroii acestei povești. Rolul nostru este să le oferim oportunități oamenilor din întreaga lume și să avem încredere în magia talentului și a capacităților umane.

Avem acum modele capabile să descopere cunoștințe la care nu am avut niciodată acces. Gândește-te la progresele pe care le-am văzut în matematică. Acum trei veri, modelele noastre se descurcau acceptabil la matematica de școală primară. Acum două veri, se descurcau destul de bine la concursurile de matematică pentru liceeni. Vara trecută, am atins nivelul unei medalii de aur la cea mai prestigioasă competiție internațională de matematică. Iar în urmă cu doar câteva săptămâni, în această vară, unul dintre modelele noastre a rezolvat una dintre Problemele Premiului Mileniului: ecuațiile Navier–Stokes.

Aceste ecuații sunt folosite la proiectarea aeronavelor, prognoza meteo și studiul fluxului sanguin. Nu rezolvăm probleme de matematică doar de dragul matematicii, ci pentru a le permite oamenilor să descopere cunoștințe noi și să le folosească pentru a îmbunătăți asistența medicală, a ridica nivelul de trai și a extinde potențialul tuturor, oriunde în lume. Mai sunt încă atât de multe de descoperit.

Dar este foarte important ca firmele să nu se substituie procesului democratic.

Dacă AI trebuie să fie democratică, cele mai importante decizii nu pot fi luate doar de laboratoarele din San Francisco. Ele trebuie conturate prin procese democratice și de guverne care răspund în fața oamenilor pe care îi servesc.

La nivel internațional, acest lucru va necesita cooperare. De-a lungul istoriei, au existat momente când țări aflate în competiție și care nu se simpatizau prea mult s-au unit totuși în numele intereselor comune și al binelui colectiv, în fața unei noi tehnologii puternice. Credem că acesta trebuie să fie unul dintre acele momente.

Avem nevoie de un mecanism pentru standarde naționale și internaționale complementare privind AI de vârf: standarde pentru măsurarea capacităților, evaluarea riscurilor, stabilirea caracterului suficient al măsurilor de protecție și păstrarea unei supravegheri umane semnificative pe măsură ce sistemele devin mai autonome.

Avem nevoie de standarde comune, astfel încât țările să poată compara dovezile, verifica respectarea cerințelor și avea un limbaj și o înțelegere comune asupra a ceea ce se întâmplă.

Avem nevoie de raportarea rapidă și precisă a incidentelor, precum și de protocoale de clasificare și raportare, pentru ca lumea să poată învăța din eșecuri înainte ca acestea să devină catastrofe.

Și avem nevoie de canale securizate prin care guvernele, operatorii infrastructurilor critice și experții tehnici să comunice vulnerabilitățile emergente și noile amenințări.

Evident, aceste standarde nu ar trebui să consolideze poziția actorilor consacrați și nici să favorizeze un model de afaceri în detrimentul altuia. Ele trebuie să sprijine dezvoltatorii de modele deschise și închise, noii actori și laboratoarele consacrate, autoritatea națională și cooperarea internațională. Fiecare guvern ar trebui să decidă cum să integreze standardele în propriul sistem juridic. Dar tuturor ne va fi mai bine dacă putem conveni, la nivel global, ce înseamnă dovezi solide, măsuri de protecție adecvate și o bună supraveghere.

Nu avem toate răspunsurile și suntem foarte deschiși la orice idee mai bună. Suntem gata să colaborăm cu tine și să facem tot posibilul pentru a găsi calea de urmat.

Ne aflăm la o răscruce. O cale duce spre o lume în care puterea este concentrată, deciziile sunt opace, iar oamenii simt că cea mai importantă tehnologie din viața lor este ceva ce li se impune. Cealaltă cale duce spre o lume în care AI lucrează în beneficiul oamenilor, deoarece aceștia contribuie, prin instituții democratice, la deciziile privind dezvoltarea și orientarea ei; în care progresul științific îmbunătățește vieți reale; în care mai mulți oameni pot participa la construirea viitorului; și în care această tehnologie continuă să le ofere oamenilor și comunităților mai multă putere de a trăi așa cum aleg. Este un viitor al potențialului valorificat, al entuziasmului și al uimirii.

Și este viitorul pe care credem că merită să-l construim. Îți mulțumim foarte mult.