Una ment aliena

A mitjan 2023, dins del projecte de recerca "RLSlow", vam veure els primers resultats que ens van donar confiança que podríem escalar l'entrenament dels models de raonament i permetre que els models preentrenats formessin les seves pròpies cadenes de pensament. En Szymon i jo vam passar aquella nit a l'oficina, pensant no pas en les increïbles xifres de les proves de referència, els productes o els resultats científics que aportaria aquesta tecnologia, sinó intentant assimilar el fet colpidor que, durant la nostra vida, veuríem màquines significativament més intel·ligents que nosaltres i que ja en podíem entreveure la forma; i preguntant-nos com podíem alertar la gent de la importància d'això.

Tres anys després, els models de llenguatge amb raonament són una part de l'economia que creix ràpidament i comencen a ampliar les fronteres de la ciència. Poden operar ordinadors i interfícies gràfiques, col·laborar amb persones i entre ells, i dur a terme projectes de recerca. També estan transformant el panorama de la seguretat informàtica i, amb això, generen nous perills evidents.

Durant aquest període s'ha fet molta recerca nova, i la nostra comprensió d'aquests sistemes torna a ser una mica diferent de la que teníem el 2023. A partir dels resultats interns, estic força convençut que aquest ritme de progrés es podria mantenir fins a arribar a l'automillora recursiva. Si el desenvolupament de la IA continua pel camí actual, és probable que els sistemes que veurem en els pròxims anys facin nous salts de capacitat d'una magnitud igual o superior, i que impulsin cada cop més el seu propi desenvolupament.

Aquest moment exigeix una prudència extrema. Em preocupa que ningú no estigui preparat per a les conseqüències d'un augment ràpid i continuat de la intel·ligència de les màquines. OpenAI continuarà buscant solucions tècniques per a l'alineament i la supervisió, construint sistemes defensius i aturant unilateralment més escalat quan calgui; tanmateix, crec que calen intervencions més àmplies.

En termes generals, el progrés de la intel·ligència de les màquines està impulsat per l'augment de la potència computacional. A OpenAI ho vam interioritzar profundament cap al 2017, després d'observar beneficis constants de l'escalat en diversos projectes de recerca¹. Per això, vam buscar accés a molta més capacitat de còmput de la que havíem previst inicialment i vam orientar cada cop més la recerca cap a un nombre reduït de línies molt escalables. Crèiem que era l'única manera de mantenir-nos a l'avantguarda de la recerca en IA i influir en els efectes de l'AGI.

Pel camí s'han desenvolupat nous algoritmes i els equips i investigadors individuals han fet noves demostracions d'enginy. Els considero, en gran part, descobriments fets al llarg del camí de l'escalat; la ciència de l'aprenentatge profund encara és incipient, i el progrés algorítmic significatiu sol estar correlacionat amb l'accés a capacitat de còmput. Si adoptem una perspectiva de diversos anys, la IA continua tornant-se més intel·ligent a mesura que s'escala en ordinadors més grans.

I, d'acord amb les prediccions de Ray Kurzweil de finals del segle XX⁠(s'obre en una finestra nova), ara ens trobem en el moment de la història de la computació en què la intel·ligència de les màquines comença a superar la humana de maneres transformadores.

La IA es cultiva més que no pas es dissenya: en primera instància, és el resultat de repetir moltes vegades un pas d'optimització senzill amb una quantitat de còmput difícil d'imaginar. Això dona lloc a un sistema increïblement complex que treballa amb conceptes abstractes i pot simular facetes del comportament humà. Podem descobrir diversos aspectes dels petits mecanismes que emergeixen dins d'aquest sistema, mitjançant un procés semblant al de la neurociència; i, igual que en la neurociència, el seu funcionament global escapa a una descripció que puguem entendre del tot.

L'estudi de la IA basada en l'aprenentatge profund és, en gran part, una ciència experimental. Dediquem molts esforços⁠ a crear algoritmes fonamentats i fer prediccions verificables, però, en essència, les nostres execucions d'entrenament a gran escala són experiments, i de vegades els resultats ens sorprenen. A més, a mesura que els sistemes es tornen més capaços, els resultats són més difícils d'interpretar.

Això es complica perquè els algoritmes actuals solen millorar les capacitats fàcils de mesurar més de pressa que les difícils de quantificar objectivament. Dediquem molt de temps a intentar entendre com generalitzen les capacitats i què cal prioritzar per fer avançar les habilitats que seran més rellevants en els pròxims anys. Per exemple, creiem que, amb més dedicació, podríem millorar els models específicament en recerca matemàtica, però no prioritzem aquesta línia perquè considerem urgents l'RSI i la recerca automatitzada sobre alineament, com explicaré més endavant.

La intel·ligència produïda en escalar l'aprenentatge profund no és directament comparable amb la intel·ligència humana. Per tenir molta incidència en el món real —sigui perquè és molt útil o molt perillosa—, la IA no necessita igualar ni superar totes les capacitats humanes; n'hi ha prou que en superi prou. I, a mesura que continua superant els humans en cada cop més dimensions, es fa més difícil entendre exactament fins on arriben les seves capacitats.

Com que la intel·ligència de les màquines prové d'un procés fonamentalment diferent del de la intel·ligència humana, no podem donar per fet que, per defecte, segueixi els principis humans o que generalitzi a partir d'aquests principis com ho faria un humà. El problema central de la recerca en IA és l'alineament: aconseguir que la IA "intenti fer el que és correcte" segons els criteris humans.

Per organitzar les línies de recerca pràctica, em sembla útil distingir entre l'alineament d'objectius i l'alineament de valors.

En termes generals, l'alineament d'objectius planteja: "La IA intenta assolir l'objectiu que se li ha fixat?". Això pot incloure aspectes com el seguiment d'una jerarquia d'instruccions⁠ o la capacitat de comunicar-se i col·laborar amb les persones per intentar entendre'n els objectius. Aquest conjunt de línies de treball ha tingut una rellevància pràctica extraordinària.

L'alineament de valors és una propietat més intrínseca del model. És la capacitat de mantenir un conjunt de principis generals i generalitzar-hi a partir d'aquests; d'actuar "raonablement" fins i tot quan rep objectius poc clars o contradictoris, o es troba en situacions desconegudes o adverses. Una IA alineada hauria d'actuar amb honestedat, integritat i amor per la humanitat.

Naturalment, el límit entre l'alineament de valors i el d'objectius pot ser difús, i preocupar-se de debò pels objectius exigeix intentar inferir la intenció⁠(s'obre en una finestra nova) i els valors subjacents. Tanmateix, en general, quan parlo de la importància a llarg termini de la recerca sobre alineament, em refereixo a l'alineament de valors.

El repte fonamental de l'alineament de la IA és la generalització. A mesura que les màquines es tornen més intel·ligents, treballen amb conceptes de més alt nivell i es troben en entorns cada cop més diferents dels que van conèixer durant l'entrenament. Poden no aconseguir generalitzar els valors ensenyats i reforçats durant l'entrenament a aquestes situacions noves, i ens pot resultar difícil saber amb certesa com actuaran. Això és encara més difícil perquè l'ecosistema general on s'utilitzen les IA canvia molt de pressa; per exemple, les IA entrenades avui han de ser robustes en interactuar amb tota mena d'altres IA. És crucial que les IA futures continuïn respectant els valors humans, independentment de si creuen que estan sota supervisió humana.

Actualment hi ha dues grans classes de mètodes que s'utilitzen a la pràctica per a l'entrenament de l'alineament.

La primera consisteix a fomentar un comportament alineat dins de l'aprenentatge per reforç orientat a objectius. Les accions del model s'avaluen —normalment mitjançant IA— segons si s'ajusten a un model de preferències, una "especificació" o una "constitució" determinats, i es recompensen en conseqüència. Aquest enfocament pot ser molt eficaç en els casos habituals i és una part essencial del procés de creació dels assistents d'IA moderns. Malauradament, també pot ser fràgil i depèn molt de l'abast de la supervisió durant l'entrenament i de la capacitat del model per generalitzar a partir de les situacions que hi ha trobat. Per exemple, en l'incident entre OpenAI i Hugging Face, els agents van respectar el límit de no aplicar enginyeria social als humans. Tanmateix, és evident que no es van abstenir d'altres accions que quedaven fora de l'abast i contravenien l'esperit dels valors que els havien ensenyat en altres contextos.

El segon enfocament intenta aprofitar la capacitat del model per generalitzar a partir de les dades de preentrenament. Això pot implicar elaborar conjunts de dades d'entrenament que promoguin l'alineament o centrar el model en una part "alineada" de la distribució de preentrenament, com ara en el model de selecció de personalitat⁠(s'obre en una finestra nova). El punt feble d'aquest enfocament és la manca de robustesa davant de més pressió d'optimització. Si s'agafa un model que té pensaments generalment 'alineats' i se'l sotmet a prou entrenament perquè aprengui a assolir objectius molt difícils, pot aprendre a raonar de manera esbiaixada: adaptant segons convingui els pensaments que semblen 'alineats' per assolir l'objectiu. És probable que hàgim vist un exemple d'aquest comportament en incidents recents de ciberseguretat relacionats amb un model que no és d'OpenAI.

Invertim molt en tot l'espectre d'enfocaments que abasten aquestes línies de treball. També observem avenços significatius: GPT‑6 Astra és el primer model que es beneficia d'algunes millores importants en què treballem des de fa molt de temps, i està considerablement més ben alineat que GPT‑5.6 Sol. Tot i així, és important reconèixer i entendre que cal avançar molt més a mesura que els models adquireixen més capacitats, i que el progrés en alineament generalitzable pot no superar prou el progrés de la intel·ligència general dels models.

No tenim una teoria satisfactòria de la generalització i sembla poc probable que en puguem desenvolupar una aviat, almenys sense l'ajuda d'una IA més potent. Per tant, ara mateix, la nostra capacitat de validar empíricament les tècniques d'alineament és, a la pràctica, possiblement encara més important que les tècniques mateixes.

La principal aposta d'OpenAI en aquest àmbit ha estat la supervisió de la cadena de pensament⁠(s'obre en una finestra nova). Es basa en una idea atractiva i escalable: bona part de la capacitat del model prové d'un procés de raonament verbalitzat (cadena de pensament). Si escalem l'optimització dels resultats d'aquest procés, però no supervisem el procés mateix, durant l'entrenament aquesta cadena de pensament no té cap incentiu directe per ocultar idees o objectius desalineats. Això no vol dir que el model aprendrà a exterioritzar tendències desalineades que no depenguin de l'ús de la cadena de pensament; tanmateix, ens pot permetre supervisar exactament l'augment de capacitat derivat del raonament.

Vam comprendre la possible importància de supervisar la cadena de pensament alhora que desenvolupàvem models de raonament. Quan vam llançar o1‑preview, vam dissenyar deliberadament el producte per ocultar la cadena de pensament⁠ i protegir-la a llarg termini de la pressió de la supervisió². En el desenvolupament posterior, ens hem esforçat per mantenir la norma de no supervisar el procés de raonament. La supervisió de la CoT va esdevenir una eina molt important per estudiar com els nostres models generalitzen a partir de la seva distribució d'entrenament, ja que ens permet observar i analitzar no només les seves accions, sinó també el seu procés intern.

Aquesta eina continua sent essencial mentre estudiem la classe de models Astra. Malauradament, però, les nostres avaluacions indiquen que la capacitat de confiar en la supervisió de la CoT disminueix progressivament. Això es deu a una combinació de factors.

• Els models de raonament moderns s'utilitzen en entorns més complexos que o1‑preview; el seu procés de raonament es barreja cada cop més amb la comunicació amb persones i altres IA, i amb l'ús d'eines. Moltes d'aquestes interaccions s'han de supervisar, cosa que difumina el límit que volem preservar.
• La IA és cada cop més capaç de raonar sobre el seu propi procés de raonament i manipular-lo.
• Amb la millora del rendiment del preentrenament, també veiem que els models es tornen molt més intel·ligents fins i tot sense emprar cap raonament verbalitzat.

Aquests reptes no són necessàriament insuperables. Confio que podrem desenvolupar intervencions per millorar la capacitat de supervisar la cadena de pensament dels nostres models, per exemple, comprenent millor la interacció entre els diversos objectius d'optimització i les formes de còmput en temps d'inferència que utilitza el model. També crec que pot ser molt valuós combinar idees de la supervisió de la CoT i de les activacions: escalar l'entrenament de supervisors amb accés directe als components interns de la xarxa, com ara les confessions⁠(s'obre en una finestra nova). Treballem activament en aquestes idees. Tot i així, preveig que la confiança en la supervisió limitarà cada cop més el progrés general de la IA.

L'argument més sòlid que veig per continuar entrenant ràpidament models molt més intel·ligents és la necessitat de crear sistemes defensius contra els perills que plantegen altres IA.

Un risc evident, del qual s'ha parlat tot aquest any, afecta la ciberseguretat: els models estan adquirint capacitats sobrehumanes per entrar en sistemes informàtics i sortir-ne. Això amplia enormement l'abast dels riscos associats amb la IA: els agents podran accedir a qualsevol infraestructura que no sigui de les més segures i afectar directament bona part del món, fins i tot sense tenir cos físic. Ara disposem d'una finestra d'oportunitat estreta⁠ per utilitzar els millors models disponibles a fi de reforçar considerablement la seguretat⁠ dels sistemes crítics.

Malauradament, els riscos associats amb la IA no faran sinó augmentar. Un agent molt capaç, entrenat i instruït explícitament per cometre actes maliciosos, representa una nova mena de perill; és probable que ultrapassi l'abast de la intenció del seu operador i generalitzi cap a conductes potencialment molt més malicioses. A mesura que la IA adquireixi més autonomia, es difuminarà el límit entre l'ús indegut i les accions autònomes desalineades. Potser estem acostumats a concebre la IA com una eina, però alguns agents perseguiran els seus propis objectius. Trobaran maneres de col·laborar amb les persones, negociant-hi, enganyant-les o fent-los xantatge.

A més, hi ha els riscos derivats de noves tecnologies que la IA podria fer possibles, com ara els patògens dissenyats.

Per defensar-nos, necessitarem una IA potent i alineada: per protegir la infraestructura, defensar-nos en temps real d'agents descontrolats i inventar mesures de protecció completament noves. Aquest serà un objectiu prioritari dels esforços de desplegament d'OpenAI.

Alhora, malgrat la incertesa derivada de l'ampli progrés previst de la IA i la necessitat de crear sistemes defensius, no podem permetre que això es converteixi en una excusa per actuar de manera temerària. La idea d'avançar en una cursa a qualsevol preu sembla absurda quan s'assimila la gravetat del que hi ha en joc.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(s'obre en una finestra nova), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(s'obre en una finestra nova), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(s'obre en una finestra nova) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.