Estàndards per a la pròxima fase de la IA

La nostra missió és garantir que la intel·ligència artificial general beneficiï tota la humanitat. Com va exposar recentment Sam Altman i també Jakub Pachocki, orientem la nostra feina cap a aquesta missió amb tres objectius principals:

1. Gestionar la pròxima etapa del progrés de la IA mitjançant la creació d'un investigador automatitzat d'IA, treballant-hi de manera iterativa per resoldre el problema de l'alineament i trobant maneres perquè les persones continuïn formant part del cicle d'automillora.

2. Fer arribar els beneficis del progrés científic i del creixement econòmic que fan possibles les màquines molt intel·ligents.

3. Donar a cada persona més capacitat d'acció amb una AGI personal.

La IA està accelerant la nostra pròpia recerca i enginyeria, i la recerca potenciada per la IA ha propiciat avenços en matemàtiques, entre els quals hi ha el problema del mil·lenni de Navier-Stokes. Aquest progrés és molt prometedor per als nostres altres dos objectius, que podrien donar lloc a importants descobriments mèdics, a una atenció sanitària àmpliament accessible i a més oportunitats econòmiques per a petites empreses i emprenedors individuals d'arreu.

La IA avança en moltes empreses i països, i el progrés en tot el sector transforma les oportunitats i els reptes que afrontem. A més dels seus altres beneficis, una IA capaç i alineada serà una part important de com gestionem aquesta transició: reforçarà les defenses, farà avançar la recerca sobre alineament i ajudarà les persones a entendre i orientar les pròximes etapes del desenvolupament de la IA.

Per gestionar aquesta transició amb seguretat, cal que la recerca sobre alineament avanci al mateix ritme que aquestes capacitats, de manera que els sistemes que construïm nosaltres i altres actors continuïn alineats amb els valors humans i sota control humà. Això esdevé cada cop més important a mesura que els sistemes d'IA guanyen capacitat i autonomia, també quan assumeixen una part més gran de la recerca i el desenvolupament de la mateixa IA. Perquè el progrés continuat de la IA sigui segur i beneficiós, caldran tant avenços en la recerca sobre alineament com estàndards compartits que orientin el desenvolupament entre laboratoris i països.

La recerca automatitzada sobre IA pot comportar diversos graus de supervisió humana. A mesura que els sistemes d'IA assumeixen més tasques del desenvolupament de les generacions successives d'IA, poden impulsar cada cop més un procés d'automillora recursiva (RSI), encara que les persones hi continuïn participant. A mesura que aquest procés s'automatitzi, el ritme del progrés de la IA es podria accelerar ràpidament.

Creiem que la recerca automatitzada sobre IA generarà models que milloraran directament la vida de les persones. Pot reduir el cost de la intel·ligència avançada perquè se'n beneficiïn persones d'arreu del món. La recerca automatitzada també ens podria ajudar a millorar substancialment l'alineament i a crear defenses contra una IA cada cop més capaç: un investigador automatitzat d'IA també pot ser un investigador automatitzat de la seguretat de la IA. Uns sistemes més capaços i alineats podrien ajudar a protegir infraestructures crítiques, defensar-nos d'agents d'IA perillosos i desenvolupar noves mesures de protecció.

Actualment no hi ha cap RSI plenament autònoma, i no hauríem d'intentar assolir-la fins que es pugui fer de manera segura. La decisió de continuar i la manera de fer-ho han de dependre de la nostra capacitat de preservar el control humà i de decisions democràtiques informades⁠(s'obre en una finestra nova) sobre els beneficis i els riscos. Sense la cura i la prudència adequades, la RSI podria fer que els humans perdessin el control efectiu sobre el desenvolupament de la IA i no poguessin supervisar processos de recerca que ja no entenen. A partir d'aquí, la IA podria esdevenir més perillosa, estar menys alineada i representar, en conjunt, un perill per a les persones. L'incident de Hugging Face que vam revelar, tot i no ser un resultat directe de la RSI, ofereix un avançament dels tipus de riscos que podrien agreujar-se molt sense salvaguardes i mesures d'alineament sòlides.

Els estàndards internacionals sobre pràctiques de seguretat i protecció en el desenvolupament de la IA d'avantguarda poden ser tan importants per regular-ne el ritme com la mateixa recerca sobre alineament. Els estàndards poden establir definicions compartides sobre què constitueixen proves d'alta qualitat i uns nivells mínims consensuats per al rigor de les salvaguardes tècniques. En resum, ens ajuden a respondre la pregunta: "Quin és un bon enfocament per mitigar el risc catastròfic de la IA?"

Les institucions democràtiques existents, com el Centre d'Estàndards i Innovació en IA (CAISI), les lleis estatals i un marc federal per a la IA, poden contribuir-hi, igual que les noves formes de col·laboració publicoprivada⁠(s'obre en una finestra nova). Tanmateix, el desenvolupament i el desplegament de la IA tenen lloc en diversos països, la seva adopció és mundial i és probable que, tard o d'hora, tothom en noti els efectes d'alguna manera.

Per tant, calen iniciatives internacionals per desenvolupar estàndards que resolguin alguns reptes clau:

• Fragmentació: les avaluacions, els requisits de notificació i les definicions d'incident dels diferents països podrien entrar en conflicte, cosa que dificultaria comparar proves, entendre les capacitats emergents i respondre a riscos transfronterers.

• Acció col·lectiva: si cada país actua de manera independent, es poden produir resultats que cap país no vol. La RSI pot accelerar la mateixa recerca sobre IA, fins al punt de superar potencialment la nostra capacitat col·lectiva d'entendre els avenços, avaluar els riscos i mantenir una supervisió humana efectiva.

• Capacitat desigual: l'activitat de desenvolupament d'avantguarda i els coneixements especialitzats relacionats no estan distribuïts de manera uniforme arreu del món. Això accentua tots dos problemes.

Aquests reptes afecten tant els models oberts com els tancats.

Per deixar-ho clar, qualsevol laboratori d'IA que dugui a terme recerca automatitzada sobre IA o desenvolupi altres capacitats avançades ha d'assumir la responsabilitat de fer-ho amb seguretat, d'acord amb els principis bàsics de responsabilitat pròpia i la legislació vigent. La nostra justificació dels estàndards es basa a evitar la concentració de poder i a obtenir millors resultats pràctics. Els estàndards permeten que més parts interessades externes als laboratoris participin en la manera com ha d'evolucionar aquesta tecnologia i ofereixen un conjunt visible de principis fiables, independentment de les pràctiques concretes de cada laboratori. I probablement obtindrem millors resultats si les parts col·laboren per afrontar els reptes anteriors.

Per això creiem que els Estats Units haurien de liderar una iniciativa de col·laboració amb països d'arreu del món per desenvolupar estàndards tècnics mundials per a la IA d'avantguarda, inclosa la RSI.

Tot i que esperem que aquest concepte evolucioni substancialment amb el temps, dos aspectes seran essencials.

Una manera d'aconseguir-ho seria aprofitar la xarxa emergent d'instituts de seguretat de la IA —com els ja establerts a Austràlia, el Canadà, Alemanya, França, Kenya, el Japó, Corea, Singapur, l'Índia i el Regne Unit— per facilitar l'establiment d'estàndards mitjançant el CAISI i els organismes sectorials nacionals, centrant-se específicament en: (1) els models i desenvolupadors d'IA d'avantguarda, segons indicadors de capacitat; i (2) la gestió de beneficis i riscos de la recerca automatitzada sobre IA, inclosa la RSI. Els Estats Units poden aprofitar la creació, per part del CAISI, de la Xarxa Internacional de Mesurament, Avaluació i Ciència de la IA Avançada⁠(s'obre en una finestra nova) el 2024, que reuneix institucions públiques per cooperar en el mesurament, l'avaluació i la ciència de la IA.

Els estàndards desenvolupats per aquesta iniciativa proporcionarien una base tècnica comuna per mesurar i avaluar capacitats, valorar riscos i determinar si les salvaguardes són suficients. Aquests estàndards tècnics no serien llicències, revisions obligatòries prèvies al llançament ni requisits d'aprovació per als models d'IA. Els governs nacionals decidirien si incorporen aquests estàndards als seus ordenaments jurídics i de quina manera.

Aquesta tasca també hauria d'afavorir un ecosistema competitiu d'IA mitjançant la consulta amb desenvolupadors de models oberts i tancats, experts tècnics independents i el món acadèmic. Els estàndards comuns s'han de desenvolupar amb transparència i dissenyar-se perquè no afavoreixin empreses, països o models de negoci concrets, incloent-hi evitar que dificultin la competència de nous actors o desenvolupadors de models amb pesos oberts.

Com ja hem proposat⁠(s'obre en una finestra nova), aquest enfocament pot extreure lliçons d'àmbits com l'aviació i l'estabilitat financera, en què els països han desenvolupat estàndards tècnics comuns i canals de cooperació fiables sense renunciar a l'autoritat nacional. També hauria de col·laborar estretament amb organismes d'estandardització consolidats i més recents, com ara l'ISO⁠(s'obre en una finestra nova), el Fòrum de Models d'Avantguarda⁠(s'obre en una finestra nova), la Fundació per a la IA Agentiva⁠(s'obre en una finestra nova) i l'Aliança per una IA Oberta i Segura⁠(s'obre en una finestra nova), així com amb organitzacions centrades en l'aplicació, com la Fundació Appia, que desenvolupa especificacions pràctiques per connectar els estàndards internacionals amb avaluacions de la IA en contextos reals.

Els estàndards internacionals d'IA seran especialment crucials per gestionar l'autonomia creixent en la recerca sobre IA i l'automillora recursiva. Concretament, podrien incloure estàndards per a:

• L'avaluació del progrés de la IA rellevant per a la RSI i del volum de recerca autònoma que es duu a terme dins d'una empresa d'IA. El nostre informe recent sobre l'acceleració de la recerca és una primera contribució a aquesta iniciativa.

• La supervisió humana de la recerca automatitzada sobre IA, incloent-hi quins tipus de processos automatitzats de recerca sobre IA haurien d'activar una revisió humana immediata.

• La classificació, el seguiment, la notificació i la resposta als incidents relacionats amb l'alineament i la recerca automatitzada sobre IA, com ara nivells comuns de gravetat i llindars de notificació. El nostre marc de notificació de problemes d'alineament n'és una primera contribució.

A més d'aquests estàndards, creiem que serà important que els operadors d'infraestructures crítiques i els governs d'arreu del món estableixin canals de comunicació segurs per compartir preocupacions de seguretat nacional, vulnerabilitats i amenaces emergents i bones pràctiques en l'àmbit, en ràpida evolució, de la seguretat de la IA d'avantguarda. El diàleg entre els Estats Units i la Xina en aquests àmbits seria un pas positiu, i les pròximes converses arriben en un moment oportú.

Regular el ritme de desenvolupament de la IA no significa mantenir una velocitat predeterminada. Des del punt de vista tècnic, significa garantir que la recerca sobre alineament i la seva aplicació es mantinguin per davant de les capacitats. Des del punt de vista social, consisteix a utilitzar estàndards, institucions i col·laboració per reforçar les xarxes industrials, les relacions socials i les forces del mercat, a fi d'obtenir resultats de suma positiva. La crida recent a l'acció col·lectiva en ciberdefensa n'és un exemple.

Els Estats Units estan ben posicionats per liderar perquè la seva indústria de la IA es troba a l'avantguarda tècnica i el país encara ocupa una posició privilegiada dins la xarxa mundial en àmbits crítics com les finances, el comerç, la defensa, la tecnologia i els sistemes d'informació. Assumir ara el lideratge determinarà si els Estats Units donen forma al marc mundial de la IA o veuen com al seu voltant s'imposa un sistema fragmentat, desigual i marcat pels conflictes. Això també determinarà si la IA avançada reforça les xarxes que els Estats Units i els seus aliats ja tenen; no liderar-les podria afeblir-les.

La competència geopolítica no se centrarà només en qui porta l'avantatge tècnic, sinó també en l'adopció i la difusió de la IA. Cada vegada més, això pot dependre de qui impulsi una cooperació realista i unes regles de joc sensates que empreses i societats d'arreu voldran tenir si han d'apostar el seu futur per aquesta tecnologia.

Una governança nacional sòlida, connectada mitjançant una cooperació internacional pràctica, ofereix una via cap a salvaguardes més robustes, una innovació continuada i un accés ampli als beneficis de la IA.