La finestra per a la política d'IA és oberta. Hem d'actuar.

Hem encetat una nova etapa en les capacitats de la IA, i això exigeix una nova etapa en la política d'IA. Cap empresa, sector o govern no pot afrontar aquest repte tot sol. Hem d'afrontar aquest moment prioritzant l'acció efectiva per sobre de la perfecció normativa.

Això és el que fem:

1. Impulsem requisits nacionals obligatoris de seguretat de la IA. Volem treballar amb el Congrés en una regulació nacional obligatòria de la seguretat de la IA, basada en les capacitats.

2. Mantenim l'impuls als estats. Fins que el Congrés no actuï, continuarem donant suport a la legislació estatal que reforci un ecosistema més ampli de seguretat de la IA. Avui anunciem el nostre suport a quatre projectes de llei de Califòrnia: l'SB 813 sobre la infraestructura general per a avaluacions de seguretat independents, l'AB 1405 sobre els estàndards per als auditors d'IA, l'SB 1119 sobre les proteccions per als joves i l'AB 1864 sobre les salvaguardes contra les amenaces biològiques facilitades per la IA.

3. Impulsem estàndards liderats pel sector. Treballarem amb altres laboratoris d'avantguarda per impulsar estàndards d'IA d'avantguarda i crear ara una iniciativa voluntària, amb suport governamental o sense.

4. Construir estàndards globals. Advocarem per enfocaments internacionals compatibles per mesurar les capacitats, gestionar els riscos, preservar el control humà i determinar quan i com cal alentir o aturar el desenvolupament, fins i tot si això implica alentir l'avenç de les capacitats dels models.

El nostre científic en cap, Jakub Pachocki, va escriure⁠ fa poc que el ràpid auge de la intel·ligència de les màquines, inclòs el potencial d'automillora recursiva, exigeix "extrema prudència". OpenAI continuarà buscant solucions tècniques per a l'alineament i la supervisió, creant sistemes defensius i alentint el desenvolupament quan calgui. Però la feina tècnica dins de cada laboratori no serà suficient. També necessitem estàndards compartits, inclosos els que determinin quan cal alentir o aturar el desenvolupament.

Hi ha moltíssim en joc. La IA avançada podria accelerar el desenvolupament de nous medicaments⁠, reforçar les infraestructures crítiques⁠, ampliar les oportunitats econòmiques⁠ i ajudar a resoldre problemes científics⁠ que han resistit generacions d'esforç humà. Tanmateix, les capacitats que fan més útils els models també comporten riscos, i no quedaran confinades a uns quants laboratoris d'avantguarda. Els models desenvolupats arreu del món, incloent-hi els oberts, s'acostaran cada cop més a l'avantguarda actual i estaran disponibles de manera generalitzada.

Les capacitats d'Astra, els primers indicis d'acceleració de la recerca impulsada per la IA i l'assaig de Jakub apunten tots en la mateixa direcció: la IA avança ràpidament i la política ha d'avançar al seu ritme.

Greg Brockman ha descrit una "finestra per als defensors"⁠(s'obre en una finestra nova): un període limitat en què la IA d'avantguarda pot ajudar els defensors a reforçar sistemes crítics abans les potents capacitats ofensives no es generalitzin. Els responsables polítics afronten un moment anàleg: una finestra que es tanca per establir salvaguardes duradores abans les capacitats de la IA no superin les institucions responsables de governar-les.

A mesura que creixin les capacitats, la confiança en la seguretat haurà de marcar cada cop més el ritme del progrés de la IA. La seguretat no obstaculitza el progrés; és el que permet que aquest sigui més ampli i beneficiï més persones.

Hem reforçat les salvaguardes de monitoratge, alineament i seguretat durant tot el cicle de desenvolupament dels models, amb més aïllament per a les càrregues de treball de recerca d'avantguarda, una supervisió ampliada del comportament dels models durant l'entrenament i les avaluacions amb eines habilitades i normes més clares sobre quan cal escalar les preocupacions. Per a Astra, també hem introduït el monitoratge universal de les trajectòries completes, incloent-hi les cadenes de pensament, i un punt de control obligatori per a l'avaluació de l'alineament abans d'un desplegament intern més ampli.

Aquestes salvaguardes han de continuar avançant-se a les capacitats. Quan continuar suposi un risc de seguretat inacceptable, alentirem o aturarem el desenvolupament o el desplegament dels sistemes que no puguem protegir prou, com ja hem fet abans i com exigeix el nostre Entorn de treball de preparació⁠(s'obre en una finestra nova).

L'automillora recursiva plenament autònoma —en què els sistemes d'IA impulsen de manera independent generacions successives d'IA cada cop més capaces— no existeix avui, i no l'hem de perseguir fins que es pugui fer amb seguretat.

Tanmateix, la IA ja accelera parts de la recerca emprada per desenvolupar i alinear la pròxima generació de models. La nostra recerca⁠ més recent mostra que els agents d'IA poden dur a terme algunes tasques que exigirien diversos dies a investigadors qualificats. Això no és automillora recursiva, però evidencia la direcció que està prenent aquesta evolució.

Aquesta acceleració també es pot i s'ha d'orientar cap a la seguretat. Volem crear amb seguretat investigadors d'IA automatitzats que treballin sota supervisió humana per fer avançar tant l'aprenentatge profund com l'alineament, fent servir cada generació d'IA per aconseguir que la següent sigui més segura, estigui més ben alineada i sigui més fàcil de controlar, no només més capaç.

Els governs haurien de desenvolupar mètodes comuns per mesurar aquest progrés, preservar un control humà significatiu i establir llindars de seguretat compartits que indiquin quan i com cal alentir o aturar el desenvolupament. Si no podem complir determinats llindars de seguretat sense alentir el creixement de les capacitats, hauríem de prioritzar els primers. Com més potent sigui la tecnologia, més sòlides han de ser les salvaguardes que l'envolten.

La perspectiva d'un desenvolupament de la IA accelerat per la IA exigeix més que compromisos voluntaris. Els Estats Units necessiten una regulació nacional obligatòria, basada en les capacitats, que pugui evolucionar al mateix ritme que la tecnologia.

El nostre Pla per a la governança democràtica de la IA d'avantguarda⁠ traça un camí cap a un marc federal durador: requisits comuns de proves i avaluacions independents, proteccions de ciberseguretat més sòlides, normes clares de notificació d'incidents, més preparació nacional i mesures compartides per seguir el progrés cap a l'automillora recursiva.

Al Congrés prenen forma diverses propostes rigoroses sobre la seguretat de la IA d'avantguarda. Continuarem participant-hi constructivament i esperem donar suport a legislació que apugi de manera substancial el llistó de la seguretat. Amb les apostes tan altes, no podem permetre que la perfecció sigui enemiga del bé. El Congrés hauria d'actuar abans no s'aixequi la sessió.

Un marc nacional ha de ser sòlid, però delimitat de manera acurada. Els requisits de seguretat d'avantguarda s'haurien d'aplicar als pocs laboratoris amb prou recursos per desenvolupar els sistemes més capaços, no a empreses emergents, petits desenvolupadors o investigadors que operen lluny de l'avantguarda. Les obligacions han de ser proporcionals a les capacitats i als riscos.

La política de seguretat de la IA d'avantguarda tampoc no s'ha de convertir en una política de pesos oberts amb un altre nom. Els models oberts poden formar part de la solució, especialment en ciberseguretat i quan les necessitats de sobirania, seguretat o ubicació de les dades afavoreixen el desplegament local. La majoria no competeixen en termes d'avantguarda, sinó de costos, control i latència. Com vam afirmar en signar la Carta sobre els pesos oberts i el lideratge nord-americà en IA⁠(s'obre en una finestra nova), els Estats Units necessiten tant models oberts com tancats. Un marc federal hauria d'abordar les capacitats i els riscos d'avantguarda sense debilitar la competència, consolidar les empreses establertes ni traslladar la innovació a l'estranger.

Un marc públic seriós hauria de reduir la concentració de poder, no augmentar-la. Avui, els laboratoris d'avantguarda estableixen en gran part les seves pròpies normes per gestionar els riscos fronterers. Uns estàndards subjectes al control democràtic, una verificació independent i una transparència efectiva substituirien aquest sistema fragmentat de governança privada.

Això és essencial per al lideratge nord-americà. Els Estats Units no poden guanyar l'era de la IA només amb capacitats. Anar al capdavant tècnicament servirà de poc si les persones, les institucions i els governs no confien prou en la tecnologia per adoptar-la. Unes salvaguardes sòlides no són una concessió en detriment de la innovació. Formen part de la infraestructura necessària per a una adopció generalitzada, i per a un lideratge nord-americà durador.

Necessitem urgentment estàndards nacionals sobre la IA, i qualsevol persona que treballi en IA d'avantguarda en pot percebre la urgència. Mentre el Congrés no actuï, els estats haurien de continuar prenent mesures per omplir el buit i apujar el llistó.

OpenAI ha donat suport a l'SB 53 de Califòrnia, la RAISE Act de Nova York i l'SB 315 d'Illinois, així com a les auditories independents previstes en la legislació sobre seguretat de la IA d'avantguarda que s'estudia a Massachusetts. Encoratgem els estats a convergir al voltant d'aquestes salvaguardes comunes. D'aquesta manera, podran crear una base nacional de facto que el Congrés pugui acabar codificant: un enfocament que anomenem ⁠federalisme invers⁠. Tanmateix, aquesta harmonització no implica la congelació dels requisits vigents.

Avui donem formalment suport a quatre projectes de llei addicionals de Califòrnia que han estat aprovats pel poder legislatiu i s'adrecen al governador Newsom. En conjunt, aborden parts complementàries de l'ecosistema de seguretat de la IA.

L'SB 813⁠(s'obre en una finestra nova) establiria un procés per designar organitzacions independents i qualificades capaces d'avaluar els riscos de la IA. Tal com hem afirmat al nostre ⁠(s'obre en una finestra nova)pla de seguretat de la IA d'avantguarda⁠(s'obre en una finestra nova), preferim que les avaluacions tècniques independents siguin obligatòries a escala federal, on els responsables polítics poden establir estàndards coherents per a les qualificacions dels avaluadors, la seguretat i l'accés a informació altament sensible. Tanmateix, atesa la manca d'acció federal, Califòrnia pot ajudar a establir les regles per a un sistema nacional d'avaluació independent segur i capaç que produeixi resultats de seguretat millorats.

L'AB 1405⁠(s'obre en una finestra nova) establiria requisits de registre, independència, transparència i rendició de comptes per als auditors d'IA.

L'SB 1119⁠(s'obre en una finestra nova) exigiria una garantia d'edat, avaluacions de riscos i auditories independents, control parental i salvaguardes contra continguts perjudicials per a infants i adolescents que utilitzen bots de conversa de companyia. Recentment hem expressat el nostre suport⁠ a aquest projecte de llei, que parteix de les mesures de seguretat dels joves que OpenAI ha impulsat mitjançant els nostres productes, ⁠principis de política global⁠ i el suport a la ⁠(s'obre en una finestra nova)Llei d'IA segura per a pares i infants⁠(s'obre en una finestra nova), així com de les proteccions incorporades al ChatGPT per a adolescents, com ara configuracions predeterminades més estrictes en àmbits sensibles, hores de silenci, hores d'estudi i recordatoris per fer pauses.

L'AB 1864⁠(s'obre en una finestra nova) exigiria als proveïdors de síntesi genètica i als fabricants d'equips de síntesi de sobretaula que seguissin les normes federals de cribratge per reforçar d'aquesta manera una salvaguarda física important contra les amenaces biològiques facilitades per la IA.

Alguns d'aquests projectes de llei no els vam aprovar en el passat, i ara els donem suport després de reconsiderar-los arran del recent salt de capacitats que hem observat.

Aquests projectes de llei no substitueixen la regulació federal. Són esforços seriosos que poden protegir les persones ara, demostrar com són les salvaguardes eficaces i contribuir a impulsar l'acció federal.

Per si soles, les lleis no faran que la IA avançada sigui segura. També calen pràctiques concretes dins dels laboratoris que desenvolupen els sistemes més capaços. El punt de partida més urgent és el monitoratge.

Això és especialment important en el cas de la desalineació: quan un model persegueix un objectiu d'una manera que vulnera la intenció humana o els límits establerts, sense que calgui consciència ni intenció maliciosa. A mesura que els models guanyen més autonomia, fan servir eines més potents i operen durant períodes més llargs, s'hauria d'exigir als desenvolupadors que supervisessin aquests comportaments desalineats i demostressin l'existència de salvaguardes efectives.

El monitoratge ha d'estar vinculat a requisits clars de divulgació. Tal com vam defensar a Califòrnia, s'hauria d'exigir a les empreses que enviïn una notificació per escrit i sense demora a les parts afectades quan, durant el desenvolupament o l'avaluació, els seus models eludeixin sense autorització els controls de seguretat d'una altra organització i accedeixin als sistemes protegits o a la informació confidencial d'aquesta organització, els alterin o els destrueixin de manera substancial. També donem suport a requisits federals de notificació per a altres incidents greus d'IA i treballem per definir quins incidents s'han d’incloure i què han d'implicar aquests requisits.

Com vam explicar la setmana passada, OpenAI està desenvolupant un marc per informar d'incidents importants de desalineament i per monitorar sistemàticament l'activitat dels models d'avantguarda, incloent-hi l'ús intern. Aquesta iniciativa comença impulsada per l'empresa, però esperem que pugui contribuir a orientar polítiques federals més àmplies i requisits d'informació.

Volem treballar amb altres laboratoris en estàndards liderats pel sector. Qualsevol estàndard liderat pel sector complementaria —no substituiria— les salvaguardes federals obligatòries i la supervisió democràtica. Tanmateix, hem entrat en una fase diferent de les capacitats de la IA, i cal considerar totes les opcions, incloent-hi la consideració del que es pot construir voluntàriament fora del Govern com a mesura immediata.

Aquests estàndards també s'hauran d’estendre, en última instància, més enllà de les fronteres nacionals. Els models, la recerca i els coneixements tècnics circulen arreu del món, i els errors relacionats amb els sistemes més capaços podrien tenir conseqüències molt més enllà del país on es desenvolupen. Els Estats Units han d'establir estàndards creïbles al país si volen liderar internacionalment, i estem cada cop més convençuts que caldran estàndards internacionals compatibles.

Ara com ara, la finestra de política d'IA és oberta, i tenim la intenció d'utilitzar-la.

Això equival a actuar amb urgència, humilitat i voluntat d'adaptació. Equival a donar suport a propostes serioses que apugin de manera substancial el llistó de la seguretat, encara que no siguin exactament les que hauríem dissenyat. I equival a reforçar el marc a mesura que la tecnologia vagi evolucionant.

Cap primer pas no serà perfecte. Però ara el risc més gran és esperar massa per fer-lo.