Impulsant la recerca independent sobre l'alineació de la IA

A mesura que els sistemes d'IA esdevenen més capaços i més autònoms, la recerca sobre alineació ha de mantenir el ritme i ampliar-ne la diversitat. A OpenAI, invertim molt en recerca d'alineació i seguretat d'avantguarda perquè és fonamental per a la nostra missió. També creiem que garantir que l'AGI sigui segura i beneficiosa per a tothom no es pot aconseguir des d'una sola organització, i volem donar suport a la recerca independent i a enfocaments conceptuals que es puguin impulsar fora dels laboratoris d'avantguarda.

Avui anunciem una subvenció de 7,5 milions de dòlars a The Alignment Project⁠(s'obre en una finestra nova), un fons global per a la recerca independent sobre alineació creat per l'AI Security Institute del Regne Unit (UK AISI). Renaissance Philanthropy dona suport a l'administració de la subvenció. Aquesta contribució ajuda a convertir The Alignment Project en una de les iniciatives de finançament específic més grans fins ara per a la recerca independent sobre alineació i reforça l'ecosistema independent més ampli.

Laboratoris d'avantguarda com OpenAI es troben en una posició única per impulsar recerca sobre alineació que depèn de l'accés a models d'avantguarda i de capacitat de càlcul significativa, una feina que sovint és difícil d'explorar per als investigadors independents. Dediquem bona part del nostre esforç intern en alineació a desenvolupar mètodes escalables perquè el progrés en alineació mantingui el ritme del progrés en capacitats. Creiem que el desplegament iteratiu —augmentar gradualment les capacitats mentre es reforcen les salvaguardes— ajuda a detectar problemes aviat i ens dona proves concretes sobre què funciona a la pràctica, i que el desenvolupament responsable requereix una feina significativa d'alineació i seguretat estretament integrada amb la construcció i el desplegament del model.

En paral·lel, el camp es beneficia d'una inversió sostinguda en recerca independent i exploratòria, que pot ampliar l'espai d'idees i descobrir noves direccions. La recerca independent continua sent essencial; en molts tipus d'investigació útil, els laboratoris no conserven un avantatge comparatiu. Un ecosistema d'alineació saludable depèn d'equips independents que posin a prova supòsits diversos, desenvolupin marcs alternatius i explorin idees conceptuals, teòriques i especulatives que potser no encaixen netament amb el full de ruta de cap organització.

I com que el progrés cap a l'AGI pot acabar depenent de avenços fonamentals que canviïn la forma del problema de l'alineació i quins enfocaments són més útils, és important donar suport a recerques que serien rellevants fins i tot si els mètodes dominants d'avui acabessin no escalant com esperem. En aquests escenaris, esdevé especialment important disposar d'un ecosistema extern fort que faci feina fundacional, conceptual i no correlacionada. El problema de l'alineació i la seguretat de la IA té una importància sense precedents, i necessitem tothom implicat perquè encara no sabem quins enfocaments demostraran ser més sòlids a mesura que les capacitats continuïn avançant.

La nostra subvenció —aproximadament 5,6 milions de lliures esterlines als tipus de canvi actuals— cofinançarà The Alignment Project⁠(s'obre en una finestra nova) juntament amb altres patrocinadors públics, filantròpics i del sector. El fons total supera els 27 milions de lliures esterlines i està dissenyat per donar suport a una àmplia cartera de projectes de recerca sobre alineació arreu del món, que abasten temes tan diversos com la teoria de la complexitat computacional, la teoria econòmica i la teoria de jocs, la ciència cognitiva i la teoria de la informació i la criptografia. Els projectes individuals solen rebre entre 50.000 lliures esterlines i 1 milió de lliures esterlines, i també poden rebre accés opcional a recursos de càlcul i suport expert.

El nostre finançament no crea un programa ni un procés de selecció nous, ni tampoc influeix en el procés existent; augmenta el nombre de projectes⁠(s'obre en una finestra nova) ja avaluats i d'alta qualitat que es poden finançar en la ronda actual.

UK AISI està ben posicionat per dirigir finançament per a l'alineació a aquesta escala i amplitud. Aporta una coalició intersectorial consolidada que abasta govern, acadèmia, filantropia i indústria, juntament amb una cadena de concessió de subvencions ja en marxa i un gran conjunt de propostes que han passat per revisió experta. Com a organització de recerca del govern del Regne Unit dins del Department for Science, Innovation and Technology (DSIT), també té un mandat centrat en els riscos greus de la IA i experiència en la gestió de programes de finançament de recerca.

Com que el futur de la IA no es desplegarà exactament tal com ningú prediu —i pot avançar molt de pressa—, creiem que la democratització, la «resiliència de la IA» i el desplegament iteratiu són essencials. Mentre continuem avançant en la nostra recerca d'alineació i seguretat d'avantguarda a OpenAI, el progrés es beneficiarà d'un ecosistema robust, divers i independent que impulsi enfocaments complementaris a mesura que avancen les capacitats. Aquesta subvenció és un pas cap a aquest objectiu. Esperem continuar col·laborant amb la comunitat de recerca en general a mesura que el camp avanci.