Faire avancer la recherche indépendante sur l’alignement de l’IA

À mesure que les systèmes d’IA deviennent plus performants et plus autonomes, la recherche sur l’alignement doit à la fois suivre le rythme et s’adapter à la diversité. Chez OpenAI, nous investissons massivement dans la recherche de pointe sur l’alignement et la sécurité, car elle est essentielle à notre mission. Nous pensons également qu’aucune organisation ne peut à elle seule garantir que l’AGI est sûre et bénéfique pour tous, et nous souhaitons soutenir la recherche indépendante et les approches conceptuelles pouvant être menées en dehors des laboratoires de pointe. Nous croyons que l’avenir de l’IA ne se déroulera pas exactement comme prévu, et que beaucoup plus de personnes devraient avoir leur mot à dire pour influencer le résultat.

Nous annonçons aujourd’hui l’octroi d’une subvention de 7,5 millions de dollars à The Alignment Project⁠(ouverture dans une nouvelle fenêtre), un fonds mondial dédié à la recherche indépendante sur l’alignement, créé par l’Institut britannique pour la sécurité de l’IA (AISI britannique). Renaissance Philanthropy participe à l’administration de la subvention. Cette contribution permet de faire de The Alignment Project l’une des plus grandes initiatives de financement dédiées à la recherche indépendante sur l’alignement à ce jour et renforce l’écosystème indépendant à plus grande échelle.

Les laboratoires de pointe comme OpenAI se trouvent dans une position unique pour poursuivre la recherche sur l’alignement qui dépend de l’accès à des modèles de pointe et à des ressources informatiques importantes, une tâche souvent difficile à explorer pour les chercheurs indépendants. Nous consacrons une grande partie de nos efforts internes en matière d’alignement à l’élaboration de méthodes évolutives, de sorte que les progrès en alignement suivent le rythme des progrès en capacités. Nous pensons que le déploiement itératif, en augmentant progressivement les capacités tout en renforçant les mesures de protection, permet de détecter les problèmes plus tôt et nous fournit des preuves concrètes de ce qui fonctionne en pratique, et que le développement responsable nécessite un important travail d’alignement et de sécurité, étroitement intégré à l’élaboration et au déploiement des modèles.

Parallèlement, le domaine bénéficie d’investissements soutenus dans la recherche indépendante et exploratoire, ce qui permet d’élargir le champ des idées et de découvrir de nouvelles directions. La recherche indépendante reste essentielle : dans de nombreux types d’enquêtes utiles, les laboratoires ne conservent pas d’avantage comparatif. Un écosystème d’alignement sain repose sur des équipes indépendantes testant diverses hypothèses, développant des cadres alternatifs et explorant des idées conceptuelles, théoriques et novatrices qui ne s’alignent pas nécessairement sur la feuille de route d’une organisation en particulier.

De plus, comme les progrès vers l’AGI pourraient, à terme, dépendre d’avancées fondamentales qui modifient la nature du problème de l’alignement et déterminent quelles approches sont les plus utiles, il est important de soutenir la recherche qui aurait de l’importance même si les méthodes dominantes actuelles s’avéraient ne pas s’adapter de la manière dont nous l’espérons. Dans ces mondes, il devient particulièrement important de disposer d’un écosystème externe solide qui effectue des travaux fondamentaux, conceptuels et non corrélés. Le problème de l’alignement et de la sécurité de l’IA est d’une importance sans précédent, et nous avons besoin de toutes les ressources disponibles, car nous ne savons pas encore quelles approches se révéleront les plus durables à mesure que les capacités continuent de progresser.

Notre subvention, d’environ 5,6 millions de livres sterling aux taux de change actuels, cofinancera The Alignment Project⁠(ouverture dans une nouvelle fenêtre) aux côtés d’autres bailleurs de fonds publics, philanthropiques et industriels. Le fonds total dépasse 27 millions de livres sterling et est conçu pour soutenir un large portefeuille de projets de recherche sur l’alignement dans le monde entier, couvrant des sujets aussi divers que la théorie de la complexité informatique, la théorie économique et la théorie des jeux, les sciences cognitives, ainsi que la théorie de l’information et la cryptographie. Les projets individuels sont généralement financés à hauteur de 50 000 à 1 million de livres sterling, et peuvent également bénéficier en option d’un accès à des ressources informatiques et à l’assistance d’experts.

Notre financement ne crée pas de nouveau programme ni de nouveau processus de sélection, et n’influence pas le processus existant : il augmente le nombre de projets⁠(ouverture dans une nouvelle fenêtre) de haute qualité déjà approuvés pouvant être financés lors du cycle actuel.

L’AISI britannique est bien placé pour orienter le financement de l’alignement à cette échelle et dans cette gamme. Il réunit une coalition intersectorielle bien établie qui couvre le gouvernement, le monde universitaire, la philanthropie et l’industrie, ainsi qu’un pipeline de subventions déjà en place et un grand nombre de propositions ayant été examinées par des experts. En tant qu’organisme de recherche du gouvernement britannique au sein du Département pour la Science, l’Innovation et la Technologie (DSIT), il dispose également d’un mandat axé sur les risques graves liés à l’IA et possède une expérience dans la gestion de programmes de financement de la recherche.

Parce que l’avenir de l’IA ne se déroulera pas exactement comme prévu, et pourrait même progresser très rapidement, nous pensons que la démocratisation, la résilience de l’IA et le déploiement itératif sont essentiels. Tandis que nous continuons à faire avancer notre recherche de pointe sur l’alignement et la sécurité chez OpenAI, les progrès bénéficieront d’un écosystème robuste, diversifié et indépendant qui poursuit des approches complémentaires à mesure que les capacités progressent. Cette subvention représente un pas en avant vers cet objectif. Nous sommes impatients de continuer à collaborer avec la communauté de recherche à plus grande échelle à mesure que le domaine évolue.