Faire progresser la recherche indépendante sur l'alignement de l'IA

À mesure que les systèmes d’IA deviennent plus performants et plus autonomes, la recherche sur l’alignement doit à la fois suivre le rythme et diversifier ses approches. Chez OpenAI, nous investissons massivement dans la recherche de pointe sur l'alignement et la sécurité, car elle est cruciale pour notre mission. Nous croyons également que garantir la sécurité et les avantages de l'AGI pour tous ne peut être réalisé par une seule organisation. Nous souhaitons soutenir la recherche indépendante et les approches conceptuelles pouvant être menées en dehors des laboratoires de pointe. Nous croyons que l'avenir de l'IA ne se déroulera pas exactement comme prévu par quiconque, et que beaucoup plus de personnes devraient avoir leur mot à dire dans la façon dont le résultat se façonne.

Aujourd’hui, nous annonçons une subvention de 7,5 millions de dollars à The Alignment Project⁠(s'ouvre dans une nouvelle fenêtre), un fonds mondial pour la recherche indépendante sur l’alignement créé par l’Institut de sécurité de l’IA du Royaume-Uni (UK AISI). Renaissance Philanthropy soutient l'administration de la subvention. Cette contribution aide à faire de The Alignment Project l’un des plus grands efforts de financement dédiés à la recherche indépendante sur l’alignement à ce jour et renforce l’écosystème indépendant dans son ensemble.

Les laboratoires de pointe comme OpenAI sont dans une position unique pour mener des recherches sur l'alignement qui dépendent de l'accès à des modèles de pointe et à une puissance de calcul significative—un travail souvent difficile à explorer pour des chercheurs indépendants. Nous consacrons une grande partie de nos efforts internes à développer des méthodes évolutives pour que les progrès en alignement suivent ceux des capacités. Nous croyons au déploiement itératif— en augmentant graduellement les capacités tout en renforçant les mesures de protection — ce qui aide à faire ressortir les problèmes tôt et nous fournit des preuves concrètes de ce qui fonctionne en pratique, et que le développement responsable nécessite un travail d’alignement et de sécurité significatif, étroitement intégré à la création et au déploiement du modèle.

Parallèlement, le domaine bénéficie d’investissements soutenus dans la recherche indépendante et exploratoire, ce qui peut élargir l’espace des idées et découvrir de nouvelles directions. La recherche indépendante reste essentielle; dans de nombreux types de recherches utiles, les laboratoires ne conservent pas d'avantage comparatif. Un écosystème d’alignement sain repose sur des équipes indépendantes testant diverses hypothèses, développant des cadres alternatifs et explorant des idées conceptuelles, théoriques et novatrices qui ne s’alignent pas nécessairement avec la feuille de route d’une organisation unique.

Et comme les progrès vers l’AGI pourraient finalement dépendre de percées fondamentales modifiant la nature du problème d’alignement et les approches les plus utiles, il est crucial de soutenir des recherches qui resteraient pertinentes même si les méthodes dominantes actuelles ne s’avéraient pas évolutives comme nous l’espérons. Dans ces mondes, il est particulièrement important de disposer d’un écosystème externe solide qui effectue des travaux fondamentaux, conceptuels et non corrélés. Le problème de l’alignement et de la sécurité de l’IA est d’une importance sans précédent, et nous avons besoin de toutes les ressources disponibles, car nous ne savons pas encore quelles approches se révéleront les plus durables à mesure que les capacités continueront de progresser.

Notre subvention — environ 5,6 millions de livres sterling aux taux de change actuels — cofinancera The Alignment Project⁠(s'ouvre dans une nouvelle fenêtre) aux côtés d'autres bailleurs de fonds publics, philanthropiques et industriels. Le fonds total dépasse 27 millions de livres sterling et est conçu pour soutenir un vaste portefeuille de projets de recherche sur l’alignement à l’échelle mondiale, couvrant des sujets aussi variés que la théorie de la complexité computationnelle, la théorie économique et la théorie des jeux, les sciences cognitives et la théorie de l’information et la cryptographie. Les projets individuels sont généralement financés à hauteur de 50 000 £ à 1 million £, et peuvent également bénéficier d’un accès optionnel à des ressources informatiques et à un soutien d’experts.

Notre financement ne crée pas de nouveau programme ni de nouveau processus de sélection, ni n’influence le processus existant; il augmente le nombre de projets⁠(s'ouvre dans une nouvelle fenêtre) de grande qualité déjà évalués qui peuvent être financés dans le cycle actuel.

L'AISI du Royaume-Uni est bien positionné pour diriger le financement de l'alignement à cette échelle et dans cette gamme. Cela réunit une coalition intersectorielle établie qui regroupe des acteurs gouvernementaux, du milieu universitaire, de la philanthropie et de l’industrie, ainsi qu’un processus d’octroi de subventions déjà en cours et un vaste ensemble de propositions ayant fait l’objet d’un examen par des experts. En tant qu’organisme de recherche du gouvernement du Royaume-Uni au sein du ministère de la Science, de l'Innovation et de la Technologie (DSIT), il a également un mandat axé sur les risques graves liés à l’IA et possède de l’expérience dans la gestion de programmes de financement de la recherche.

Parce que l’avenir de l’IA ne se déroulera pas exactement comme quiconque le prédit—et pourrait progresser très rapidement—nous croyons que la démocratisation, la « résilience de l’IA » et le déploiement itératif sont essentiels. Alors que nous continuons à faire progresser nos recherches sur l'alignement de pointe et la sécurité chez OpenAI, les progrès bénéficieront d'un écosystème robuste, diversifié et indépendant qui adopte des approches complémentaires à mesure que les capacités avancent. Cette subvention est une étape vers cet objectif. Nous sommes impatients de continuer à collaborer avec la communauté de recherche élargie à mesure que le domaine progresse.