Promover a investigação independente sobre o alinhamento da IA

À medida que os sistemas de IA se tornam mais capazes e autónomos, a investigação sobre o alinhamento tem de acompanhar o ritmo e aumentar a diversidade. Na OpenAI, investimos fortemente em investigação sobre alinhamento e segurança de fronteira, uma vez que é fundamental para a nossa missão. Também acreditamos que a garantia de que a AGI é segura e benéfica para todos não pode ser alcançada por uma única organização e queremos apoiar investigação independente e abordagens conceptuais que podem ser desenvolvidas fora dos laboratórios de fronteira. Acreditamos que o futuro da IA não se vai desenrolar exatamente como se prevê, e que muito mais pessoas deveriam ter um papel em moldar o resultado.

Hoje, estamos a anunciar uma subvenção de 7,5 milhões de dólares para o The Alignment Project⁠(abre numa nova janela), um fundo global para investigação independente sobre alinhamento criado pelo UK AI Security Institute (UK AISI). A Renaissance Philanthropy está a apoiar a administração da subvenção. Este contributo ajuda a tornar o The Alignment Project num dos maiores esforços de financiamento dedicados à investigação independente sobre alinhamento até à data e reforça o ecossistema mais amplo e independente.

Laboratórios de fronteira, como a OpenAI, estão numa posição única para desenvolver investigação sobre alinhamento que depende do acesso a modelos de fronteira e a capacidade computacional significativa — trabalho que é frequentemente difícil de explorar para investigadores independentes. Dedicamos grande parte do nosso esforço de alinhamento interno ao desenvolvimento de métodos escaláveis para que o progresso do alinhamento acompanhe o progresso das capacidades. Acreditamos que a implementação iterativa — aumentar gradualmente as capacidades ao mesmo tempo reforçamos as salvaguardas — ajuda a identificar problemas numa fase inicial e nos fornece provas concretas sobre o que funciona na prática, e que o desenvolvimento responsável requer um trabalho significativo de alinhamento e segurança que está estreitamente integrado na construção e implementação dos modelos.

Em paralelo, o campo beneficia de um investimento sustentado em investigação independente e exploratória, que pode expandir o espaço das ideias e descobrir novas direções. A investigação independente continua a ser essencial. Em muitos tipos de investigação útil, os laboratórios não mantêm uma vantagem comparativa. Um ecossistema de alinhamento saudável depende de equipas independentes que testam diversos pressupostos, desenvolvem estruturas alternativas e exploram ideias conceptuais, teóricas e inovadoras que podem não se alinhar perfeitamente com o plano de qualquer organização.

E, dado que o progresso em direção à AGI pode, em última análise, depender de avanços fundamentais que mudem a natureza do problema de alinhamento e que ditem as abordagens que são mais úteis, é importante apoiar investigação que seja relevante mesmo que os métodos dominantes de hoje acabem por não escalar da forma que esperamos. Nesses mundos, torna-se especialmente importante ter um ecossistema externo forte que faça trabalho de base, conceptual e não correlacionado. O problema do alinhamento e da segurança da IA é de uma importância sem precedentes e precisamos de todos os intervenientes, uma vez que ainda não sabemos quais abordagens se revelarão mais duradouras à medida que as capacidades continuam a avançar.

A nossa subvenção — cerca de 5,6 milhões de libras esterlinas às taxas de câmbio atuais — irá cofinanciar o The Alignment Project⁠(abre numa nova janela) juntamente com outros financiadores públicos, filantrópicos e do setor. O fundo total excede 27 milhões de libras esterlinas e destina-se a apoiar um vasto portefólio de projetos de investigação sobre alinhamento a nível mundial, abrangendo temas tão diversos como a teoria da complexidade computacional, a teoria económica e a teoria dos jogos, a ciência cognitiva, a teoria da informação e a criptografia. Os projetos individuais são normalmente financiados entre 50 mil e 1 milhão de libras esterlinas, e podem também receber acesso opcional a recursos computacionais e apoio especializado.

O nosso financiamento não cria um novo programa ou processo de seleção, nem influencia o processo existente — aumenta o número de projetos⁠(abre numa nova janela) já avaliados e de alta qualidade que podem ser financiados na ronda atual.

O UK AISI está bem posicionado para dirigir o financiamento para alinhamento a esta escala e amplitude. Conta com uma coligação intersetorial estabelecida que abrange o governo, o meio académico, a filantropia e a indústria, juntamente com um processo de financiamento já em curso e um grande conjunto de propostas que foram avaliadas por especialistas. Como organização de investigação do governo do Reino Unido no âmbito do Department for Science, Innovation and Technology (DSIT), também tem um mandato focado em riscos sérios de IA e experiência na execução de programas de financiamento de investigação.

Uma vez que o futuro da IA não se vai desenrolar exatamente como se prevê — e pode avançar muito rapidamente —, acreditamos que a democratização, a "resiliência da IA" e a implementação iterativa são essenciais. Enquanto continuamos a avançar na nossa investigação sobre alinhamento e segurança de fronteira na OpenAI, o progresso beneficiará de um ecossistema robusto, diversificado e independente que procura abordagens complementares à medida que as capacidades progridem. Esta subvenção é um passo em direção a esse objetivo. Esperamos continuar a colaborar com a comunidade de investigação em geral à medida que o campo avança.