Avançar na pesquisa independente sobre alinhamento de IA

À medida que os sistemas de IA se tornam mais capazes e autônomos, a pesquisa de alinhamento precisa acompanhar esse ritmo e ampliar a diversidade. Na OpenAI, investimos fortemente em alinhamento de fronteiras e pesquisa em segurança, pois isso é fundamental para nossa missão. Acreditamos também que garantir que a Inteligência Artificial Geral (IAG) seja segura e benéfica para todos não pode ser alcançado por uma única organização e queremos apoiar pesquisas independentes e abordagens conceituais que possam ser desenvolvidas fora dos laboratórios de vanguarda. Acreditamos que o futuro da IA não se desenrolará exatamente como previsto e que muito mais pessoas deveriam ter participação na definição desse resultado.

Hoje, estamos anunciando uma doação de US$ 7,5 milhões para o Alignment Project⁠(abre em uma nova janela), um fundo global para pesquisa independente sobre alinhamento, criado pelo Instituto de Segurança de IA do Reino Unido (UK AI Security Institute - UK AISI). A Renaissance Philanthropy está apoiando a administração da doação. Essa contribuição ajuda a tornar o The Alignment Project um dos maiores esforços de financiamento dedicados à pesquisa independente sobre alinhamento até o momento e fortalece o ecossistema independente em geral.

Laboratórios de vanguarda como o OpenAI estão numa posição única para realizar pesquisas de alinhamento que dependem do acesso a modelos de ponta e a um poder computacional significativo — um trabalho que muitas vezes é difícil para pesquisadores independentes explorarem. Dedicamos grande parte de nossos esforços internos de alinhamento ao desenvolvimento de métodos escaláveis, para que o progresso do alinhamento acompanhe o progresso das capacidades. Acreditamos que a implementação iterativa— aumentando gradualmente as capacidades e, ao mesmo tempo, reforçando as salvaguardas — ajuda a identificar problemas precocemente e nos fornece evidências concretas sobre o que funciona na prática, e que o desenvolvimento responsável requer um alinhamento significativo e um trabalho de segurança que esteja intimamente integrado à construção e implementação do modelo.

Em paralelo, a área se beneficia de investimentos contínuos em pesquisa independente e exploratória, que podem expandir o leque de ideias e descobrir novas direções. A pesquisa independente continua sendo essencial; em muitos tipos de investigação útil, os laboratórios não mantêm uma vantagem comparativa. Um ecossistema de alinhamento saudável depende de equipes independentes que testam diversas hipóteses, desenvolvem estruturas alternativas e exploram ideias conceituais, teóricas e inovadoras que podem não se encaixar perfeitamente no planejamento estratégico de nenhuma organização específica.

E como o progresso rumo à Inteligência Artificial Geral (IAG) pode, em última análise, depender de avanços fundamentais que alterem a forma do problema de alinhamento e quais abordagens são mais úteis, é importante apoiar pesquisas que sejam relevantes mesmo que os métodos dominantes de hoje não se mostrem escaláveis da maneira que esperamos. Nesses contextos, torna-se especialmente importante contar com um ecossistema externo robusto que realize trabalhos fundamentais, conceituais e não correlacionados. O problema do alinhamento e da segurança da IA é de importância sem precedentes, e precisamos da colaboração de todos, pois ainda não sabemos quais abordagens se mostrarão mais duradouras à medida que as capacidades continuarem a avançar.

Nossa doação — aproximadamente 5,6 milhões de libras esterlinas à taxa de câmbio atual — cofinanciará o Alignment Project⁠(abre em uma nova janela) juntamente com outros apoiadores públicos, filantrópicos e da indústria. O fundo total ultrapassa 27 milhões de libras esterlinas e foi concebido para apoiar um amplo portfólio de projetos de pesquisa sobre alinhamento em todo o mundo, abrangendo tópicos tão diversos como teoria da complexidade computacional, teoria econômica e teoria dos jogos, ciência cognitiva e teoria da informação e criptografia. Os projetos individuais são normalmente financiados com valores entre 50.000 e 1 milhão de libras esterlinas, e podem também receber acesso opcional a recursos computacionais e apoio especializado.

Nosso financiamento não cria um novo programa ou processo de seleção, nem influencia o processo existente; ele aumenta o número de projetos⁠(abre em uma nova janela) de alta qualidade já avaliados que podem ser financiados na rodada atual.

O AISI do Reino Unido está bem posicionado para direcionar o financiamento de alinhamento nessa escala e abrangência. A iniciativa reúne uma coalizão intersetorial consolidada, abrangendo governo, academia, filantropia e indústria, além de um processo de concessão de bolsas já em andamento e um grande número de propostas que passaram por avaliação especializada. Como organização de pesquisa do governo do Reino Unido, vinculada ao Departamento de Ciência, Inovação e Tecnologia (DSIT), ela também tem um mandato focado em riscos graves da IA e experiência na gestão de programas de financiamento de pesquisa.

Como o futuro da IA não se desenrolará exatamente como previsto — e pode avançar muito rapidamente — acreditamos que a democratização, a “resiliência da IA” e a implementação iterativa são essenciais. Enquanto continuamos avançando em nossas pesquisas de alinhamento de fronteira e segurança na OpenAI, o progresso se beneficiará de um ecossistema robusto, diversificado e independente que busca abordagens complementares à medida que as capacidades evoluem. Esta subvenção é um passo em direção a esse objetivo. Aguardamos com expectativa a continuidade da colaboração com a comunidade científica em geral, à medida que a área avança.