Criar normas para a próxima fase da IA
A nossa missão é garantir que a inteligência artificial geral beneficia toda a humanidade. Como Sam Altman explicou recentemente, juntamente com Jakub Pachocki, orientamos o nosso trabalho para esta missão com três objetivos principais:
Conduzir a próxima fase do progresso da IA, criando um investigador de IA automatizado, trabalhando com ele de forma iterativa no problema do alinhamento e encontrando formas de manter as pessoas no ciclo de autoaperfeiçoamento.
Disponibilizar os benefícios do progresso científico e do crescimento económico proporcionados por máquinas extremamente inteligentes.
Dar a cada pessoa uma AGI pessoal.
A IA está a acelerar a nossa própria investigação e engenharia, e a investigação apoiada por IA já permitiu avanços na matemática, incluindo no Problema do Milénio de Navier–Stokes. Este progresso é muito promissor para os nossos outros dois objetivos, podendo conduzir a importantes descobertas na medicina, a cuidados de saúde amplamente acessíveis e à capacitação económica de pequenas empresas e empresários individuais em todo o mundo.
A IA está a progredir em muitas empresas e países, e os avanços em todo o setor alteram as oportunidades e os desafios que todos enfrentam. Além dos seus outros benefícios, uma IA capaz e alinhada será importante para atravessarmos esta transição, reforçando as defesas, fazendo avançar a investigação sobre alinhamento e ajudando as pessoas a compreender e orientar as próximas etapas do desenvolvimento da IA.
Para atravessar esta transição em segurança, é necessário que a investigação sobre alinhamento acompanhe o ritmo destas capacidades, para que os sistemas criados por nós e por outros permaneçam alinhados com os valores humanos e sob controlo humano. Isto torna-se cada vez mais importante à medida que os sistemas de IA ganham capacidade e autonomia, inclusive quando assumem uma maior parte da própria investigação e desenvolvimento de IA. Para que o progresso contínuo da IA seja seguro e benéfico, serão necessários tanto avanços na investigação sobre alinhamento como normas comuns que orientem o desenvolvimento em laboratórios e países.
A investigação automatizada de IA pode envolver diferentes graus de supervisão humana. À medida que os sistemas de IA assumem uma maior parte do trabalho de desenvolvimento de gerações sucessivas de IA, podem impulsionar cada vez mais um processo de autoaperfeiçoamento recursivo (RSI), mesmo mantendo o envolvimento humano. À medida que este processo se automatiza, o ritmo de progresso da IA poderá acelerar rapidamente.
Acreditamos que a investigação automatizada de IA produzirá modelos que melhorarão diretamente a vida das pessoas. Pode reduzir o custo da inteligência avançada, permitindo que pessoas de todo o mundo beneficiem dela. A investigação automatizada também poderá ajudar-nos a melhorar substancialmente o alinhamento e a criar defesas contra uma IA cada vez mais capaz — um investigador de IA automatizado também pode ser um investigador automatizado de segurança da IA. Sistemas mais capazes e alinhados poderão ajudar a proteger infraestruturas críticas, a defender contra agentes de IA perigosos e a desenvolver novas medidas de proteção.
Atualmente, não existe RSI totalmente autónomo, e não devemos procurá-lo enquanto não puder ser realizado em segurança. A decisão de avançar, e de como o fazer, deve depender da nossa capacidade de preservar o controlo humano e de escolhas democráticas informadas(abre numa nova janela) sobre os benefícios e os riscos. Sem o devido cuidado e prudência, a RSI poderá levar os seres humanos a perder o controlo efetivo sobre o desenvolvimento da IA, deixando-os incapazes de supervisionar processos de investigação que já não compreendem. A partir daí, a IA poderá tornar-se mais perigosa, menos alinhada e, em termos gerais, constituir um perigo para as pessoas. O Incidente da Hugging Face que divulgámos, embora não tenha resultado diretamente da RSI, antecipa o tipo de riscos que poderão tornar-se muito mais graves sem salvaguardas e alinhamento robustos.
As normas internacionais para práticas de segurança no desenvolvimento de IA de fronteira podem ser tão importantes para gerir o ritmo na fronteira como a própria investigação sobre alinhamento. As normas podem criar definições comuns de provas de elevada qualidade e níveis de referência consensuais para o rigor das salvaguardas técnicas. Em suma, ajudam-nos a responder à pergunta: «O que constitui uma boa mitigação do risco catastrófico da IA?»
As instituições democráticas existentes, como o Centro para Normas e Inovação em IA (CAISI), as leis estaduais e um enquadramento federal para a IA, podem contribuir para este objetivo, tal como novas formas de parcerias público-privadas(abre numa nova janela). No entanto, o desenvolvimento e a implementação da IA decorrem em vários países, a adoção está a ocorrer à escala mundial e é provável que, mais cedo ou mais tarde, todos sintam os seus impactos de alguma forma.
São, por isso, necessários esforços internacionais para desenvolver normas que permitam resolver alguns desafios fundamentais:
Fragmentação — As avaliações, os requisitos de comunicação e as definições de incidentes adotados por diferentes países podem ser incompatíveis, dificultando a comparação de provas, a compreensão das capacidades emergentes e a resposta a riscos transfronteiriços.
Ação coletiva — Se cada país agir de forma independente, poderão surgir resultados que nenhum país deseja. A RSI pode acelerar a própria investigação de IA, eventualmente para além da nossa capacidade coletiva de compreender o progresso, avaliar os riscos e manter uma supervisão humana efetiva.
Capacidade desigual — A atividade de desenvolvimento de fronteira e os conhecimentos especializados associados não estão distribuídos de forma uniforme pelo mundo. Isto agrava ambos os problemas acima referidos.
Estes desafios aplicam-se tanto a modelos abertos como a modelos fechados.
Importa esclarecer que qualquer laboratório de IA que prossiga a investigação automatizada de IA ou outras capacidades avançadas deve assumir a responsabilidade de o fazer em segurança, em conformidade com princípios básicos de responsabilidade própria e com a legislação em vigor. A nossa defesa das normas assenta na necessidade de evitar a concentração de poder e de obter melhores resultados práticos. As normas permitem que mais partes interessadas externas aos laboratórios participem nas decisões sobre a evolução desta tecnologia e oferecem um conjunto visível de princípios em que se pode confiar, independentemente das práticas específicas de qualquer laboratório. E é provável que obtenhamos melhores resultados se as partes colaborarem para enfrentar os desafios acima referidos.
É por isso que acreditamos que os Estados Unidos devem liderar um esforço conjunto com países de todo o mundo para desenvolver normas técnicas mundiais para a IA de fronteira, incluindo para a RSI.
Embora esperemos que este conceito evolua substancialmente ao longo do tempo, dois aspetos serão essenciais.
Uma forma de o conseguir seria tirar partido da rede emergente de institutos de segurança da IA — como os já estabelecidos na Austrália, no Canadá, na Alemanha, em França, no Quénia, no Japão, na Coreia, em Singapura, na Índia e no Reino Unido — para facilitar a definição de normas através do CAISI e de organismos industriais nacionais, com especial atenção a: (1) modelos e programadores de IA de fronteira, avaliados através de referenciais de capacidades; e (2) gestão da relação benefício-risco na investigação automatizada de IA, incluindo a RSI. Os Estados Unidos podem desenvolver o trabalho iniciado pelo CAISI com a criação, em 2024, da Rede Internacional para a Medição, Avaliação e Ciência da IA Avançada(abre numa nova janela), que reúne instituições públicas para cooperarem na medição, avaliação e ciência da IA.
As normas desenvolvidas por este esforço proporcionariam uma base técnica comum para medir e avaliar capacidades, analisar riscos e determinar a suficiência das salvaguardas. Estas normas técnicas não constituiriam licenças, análises obrigatórias antes do lançamento ou requisitos de aprovação para modelos de IA. Os governos nacionais decidiriam se e como integrariam estas normas nos respetivos sistemas jurídicos.
Este trabalho também deve apoiar um ecossistema de IA competitivo, consultando programadores de modelos abertos e fechados, especialistas técnicos independentes e o meio académico. As normas comuns devem ser desenvolvidas de forma transparente e concebidas para não favorecer determinadas empresas, países ou modelos de negócio, nomeadamente evitando dificultar a concorrência por parte de novos operadores ou programadores de modelos com pesos abertos.
Como já sugerimos(abre numa nova janela), esta abordagem pode retirar ensinamentos de áreas como a aviação e a estabilidade financeira, nas quais os países desenvolveram normas técnicas comuns e canais de cooperação de confiança sem abdicarem da autoridade nacional. Deve também colaborar estreitamente com organismos de normalização estabelecidos e mais recentes, como a ISO(abre numa nova janela), o Frontier Model Forum(abre numa nova janela), a Agentic AI Foundation(abre numa nova janela) e a Open Secure AI Alliance(abre numa nova janela), bem como com organizações centradas na implementação, como a Appia Foundation, que está a desenvolver especificações práticas para ligar as normas internacionais às avaliações de IA no mundo real.
As normas internacionais para a IA serão especialmente importantes na gestão da autonomia crescente na investigação de IA e do autoaperfeiçoamento recursivo. Mais concretamente, poderão incluir normas para:
Avaliar o progresso da IA relevante para a RSI e o volume de investigação autónoma realizado numa empresa de IA. O nosso relatório recente sobre a aceleração da investigação é um primeiro contributo para este esforço.
Supervisão humana da investigação automatizada de IA, incluindo os tipos de processos automatizados de investigação de IA que devem desencadear uma análise humana imediata.
Classificação, acompanhamento, comunicação e resposta a incidentes relacionados com o alinhamento e a investigação automatizada de IA, incluindo níveis comuns de gravidade dos incidentes e limiares de comunicação. O nosso quadro de comunicação de desalinhamentos é um primeiro contributo.
Além destas normas, acreditamos que será importante os operadores de infraestruturas críticas e os governos de todo o mundo criarem canais de comunicação seguros para partilhar preocupações de segurança nacional, vulnerabilidades e ameaças emergentes, bem como boas práticas no domínio em rápida evolução da segurança da IA de fronteira. O diálogo entre os Estados Unidos e a China nestas áreas seria um passo positivo, e as próximas conversações ocorrem num momento oportuno.
Gerir o ritmo de desenvolvimento da IA não significa manter uma velocidade predeterminada. Do ponto de vista técnico, significa garantir que a investigação sobre alinhamento e a aplicação dos seus resultados se mantêm à frente das capacidades. Do ponto de vista social, significa recorrer a normas, instituições e colaboração para potenciar redes industriais, relações sociais e forças de mercado, de modo a gerar resultados positivos para todos. O recente apelo à ação coletiva na ciberdefesa é um exemplo deste último aspeto.
Os Estados Unidos estão bem posicionados para liderar, porque a sua indústria de IA está na fronteira tecnológica e o país ainda ocupa uma posição privilegiada nas redes mundiais de áreas críticas, como as finanças, o comércio, a defesa, a tecnologia e os sistemas de informação. Liderar agora determinará se os Estados Unidos moldam o enquadramento mundial da IA ou se assistem à consolidação, à sua volta, de um sistema fragmentado, desigual e marcado por conflitos. Isso também determinará se a IA avançada reforça as redes que os Estados Unidos e os seus aliados já possuem; não assumir a liderança poderá enfraquecê-las.
A competição geopolítica não incidirá apenas sobre quem está mais avançado tecnicamente, mas também sobre a adoção e a difusão da IA. Cada vez mais, estas poderão ser determinadas por quem promover uma cooperação realista e regras sensatas que empresas e sociedades de todo o mundo queiram adotar para apostar o seu futuro nesta tecnologia.
Uma governação nacional sólida, articulada através de uma cooperação internacional pragmática, abre caminho a salvaguardas mais robustas, à inovação contínua e ao acesso generalizado aos benefícios da IA.
