Em junho, durante o treino e a avaliação internos, os nossos modelos acederam a sites governamentais australianos de formas não autorizadas. Também deveríamos ter gerido melhor a nossa resposta. Pedimos desculpa e estamos a trabalhar para fazer melhor no futuro.
Nesta publicação, explicamos o que sabemos, o que mudámos e o que faremos para reconquistar a confiança do povo australiano. Trata-se de um novo tipo de incidente cibernético que representa um desafio global emergente. Uma das formas de assumirmos a responsabilidade por esta situação é colaborar de forma empenhada com a Austrália para ajudar a desenvolver abordagens práticas que permitam a quem desenvolve IA e aos governos identificar, comunicar e responder a comportamentos cibernéticos da IA, sejam maliciosos ou não intencionais.
Após o incidente com a Hugging Face em julho, começámos a analisar a atividade anterior de treino e avaliação para identificar outras organizações afetadas. Em meados de agosto, essa análise identificou atividade que afetava os sites governamentais australianos indicados abaixo.
Eis o que sabemos com base nos elementos apurados:
Services Australia: Um modelo da OpenAI descobriu uma forma de obter acesso a áreas não públicas do serviço, executou comandos, obteve ficheiros internos, credenciais e estatísticas agregadas e escreveu ficheiros. No entanto, não foram acedidos registos individuais de pacientes ou utentes. Abordamos este incidente com mais detalhe abaixo.
Gabinete de Estatísticas e Investigação Criminal de Nova Gales do Sul (BOCSAR): Um modelo da OpenAI acedeu à ferramenta pública de mapeamento da criminalidade do BOCSAR para pesquisar estatísticas públicas sobre criminalidade (explicamos mais adiante por que razão os modelos realizam diversas tarefas de pesquisa de informação). O modelo fez pedidos à API e pedidos de metadados do site através da ferramenta pública do BOCSAR, que fornece credenciais para pedidos à API a partir do navegador. O sistema do BOCSAR devolveu a configuração da aplicação, tarefas e registos operacionais e metadados do site. Não foram acedidos registos criminais individuais.
Departamento de Saúde do Estado de Vitória: Agentes da OpenAI descobriram uma chave de acesso exposta que lhes permitiu consultar o sistema de relatórios da Agência de Informação de Saúde do Estado de Vitória e obter a configuração dos relatórios e estatísticas agregadas de inquéritos. Não é claro até que ponto esta informação deveria estar acessível, o que depende das políticas de acesso da VAHI. Não foram acedidos registos clínicos individuais nem respostas a inquéritos que permitissem identificar os participantes.
Instituto Australiano de Saúde e Bem-Estar: Agentes da OpenAI obtiveram estatísticas agregadas através de serviços de navegação e transferência de ficheiros de terceiros, incluindo a partir do site do AIHW, e consultaram diretamente dados de gráficos. Outras tentativas de contornar os controlos de acesso não tiveram êxito. O material descarregado parece ter estado disponível publicamente. O sistema não foi comprometido. Não foram acedidos registos clínicos individuais.
Iniciámos investigações sobre estas atividades assim que tomámos conhecimento delas, em meados de agosto. Notificámos a Services Australia e o Departamento de Saúde do Estado de Vitória a 10 de setembro e o Gabinete de Estatísticas e Investigação Criminal de Nova Gales do Sul a 18 de setembro. A atividade relacionada com o Instituto Australiano de Saúde e Bem-Estar não atingiu os nossos limiares de notificação, porque a forma de acesso parecia compatível com o acesso público. Ainda assim, notificámos o instituto a 24 de setembro para partilhar as nossas conclusões e propor uma sessão de esclarecimento.
O nosso objetivo era fornecer aos organismos afetados um relato detalhado assim que a investigação estivesse concluída. No entanto, deveríamos ter partilhado as conclusões preliminares mais cedo e mantido os organismos australianos informados à medida que apurávamos mais factos.
Desde então, temos colaborado estreitamente com os organismos governamentais australianos para partilhar o que apurámos até à data. Se identificarmos outros organismos afetados, notificá-los-emos de forma rápida e direta com a informação disponível e forneceremos atualizações à medida que apurarmos mais factos.
Durante o treino e a avaliação internos em junho, estávamos a executar um modelo experimental da OpenAI, exclusivamente para uso interno, que não se destinava a ser disponibilizado ao público e não dispunha do conjunto completo de salvaguardas utilizado nos nossos produtos disponíveis ao público. Durante esse treino e avaliação, o modelo acedeu ao serviço de relatórios estatísticos do Medicare da Services Australia. A nossa análise não encontrou, até à data, indícios de acesso a registos clínicos de qualquer pessoa.
Quando realizamos o treino e a avaliação internos dos nossos modelos, atribuímos-lhes tarefas retiradas de um vasto conjunto de questões de investigação sobre muitos temas, que refletem o tipo de perguntas detalhadas que os utilizadores podem fazer. Desta forma, o modelo é treinado para encontrar, interpretar e analisar informação disponível publicamente, para que possa ser mais útil às pessoas. Os nossos modelos devem responder a estas perguntas utilizando estatísticas publicadas e acessíveis ao público.
Neste caso, uma das tarefas atribuídas ao modelo era pesquisar a despesa pública por pessoa com medicamentos para doenças de pele nas comunidades do Estado de Vitória. O modelo teve dificuldade em obter essa informação e realizou ações que não tínhamos autorizado. Ao procurar esta informação no serviço de relatórios estatísticos do Medicare da Services Australia, descobriu uma forma de obter acesso a áreas não públicas do serviço. Em seguida, usou esse acesso para consultar informações técnicas do sistema e código-fonte relacionados com o serviço, sempre com o objetivo de encontrar a informação que procurava inicialmente. Não era nossa intenção que esta atividade ocorresse, e tanto o acesso ao serviço como a atividade subsequente não deveriam ter acontecido.
Após o incidente com a Hugging Face, reforçámos as salvaguardas da nossa investigação, incluindo restrições de rede adicionais e uma monitorização mais abrangente. Implementámos controlos para bloquear o acesso direto à Internet nestes ambientes de investigação, passando o acesso à Web a ser feito através de conteúdos em cache. Como camada adicional de segurança, os nossos sistemas de monitorização atuais teriam detetado esta atividade e alertado a nossa equipa para uma análise humana urgente. Por exemplo, quando um modelo obteve acesso direto à Internet durante uma sessão de treino recente(abre numa nova janela), a nossa monitorização detetou a atividade e alertou um revisor humano, e interrompemos a sessão. Continuamos a testar estas proteções e a colmatar lacunas. O incidente com a Hugging Face continua a ser o mais grave que observámos.
As pessoas querem saber que a IA está a ser desenvolvida de forma segura, e isso começa pela forma como empresas como a nossa atuam. Recentemente, comunicámos(abre numa nova janela) que suspendemos o treino e a avaliação dos nossos modelos mais capazes que envolvam a utilização de ferramentas. Só retomaremos o treino quando tivermos confiança nas salvaguardas adicionais que estamos agora a desenvolver e a implementar.
À medida que os sistemas de IA se tornam mais capazes de um modo geral, vemos também diminuir o tempo disponível para ajudar as organizações a encontrar e corrigir fragilidades. Isto exige uma ação coletiva em colaboração com os responsáveis pela ciberdefesa em todo o mundo.
Juntámo-nos a organizações dos setores da tecnologia, da cibersegurança e das infraestruturas críticas num apelo à ação coletiva em matéria de ciberdefesa. Esse apelo começa pelas nossas próprias responsabilidades, incluindo salvaguardas mais robustas, a divulgação atempada de informação e o apoio prático às organizações afetadas. Apela também ao investimento nas equipas que protegem os serviços essenciais, para que possam encontrar vulnerabilidades, verificar correções e partilhar o que funciona.
Na Austrália, estamos a disponibilizar recursos e conhecimentos especializados para apoiar os organismos afetados e ajudar os responsáveis pela ciberdefesa a pôr estes princípios em prática, nomeadamente através de:
Apoio específico aos organismos afetados. Disponibilizaremos os recursos necessários para ajudar os organismos afetados a compreender o que aconteceu e a avaliar o impacto. Isto inclui partilhar conclusões técnicas relevantes e organizar a colaboração com as nossas equipas de resposta através de mecanismos adequados de partilha de informação.
Financiamento e apoio para reforçar a ciberdefesa. Apoiaremos os governos e a indústria da Austrália através de créditos do nosso fundo Daybreak for Frontline Defenders, de mil milhões de dólares, e de assistência técnica para reforçar a ciberdefesa das infraestruturas críticas e de outros ambientes sensíveis. Com base na nossa colaboração com governos e operadores de infraestruturas críticas, este trabalho ajudará as organizações a compreender melhor, detetar e responder aos riscos associados a agentes de IA cada vez mais capazes.
Um grupo de trabalho australiano. Criaremos um grupo de trabalho com especialistas australianos independentes para elaborar recomendações práticas de políticas para gerir os riscos associados a agentes de IA cada vez mais capazes. Com base nas lições retiradas destes incidentes, o grupo centrar-se-á em melhorar os processos de notificação, reforçar a coordenação entre quem desenvolve IA e o governo e identificar medidas para proteger melhor os sistemas governamentais. As recomendações do grupo de trabalho orientarão a abordagem da OpenAI e apoiarão o trabalho dos governos australianos em matéria de segurança da IA e cibersegurança. O grupo de trabalho, que deverá concluir os seus trabalhos até ao final do ano, recomendará também medidas práticas que as empresas de IA podem tomar para reduzir o risco de incidentes semelhantes.
Os governos, as indústrias e os cidadãos da Austrália têm sido e continuam a ser parceiros de valor inestimável para a OpenAI. Não tomamos esta relação como garantida e tencionamos reparar a situação.
O diretor de estratégia da OpenAI, Jason Kwon, deslocar-se-á da sede da OpenAI nos EUA para comparecer perante a Comissão Parlamentar Mista Especial sobre Inteligência Artificial, em Sydney, na terça-feira, 6 de outubro. Responderá a perguntas sobre o que sabemos, como respondemos, que medidas tomámos e como faremos melhor no futuro.
Continuaremos a partilhar conclusões verificadas com os organismos afetados e os governos relevantes. Publicaremos atualizações sobre a nossa análise em curso e os progressos no cumprimento destes compromissos. Sabemos que temos muito trabalho pela frente para reconquistar a confiança dos australianos e que nos cabe demonstrar que estamos a fazer mudanças significativas e a cumprir as nossas promessas.
