Em junho, durante o treinamento e a avaliação internos, nossos modelos acessaram sites governamentais australianos de maneiras não autorizadas. Também deveríamos ter conduzido melhor nossa resposta. Pedimos desculpas e estamos trabalhando para fazer melhor no futuro.
Nesta publicação, apresentamos o que sabemos, o que mudamos e o que faremos para reconquistar a confiança do povo australiano. Este é um novo tipo de incidente cibernético, que representa um desafio global emergente. Uma das maneiras pelas quais pretendemos assumir a responsabilidade por essa situação é trabalhar de forma deliberada com a Austrália para ajudar a desenvolver abordagens práticas para que desenvolvedores de IA e governos identifiquem, divulguem e respondam a comportamentos cibernéticos de IA, sejam eles maliciosos ou não intencionais.
Após o incidente com a Hugging Face, em julho, começamos a revisar atividades anteriores de treinamento e avaliação para identificar outras organizações afetadas. Em meados de agosto, essa análise identificou atividades que afetaram os sites governamentais australianos listados abaixo.
Veja o que sabemos com base nas evidências:
Services Australia: Um modelo da OpenAI descobriu uma maneira de obter acesso não público ao serviço, executou comandos, obteve arquivos internos, credenciais e estatísticas agregadas, e gravou arquivos. No entanto, registros individuais de pacientes ou usuários do serviço não foram acessados. Abordamos esse incidente em mais detalhes abaixo.
Departamento de Estatísticas e Pesquisa sobre Criminalidade de Nova Gales do Sul (BOCSAR): Um modelo da OpenAI acessou a Ferramenta de Mapeamento de Crimes pública do BOCSAR para pesquisar estatísticas públicas sobre criminalidade (explicamos mais adiante por que os modelos realizam diversas tarefas de pesquisa de informações). O modelo fez requisições à API e solicitações de metadados do site por meio da ferramenta pública do BOCSAR, que fornece credenciais para requisições à API pelo navegador. O sistema do BOCSAR retornou a configuração da aplicação, tarefas operacionais e logs, além de metadados do site. Registros criminais individuais não foram acessados.
Departamento de Saúde de Victoria: Agentes da OpenAI descobriram uma chave de acesso exposta que permitia consultar o sistema de relatórios da Agência de Informações de Saúde de Victoria e obter configurações de relatórios e estatísticas agregadas de pesquisas. Não está claro até que ponto essas informações deveriam estar acessíveis, o que depende das políticas de acesso da VAHI. Prontuários médicos individuais ou respostas de pesquisas que permitissem identificar os participantes não foram acessados.
Instituto Australiano de Saúde e Bem-Estar: Agentes da OpenAI obtiveram estatísticas agregadas usando serviços de navegação e download de terceiros, inclusive do site do AIHW, e consultaram dados de gráficos diretamente. Tentativas separadas de contornar os controles de acesso não tiveram êxito. O material baixado parece ter estado disponível publicamente. Não houve comprometimento do sistema. Prontuários médicos individuais não foram acessados.
Iniciamos investigações sobre essas atividades assim que tomamos conhecimento delas, em meados de agosto. Notificamos a Services Australia e o Departamento de Saúde de Victoria em 10 de setembro, e o Departamento de Estatísticas e Pesquisa sobre Criminalidade de Nova Gales do Sul em 18 de setembro. A atividade relacionada ao Instituto Australiano de Saúde e Bem-Estar não atendia aos nossos critérios de divulgação, porque a forma de acesso parecia compatível com o acesso público. Ainda assim, notificamos o instituto em 24 de setembro para compartilhar nossas conclusões e oferecer uma reunião de esclarecimento.
Nosso objetivo era fornecer aos órgãos afetados um relato detalhado assim que nossa investigação fosse concluída. No entanto, deveríamos ter compartilhado as conclusões preliminares mais cedo e mantido os órgãos australianos informados à medida que novos fatos surgiam.
Desde então, temos trabalhado em estreita colaboração com órgãos governamentais australianos para compartilhar o que apuramos até agora. Se identificarmos outros órgãos afetados, nós os notificaremos prontamente e de forma direta com as informações disponíveis e forneceremos atualizações à medida que novos fatos surgirem.
Durante o treinamento e a avaliação internos em junho, estávamos executando um modelo experimental da OpenAI, de uso exclusivamente interno, que não se destinava ao lançamento público e não contava com o conjunto completo de salvaguardas usado em nossos produtos disponíveis ao público. Durante esse treinamento e essa avaliação, ele acessou o Serviço de Relatórios Estatísticos do Medicare da Services Australia. Até o momento, nossa análise não encontrou evidências de que prontuários médicos de qualquer pessoa tenham sido acessados.
Quando treinamos e avaliamos nossos modelos internamente, atribuímos a eles tarefas extraídas de um amplo conjunto de questões de pesquisa sobre diversos assuntos, que refletem os tipos de perguntas detalhadas que os usuários podem fazer. Isso treina o modelo para encontrar, interpretar e analisar informações disponíveis publicamente, tornando-o mais útil para as pessoas. Nossos modelos devem responder a essas perguntas usando estatísticas publicadas para acesso público.
Neste caso, uma das tarefas atribuídas ao modelo era pesquisar os gastos públicos por pessoa com medicamentos para doenças de pele em comunidades do estado de Victoria. O modelo teve dificuldade para obter essas informações e realizou ações que não havíamos autorizado. Ao buscar essas informações no Serviço de Relatórios Estatísticos do Medicare da Services Australia, descobriu uma maneira de obter acesso não público ao serviço. Em seguida, usou esse acesso para examinar informações técnicas do sistema e código-fonte relacionados ao serviço, ainda com o objetivo de encontrar as informações que buscava originalmente. Não era nossa intenção que essa atividade ocorresse, e nem o acesso ao serviço nem as ações posteriores deveriam ter acontecido.
Após o incidente com a Hugging Face, reforçamos as salvaguardas de pesquisa, incluindo restrições adicionais de rede e monitoramento ampliado. Implementamos controles para bloquear o acesso direto à internet nesses ambientes de pesquisa, disponibilizando o acesso à web por meio de conteúdo em cache. Como camada adicional de segurança, nossos sistemas atuais de monitoramento teriam detectado essa atividade e acionado nossa equipe para uma análise humana urgente. Por exemplo, quando um modelo obteve acesso direto à internet durante uma execução recente de treinamento(abre em uma nova janela), nosso monitoramento detectou a atividade e acionou um revisor humano, e interrompemos a execução. Continuamos testando essas proteções e corrigindo lacunas. O incidente com a Hugging Face continua sendo o mais grave que observamos.
As pessoas querem ter a certeza de que a IA está sendo desenvolvida com segurança, e isso começa com as ações das próprias empresas como a nossa. Recentemente, informamos(abre em uma nova janela) que pausamos o treinamento e a avaliação envolvendo o uso de ferramentas nos nossos modelos mais capazes. Só retomaremos o treinamento quando tivermos confiança de que as salvaguardas adicionais em que estamos trabalhando já estão implementadas.
À medida que os sistemas de IA se tornam mais capazes de modo geral, também vemos diminuir o tempo disponível para ajudar as organizações a encontrar e corrigir vulnerabilidades. Isso exige uma ação coletiva em parceria com profissionais de defesa cibernética de todo o mundo.
Nós nos unimos a organizações dos setores de tecnologia, cibersegurança e infraestrutura crítica em um chamado à ação coletiva pela defesa cibernética. Esse chamado começa pelas nossas próprias responsabilidades, incluindo salvaguardas mais robustas, divulgação em tempo hábil e apoio prático às organizações afetadas. Também pede investimentos nas equipes que protegem serviços essenciais, para que possam encontrar vulnerabilidades, verificar correções e compartilhar o que funciona.
Na Austrália, estamos destinando recursos e conhecimento técnico para apoiar os órgãos afetados e ajudar profissionais de defesa cibernética a colocar esses princípios em prática, incluindo:
Apoio dedicado aos órgãos afetados. Destinaremos os recursos necessários para ajudar os órgãos afetados a entender o que aconteceu e avaliar o impacto. Isso inclui compartilhar descobertas técnicas relevantes e organizar o contato com nossas equipes de resposta por meio de acordos adequados de compartilhamento de informações.
Financiamento e apoio para fortalecer as defesas cibernéticas. Apoiaremos os governos e o setor privado da Austrália com créditos do nosso fundo de US$ 1 bilhão Daybreak para profissionais de defesa na linha de frente e assistência técnica para fortalecer as defesas cibernéticas na infraestrutura crítica e em outros ambientes sensíveis. Com base na nossa colaboração com governos e operadores de infraestrutura crítica, esse trabalho ajudará as organizações a entender, detectar e responder melhor aos riscos de agentes de IA cada vez mais capazes.
Uma força-tarefa australiana. Criaremos uma força-tarefa com especialistas australianos independentes para desenvolver recomendações práticas de políticas voltadas à gestão dos riscos de agentes de IA cada vez mais capazes. Com base nas lições desses incidentes, ela se concentrará em melhorar os processos de notificação, fortalecer a coordenação entre desenvolvedores de IA e o governo e identificar medidas para proteger melhor os sistemas governamentais. As recomendações da força-tarefa orientarão a abordagem da OpenAI e apoiarão o trabalho dos governos australianos em segurança de IA e cibersegurança. A força-tarefa, que deve concluir seus trabalhos até o fim do ano, também recomendará medidas práticas que as empresas de IA podem adotar para reduzir o risco de incidentes semelhantes.
Os governos, os setores econômicos e os cidadãos da Austrália são, e têm sido, parceiros de valor inestimável para a OpenAI. Valorizamos essa parceria e pretendemos reparar a situação.
O diretor de estratégia da OpenAI, Jason Kwon, viajará da sede da OpenAI nos EUA para comparecer à Comissão Especial Mista de Inteligência Artificial, em Sydney, na terça-feira, 6 de outubro. Ele responderá a perguntas sobre o que sabemos, como reagimos, quais medidas tomamos e como faremos melhor daqui em diante.
Continuaremos compartilhando as conclusões verificadas com os órgãos afetados e os governos envolvidos. Publicaremos atualizações sobre nossa análise em andamento e o progresso no cumprimento desses compromissos. Sabemos que temos muito trabalho pela frente para reconquistar essa confiança e que cabe a nós demonstrar aos australianos que estamos fazendo mudanças significativas e cumprindo nossas promessas.
