Rede de red teaming da OpenAI

Estamos anunciando uma chamada aberta para a Rede de red teaming da OpenAI e convidamos especialistas de diversas áreas interessados em melhorar a segurança dos modelos da OpenAI a se juntar aos nossos esforços. Buscamos especialistas de várias áreas para colaborar conosco na avaliação rigorosa e nos testes de red teaming dos nossos modelos de IA.

O red teaming^A é parte integrante do nosso processo de implantação iterativa⁠. Nos últimos anos, nossos esforços de red teaming se ampliaram: além dos testes adversariais internos da OpenAI, passamos a trabalhar com um grupo de especialistas externos^B para ajudar a desenvolver taxonomias de risco específicas por área e avaliar capacidades potencialmente prejudiciais em novos sistemas. Você pode ler mais sobre nossos esforços anteriores de red teaming, incluindo o trabalho com especialistas externos, em modelos como DALL·E 2⁠(abre em uma nova janela) e GPT‑4⁠(abre em uma nova janela).^C

Hoje, estamos lançando uma iniciativa mais formal para avançar a partir dessas bases e aprofundar e ampliar nossas colaborações com especialistas externos, a fim de tornar nossos modelos mais seguros. Trabalhar com especialistas individuais, instituições de pesquisa e organizações da sociedade civil é uma parte importante do nosso processo. Vemos esse trabalho como um complemento às práticas de governança definidas externamente, como auditorias de terceiros.

A Rede de red teaming da OpenAI é uma comunidade de especialistas experientes e de confiança que pode ajudar a orientar nossos esforços de avaliação e mitigação de riscos de forma mais ampla, em vez de se limitar a colaborações pontuais e processos de seleção antes das principais implantações de modelos. Os membros da rede serão convidados, de acordo com sua especialidade, a ajudar nos testes de red teaming em várias etapas do ciclo de desenvolvimento de modelos e produtos. Nem todos os membros participarão de cada novo modelo ou produto. O tempo de dedicação será definido individualmente com cada membro e poderá ser de apenas 5 a 10 horas por ano.

Além das campanhas de red teaming encomendadas pela OpenAI, os membros terão a oportunidade de trocar experiências entre si sobre práticas e descobertas gerais de red teaming. O objetivo é permitir contribuições mais diversas e contínuas e tornar o red teaming um processo mais iterativo. Esta rede complementa outras oportunidades de colaboração em segurança da IA, incluindo nosso Programa de Acesso para Pesquisadores⁠ e nossas avaliações de código aberto⁠(abre em uma nova janela).

Esta rede oferece uma oportunidade única de influenciar o desenvolvimento de tecnologias e políticas de IA mais seguras, bem como o impacto que a IA pode ter na forma como vivemos, trabalhamos e interagimos. Ao entrar nesta rede, você integrará nosso grupo de especialistas que podem ser convidados a avaliar nossos modelos e sistemas em várias etapas de sua implantação.

Avaliar sistemas de IA exige compreender uma ampla variedade de áreas, perspectivas e vivências. Convidamos especialistas de todo o mundo a se inscrever e estamos priorizando tanto a diversidade geográfica quanto a de áreas de conhecimento em nosso processo de seleção. 

Algumas das áreas de nosso interesse incluem, entre outras:

Não é necessário ter experiência prévia com sistemas de IA ou modelos de linguagem, mas ela pode ser útil. O que mais valorizamos é sua disposição para participar e trazer sua perspectiva para a forma como avaliamos os impactos dos sistemas de IA.

Todos os membros da Rede de red teaming da OpenAI serão remunerados por suas contribuições ao participar de um projeto de red teaming. Embora participar desta rede não impeça você de publicar suas pesquisas ou buscar outras oportunidades, é importante considerar que a participação em red teaming e outros projetos costuma estar sujeita a acordos de confidencialidade (NDAs) ou permanecer sob sigilo por tempo indeterminado.

As inscrições estão encerradas.

P: O que envolve participar da rede?

R: Fazer parte da rede significa que podemos entrar em contato com você sobre oportunidades de testar um novo modelo ou uma área de interesse em um modelo já implantado. O trabalho realizado na rede está sujeito a um acordo de confidencialidade (NDA), embora historicamente tenhamos publicado muitas das nossas descobertas de red teaming em fichas de sistema e artigos de blog. Você receberá remuneração pelo tempo dedicado aos projetos de red teaming.

P: Quanto tempo é preciso dedicar à participação na rede? 

R: O tempo que você decidir dedicar pode ser ajustado de acordo com sua disponibilidade. Vale lembrar que nem todos os membros da rede serão contatados para cada oportunidade. A OpenAI selecionará os perfis mais adequados a cada projeto de red teaming e dará ênfase a novas perspectivas nas campanhas seguintes. Mesmo uma contribuição de apenas 5 horas por ano já seria valiosa para nós, então não hesite em se inscrever se tiver interesse, mas pouco tempo disponível.

P: Quando os candidatos serão informados de sua aprovação?

R: A OpenAI selecionará os membros da rede de forma contínua, e você pode se inscrever até 1º de dezembro de 2023. Após esse período, reavaliaremos a possibilidade de abrir novas inscrições.

P: Fazer parte da rede significa que serei convidado a realizar testes de red teaming em cada novo modelo?

R: Não. A OpenAI selecionará os perfis mais adequados a cada projeto de red teaming, e você não deve esperar testar todos os novos modelos.

P: Quais critérios vocês buscam nos membros da rede?

R: Alguns dos critérios que buscamos são:

• Conhecimento ou experiência comprovados em uma área relevante para red teaming

• Entusiasmo por melhorar a segurança da IA

• Ausência de conflitos de interesse

• Diversidade de trajetórias e participação de grupos tradicionalmente sub-representados

• Diversidade de representação geográfica 

• Fluência em mais de um idioma

• Habilidades técnicas (não obrigatórias)

P: Quais são as outras oportunidades de colaboração em segurança?

R: Além de participar da rede, há outras oportunidades de colaboração para contribuir com a segurança da IA. Por exemplo, uma opção é criar ou realizar avaliações de segurança de sistemas de IA e analisar os resultados.

O repositório de código aberto Evals⁠(abre em uma nova janela) da OpenAI (disponibilizado como parte do lançamento do GPT‑4⁠) oferece templates fáceis de usar e exemplos de métodos para dar início a esse processo.

As avaliações podem variar de testes simples de perguntas e respostas a simulações mais complexas. Como exemplos concretos, veja algumas avaliações desenvolvidas pela OpenAI para avaliar o comportamento da IA sob diferentes perspectivas:

Persuasão

• MakeMeSay⁠(abre em uma nova janela): Até que ponto um sistema de IA consegue enganar outro sistema de IA para fazê-lo dizer uma palavra secreta?

• MakeMePay⁠(abre em uma nova janela): Até que ponto um sistema de IA consegue convencer outro sistema de IA a doar dinheiro?

• Proposta em votação⁠(abre em uma nova janela): Até que ponto um sistema de IA consegue influenciar o apoio de outro sistema de IA a uma proposta política?

Esteganografia (mensagens ocultas)

• Esteganografia⁠(abre em uma nova janela): Até que ponto um sistema de IA consegue transmitir mensagens secretas sem ser detectado por outro sistema de IA?

• Compressão de texto⁠(abre em uma nova janela): Até que ponto um sistema de IA consegue comprimir e descomprimir mensagens para permitir a ocultação de mensagens secretas?

• Ponto de Schelling⁠(abre em uma nova janela): Até que ponto um sistema de IA consegue coordenar suas ações com outro sistema de IA sem comunicação direta?

Incentivamos a criatividade e a experimentação na avaliação de sistemas de IA. Quando sua avaliação estiver concluída, convidamos você a compartilhá-la no repositório de código aberto Evals⁠(abre em uma nova janela), para que toda a comunidade de IA possa utilizá-la.

Você também pode se inscrever no nosso Programa de Acesso para Pesquisadores⁠, que fornece créditos para apoiar pesquisadores que usam nossos produtos para estudar áreas relacionadas à implantação responsável da IA e à mitigação dos riscos associados.