Rede de red teaming da OpenAI

Anunciamos a abertura de candidaturas à Rede de red teaming da OpenAI e convidamos especialistas interessados em melhorar a segurança dos modelos da OpenAI a juntarem-se aos nossos esforços. Procuramos especialistas de várias áreas para colaborar connosco na avaliação rigorosa e no red teaming dos nossos modelos de IA.

O red teaming^A é parte integrante do nosso processo de implementação iterativa⁠. Nos últimos anos, os nossos esforços de red teaming deixaram de se centrar apenas em testes adversariais internos na OpenAI e passaram a incluir a colaboração com um grupo de especialistas externos^B, para ajudar a desenvolver taxonomias de risco específicas de cada área e a avaliar capacidades potencialmente nocivas em novos sistemas. Pode saber mais sobre os nossos esforços anteriores de red teaming, incluindo o trabalho com especialistas externos, em modelos como o DALL·E 2⁠(abre numa nova janela) e o GPT‑4⁠(abre numa nova janela).^C

Hoje, lançamos uma iniciativa mais formal para dar continuidade a estas bases e aprofundar e alargar a colaboração com especialistas externos, de modo a tornar os nossos modelos mais seguros. A colaboração com especialistas a título individual, instituições de investigação e organizações da sociedade civil é uma parte importante do nosso processo. Vemos este trabalho como um complemento às práticas de governação definidas por entidades externas, como as auditorias de terceiros.

A Rede de red teaming da OpenAI é uma comunidade de especialistas experientes e de confiança que podem ajudar a orientar os nossos esforços de avaliação e mitigação de riscos de forma mais abrangente, em vez de se limitarem a colaborações pontuais e processos de seleção antes das principais implementações de modelos. Os membros da rede serão chamados, de acordo com as suas competências, a ajudar no red teaming em várias fases do ciclo de desenvolvimento dos modelos e produtos. Nem todos os membros estarão envolvidos em cada novo modelo ou produto. O tempo a dedicar será acordado com cada membro e poderá ser de apenas 5 a 10 horas por ano.

Fora das campanhas de red teaming encomendadas pela OpenAI, os membros terão a oportunidade de trocar ideias sobre práticas e conclusões gerais de red teaming. O objetivo é permitir contributos mais diversificados e contínuos e tornar o red teaming um processo mais iterativo. Esta rede complementa outras oportunidades de colaboração na segurança da IA, incluindo o nosso Programa de Acesso para Investigadores⁠ e as avaliações de código aberto⁠(abre numa nova janela).

Esta rede oferece uma oportunidade única de influenciar o desenvolvimento de tecnologias e políticas de IA mais seguras, bem como o impacto que a IA pode ter na forma como vivemos, trabalhamos e interagimos. Ao aderir a esta rede, passará a integrar o nosso grupo de especialistas que poderão ser chamados a avaliar os nossos modelos e sistemas em várias fases da sua implementação.

Avaliar sistemas de IA exige compreender uma grande variedade de áreas, perspetivas diversas e experiências de vida. Convidamos especialistas de todo o mundo a candidatarem-se e damos prioridade à diversidade geográfica e de áreas de especialização no nosso processo de seleção. 

Entre as áreas que nos interessam, incluem-se:

Não é necessária experiência prévia com sistemas de IA ou modelos de linguagem, mas pode ser útil. O que mais valorizamos é a sua vontade de participar e de trazer a sua perspetiva à forma como avaliamos os impactos dos sistemas de IA.

Todos os membros da Rede de red teaming da OpenAI serão remunerados pelos seus contributos quando participarem num projeto de red teaming. Embora a adesão a esta rede não impeça a publicação da sua investigação nem a procura de outras oportunidades, deve ter em conta que a participação em projetos de red teaming e noutros projetos está frequentemente sujeita a acordos de confidencialidade (NDA) ou permanece confidencial por tempo indeterminado.

As candidaturas estão encerradas.

P: O que implica aderir à rede?

R: Fazer parte da rede significa que poderemos entrar em contacto consigo para lhe propor testar um novo modelo ou uma área de interesse num modelo já disponibilizado. O trabalho realizado no âmbito da rede está sujeito a um acordo de confidencialidade (NDA), embora já tenhamos publicado muitas das nossas conclusões de red teaming em fichas de sistema e artigos de blogue. Receberá uma remuneração pelo tempo dedicado a projetos de red teaming.

P: Quanto tempo é necessário dedicar à rede? 

R: O tempo que decidir dedicar pode ser ajustado à sua disponibilidade. Note que nem todos os membros da rede serão contactados para cada oportunidade. A OpenAI selecionará os perfis mais adequados a cada projeto de red teaming e privilegiará novas perspetivas nas campanhas de red teaming seguintes. Mesmo apenas 5 horas por ano seriam valiosas para nós, por isso não hesite em candidatar-se se tiver interesse, mas pouco tempo disponível.

P: Quando serão os candidatos notificados da sua aceitação?

R: A OpenAI selecionará os membros da rede de forma contínua e poderá candidatar-se até 1 de dezembro de 2023. Após este período, reavaliaremos a possibilidade de abrir novas candidaturas.

P: Fazer parte da rede significa que me será pedido para realizar red teaming em todos os novos modelos?

R: Não. A OpenAI selecionará os perfis mais adequados a cada projeto de red teaming, pelo que não deve esperar testar todos os novos modelos.

P: Quais são alguns dos critérios que procuram nos membros da rede?

R: Alguns dos critérios que procuramos são:

• Competências ou experiência comprovadas numa área relevante para o red teaming

• Forte motivação para melhorar a segurança da IA

• Ausência de conflitos de interesses

• Diversidade de percursos e inclusão de grupos tradicionalmente sub-representados

• Diversidade geográfica 

• Fluência em mais de uma língua

• Competências técnicas (não obrigatórias)

P: Que outras oportunidades existem para colaborar na segurança da IA?

R: Além da adesão à rede, existem outras oportunidades de colaboração para contribuir para a segurança da IA. Uma opção, por exemplo, é criar ou realizar avaliações de segurança de sistemas de IA e analisar os resultados.

O repositório de código aberto Evals⁠(abre numa nova janela) da OpenAI (disponibilizado no âmbito do lançamento do GPT‑4⁠) oferece modelos fáceis de usar e exemplos de métodos para dar início a este processo.

As avaliações podem ir de simples testes de perguntas e respostas a simulações mais complexas. Como exemplos concretos, apresentamos algumas avaliações desenvolvidas pela OpenAI para avaliar os comportamentos da IA de várias perspetivas:

Persuasão

• MakeMeSay⁠(abre numa nova janela): Até que ponto consegue um sistema de IA enganar outro sistema de IA para o levar a dizer uma palavra secreta?

• MakeMePay⁠(abre numa nova janela): Até que ponto consegue um sistema de IA convencer outro sistema de IA a doar dinheiro?

• Proposta de votação⁠(abre numa nova janela): Até que ponto consegue um sistema de IA influenciar o apoio de outro sistema de IA a uma proposta política?

Esteganografia (mensagens ocultas)

• Esteganografia⁠(abre numa nova janela): Até que ponto consegue um sistema de IA transmitir mensagens secretas sem ser detetado por outro sistema de IA?

• Compressão de texto⁠(abre numa nova janela): Até que ponto consegue um sistema de IA comprimir e descomprimir mensagens para permitir ocultar mensagens secretas?

• Ponto de Schelling⁠(abre numa nova janela): Até que ponto consegue um sistema de IA coordenar-se com outro sistema de IA sem comunicação direta?

Incentivamos a criatividade e a experimentação na avaliação de sistemas de IA. Quando concluir a sua avaliação, convidamos a partilhá-la no repositório de código aberto Evals⁠(abre numa nova janela), para que possa ser utilizada por toda a comunidade de IA.

Também pode candidatar-se ao nosso Programa de Acesso para Investigadores⁠, que disponibiliza créditos para apoiar investigadores que utilizem os nossos produtos para estudar áreas relacionadas com a implementação responsável da IA e a mitigação dos riscos associados.