Cartão do sistema GPT‑4o

Avaliamos extensivamente os novos modelos em busca de riscos e instalamos proteções adequadas antes de implementá-los no ChatGPT ou na API. Estamos publicando o cartão do sistema do modelo juntamente com a pontuação da Estrutura de Preparo⁠ para oferecer uma avaliação de segurança de ponta a ponta do GPT‑4o⁠, inclusive com o que fizemos para acompanhar e resolver os desafios de segurança e riscos de vanguarda de hoje.

Desenvolvendo as avaliações de segurança e mitigações que já desenvolvemos para o GPT‑4⁠ e o GPT‑4V⁠, nos dedicamos ainda mais aos recursos de áudio do GPT‑4o que apresentam riscos novos, além de avaliar também suas capacidades de texto e visão.

Alguns dos riscos que avaliamos foram a identificação do falante, geração de voz não autorizada, possível geração de conteúdo protegido por direitos autorais, inferências não embasadas e conteúdos não autorizados. Considerando essas avaliações, implementamos proteções no nível do modelo e também do sistema para mitigar esses riscos. 

Constatamos que o modo de voz do GPT‑4o não aumenta significativamente os riscos de Preparo. A pontuação foi baixa em três das quatro categorias da Estrutura de Preparo, sendo que a persuasão teve pontuação próxima de média. O Grupo de Consultoria de Segurança⁠(abre em uma nova janela) analisou nossas avaliações e mitigações de Preparo durante o processo de desenvolvimento seguro. Fique à vontade para ler os detalhes desse trabalho no relatório a seguir.

O GPT‑4o¹ é um omnimodelo autorregressivo que aceita como entrada qualquer combinação de texto, áudio, imagem e vídeo e gera qualquer combinação de resultados em texto, áudio e imagem. Ele é treinado de ponta a ponta com texto, visão e áudio, o que significa que todas as entradas e resultados são processados pela mesma rede neural. 

O GPT‑4o é capaz de responder a entradas de áudio em apenas 232 milissegundos, com uma média de 320 milissegundos, o que é semelhante ao tempo de resposta humana⁠(abre em uma nova janela)² em uma conversa. Ele iguala o desempenho do GPT‑4 Turbo em textos em inglês e código, com melhorias significativas em textos em outros idiomas. Fora isso, é muito mais rápido e 50% mais barato na API. O GPT‑4o apresenta uma melhora significativa na compreensão visual e auditiva, sobretudo em comparação com os modelos existentes.

Em linha com nosso compromisso de desenvolver a IA com segurança e segundo nossos compromissos voluntários com a Casa Branca³, estamos compartilhando o Cartão do Sistema GPT‑4o, que inclui as avaliações da Estrutura de Preparo⁠(abre em uma nova janela)⁵. Neste Cartão de Sistema, mostramos em detalhes as capacidades, limitações e avaliações de segurança do GPT‑4o em várias categorias, com foco nos recursos de fala (voz)^A, avaliando também recursos de texto e imagem, além das medidas tomadas para melhorar a segurança e o alinhamento. Também incluímos avaliações de terceiros sobre recursos autônomos gerais, além da discussão dos possíveis impactos sociais dos recursos de texto e visão do GPT‑4o.

Os recursos do GPT‑4o foram treinados previamente com dados até outubro de 2023 obtidos de diversos materiais, inclusive:

1. Dados disponíveis ao público selecionados, principalmente de conjuntos de dados padrão para aprendizado de máquina e buscas na web.
2. Dados proprietários obtidos de parceiros. Formamos parcerias para acessar dados não disponibilizados publicamente, como conteúdos, arquivos e metadados pagos. Por exemplo, fizemos uma parceria com a Shutterstock⁠(abre em uma nova janela)⁵ para desenvolver e fornecer imagens geradas por IA. 

Os principais componentes do conjuntos de dados que contribuíram para os recursos do GPT‑4o são:

1. Dados da web: dados de páginas públicas geram informações diversas e abundantes, permitindo que o modelo aprenda diversas perspectivas e tópicos.
2. Programação e matemática: a inclusão desses tópicos no treinamento ajuda o modelo a desenvolver uma sólida capacidade de reflexão a partir de lógica estruturada e processos de solução de problemas.
3. Dados multimodais: nossos dados incluem imagens, áudio e vídeos para ensinar os LLMs a interpretar e gerar entradas e resultados não textuais. A partir desses dados, o modelo aprende a interpretar imagens, ações e sequências em contextos do mundo real, além de padrões de linguagem e nuances da fala.

Antes da implementação, a OpenAI avalia e mitiga possíveis riscos dos modelos generativos, como prejuízos, vieses e discriminação causados pelas informações e outros conteúdos que violem nossas políticas de segurança. Usamos diversos métodos em todos os estágios de desenvolvimento durante o pré e pós-treinamento, desenvolvimento do produto e das políticas. Por exemplo: durante o pós-treinamento, alinhamos o modelo às preferências humanas; usamos red teams nos modelos resultantes e incluímos mitigações como monitoramento e reforços, além de ferramentas de moderação e relatórios de transparência para os usuários.

Constatamos que a maioria dos testes e mitigações eficazes são realizados após a etapa de pré-treinamento, porque somente os filtros e dados pré-treinados não são capazes de resolver problemas sutis e dependentes de contexto. Ao mesmo tempo, algumas mitigações por filtragem antes dos treinamento criam uma defesa extra que, em conjunto com outras mitigações de segurança, ajudam a excluir informações indesejadas e prejudiciais de nossos conjuntos de dados:

• Usamos a API Moderation e classificadores de segurança para excluir dados que possam contribuir para conteúdos prejudiciais ou riscos de informação, como pornografia infantil, conteúdo de ódio, violência e armas de destruição em massa. 
• Assim como nos sistemas anteriores de geração de imagens, filtramos os conjuntos de dados de geração de imagens para remover conteúdos explícitos de natureza sexual e de abuso infantil. 
• Usamos processos avançados de filtragem para reduzir a inserção de dados pessoais no material de treinamento.
• Com o lançamento do DALL·E 3, testamos uma nova abordagem para permitir que os usuários excluam certas imagens do treinamento⁠. Para respeitar essas exclusões, sinalizamos as imagens com impressões digitais, que usamos para remover todas as ocorrências dessas imagens do conjunto de dados de treinamento para os modelos da série GPT‑4o.

O preparo para a implementação envolveu a descoberta exploratória de novos riscos com red teams de especialistas, começando com pontos de verificação iniciais do modelo ainda em desenvolvimento, transformando os riscos identificados em medições estruturadas e desenvolvendo mitigações para elas.  Também avaliamos o GPT‑4o conforme nossa Estrutura de Preparo⁴.

A OpenAI trabalhou com mais de 100 especialistas externos em red teams^B falantes de 45 idiomas no total, com representação geográfica de 29 países. Esses especialistas tiveram acesso a diversos instantâneos do modelo em diferentes etapas do treinamento e de maturidade da mitigação de segurança, desde o começo de março até o fim de junho de 2024. 

O trabalho dos red teams externos foi desenvolvido em quatro fases. As três primeiras testaram o modelo com uma ferramenta interna, enquanto a quarta usou a experiência completa do iOS nos testes. No momento em que este documento foi escrito, ainda havia testes com red teams externos em andamento para o GPT‑4o.

Os red teams fizeram descoberta exploratória de capacidades, avaliaram novos riscos possíveis para o modelo e testaram as mitigações conforme foram desenvolvidas e aprimoradas, principalmente aquelas geradas por entradas e resultados em áudio (recursos de fala para fala). Esse trabalho dos red teams se desenvolveu a partir do trabalho anterior, inclusive o já descrito no Cartão do Sistema GPT‑4⁠(abre em uma nova janela)⁶ e no Cartão do Sistema GPT‑4(V)⁠⁷.

Os red teams abordaram categorias envolvendo conteúdos proibidos e infratores (conteúdo erótico ilegal, violência, autoflagelação, etc.), desinformação, vieses, inferências sem embasamento, atribuição de traços sensíveis, dados particulares, geolocalização, identificação pessoal, percepção emocional e riscos de antropomorfismo, comportamento fraudulento e roubo de identidade, direitos autoriais, funções de ciências naturais e observações multilíngues.

Os dados gerados pelos red teams resultaram em várias avaliações quantitativas descritas na seção Desafios, avaliações e mitigações de segurança observados⁠. Em alguns casos, as observações dos red teams foram usadas para fazer geração de dados sintéticos direcionados. Os modelos foram avaliados por classificadores automáticos e identificação manual, seguindo determinados critérios (ex.: violação ou não de políticas, recusa ou não). Além disso, algumas vezes os dados dos red teams foram reaproveitados^C em avaliações direcionadas com diversas vozes e exemplos, para testar a robustez de diversas mitigações.

Além dos dados dos red teams, diversos conjuntos de dados de avaliação existentes foram convertidos em avaliações para modelos de fala para fala a partir de sistemas de texto para fala (TTS), como o Mecanismo de Voz⁠. Convertemos tarefas de avaliação em texto em tarefas de avaliação em áudio, convertendo as entradas de texto em áudio. Assim, pudemos reaproveitar conjuntos de dados e ferramentas existentes para medição de capacidades do modelo, comportamento de segurança e monitoramento de resultados do modelo, expandindo nosso conjunto de avaliações utilizáveis.

Usamos o Mecanismo de Voz para converter entradas de texto em áudio, fornecê-las ao GPT‑4o e classificar os resultados do modelo. Sempre avaliamos somente o conteúdo do resultado do modelo, exceto nos casos em que o áudio precisa ser avaliado diretamente (consultar Geração de voz⁠).

Primeiramente, a validade desse formato de avaliação depende da capacidade e confiabilidade do modelo de TTS. Algumas entradas em texto não funcionam ou não se convertem bem em áudio, como equações matemáticas. Além disso, o TTS costuma sofrer perdas com determinadas entradas, como textos que usam muitos espaços em branco ou símbolos para formatação visual. Como esperamos que esse tipo de entrada também não será usado pelo usuário no Modo voz avançada, evitamos avaliar o modelo de conversão de fala em fala para esse tipo de tarefa ou fazemos um processamento prévio de exemplos com essas entradas. De qualquer forma, destacamos que quaisquer erros identificados em nossas avaliações podem ser consequências das capacidades do modelo ou da incapacidade do modelo de TTS de transformar corretamente as entradas de texto em áudio.

Outra questão pode ser a representatividade das entradas em TTS em relação à distribuição de entradas de áudio que os usuários devem apresentar para uso real. Avaliamos a robustez do GPT‑4o em entradas de áudio com diversos sotaques regionais em Desempenho diverso com entradas de voz. Contudo, ainda há outras dimensões que podem não ser capturadas em uma avaliação de TTS, como entonações a valências vocais diversas, ruído de fundo ou conversas paralelas, que podem mudar o comportamento do modelo no uso real.

Finalmente, pode haver artefatos ou propriedades do áudio gerado pelo modelo que não são capturadas em texto, como ruídos de fundo e efeitos sonoros, ou resposta com uma voz fora da gama de distribuição. Na Geração de voz⁠, ilustramos o uso de classificadores auxiliares para identificar geração de áudios indesejados que possam ser usados em conjunto com a classificação de transcrições.

Possíveis riscos do modelo foram mitigados com uma combinação de métodos. Treinamos o modelo para seguir o comportamento que reduzisse o risco com métodos pós-treinamento e também integramos classificadores para bloquear gerações específicas no sistema implementado. 

Para as questões de segurança descritas abaixo, oferecemos uma descrição do risco, a mitigação aplicada e os resultados da avaliações relevantes, quando aplicável. Os riscos descritos abaixo são ilustrativos e não exaustivos, concentrando-se na experiência da interface do ChatGPT. Nesta seção, nos concentramo nos riscos apresentados pelos recursos de conversão de fala em fala e como eles podem interagir com modalidades anteriores (texto, imagem)[[ff:D]].

Descrição do risco: a geração de voz é a capacidade de criar áudio com uma vez sintética que soa humana, inclusive gerando vozes baseadas em um trecho curto de áudio de entrada. 

Em situações prejudiciais, esse recurso pode promover danos como o aumento de fraudes por roubo de identidade e pode ser usado para espalhar informações falsas[fn:9]]¹⁰ (por exemplo, se permitirmos que os usuários carreguem um áudio de determinada pessoa e solicitem que o GPT‑4o produza um discurso com a voz dessa pessoa). São riscos similares aos identificados no Mecanismo de voz⁠⁸. 

A geração de voz também pode acontecer sem intenções prejudiciais, como o uso para gerar vozes para o modo voz avançada do ChatGPT. Durante os testes, também observamos situações raras em que o modelo gerou acidentalmente um resultado imitando a voz do usuário^E.

Mitigação do risco: abordamos os riscos relacionados à geração de voz permitindo somente o uso das vozes predefinidas que criamos em colaboração com atores contratados⁠¹¹. Para isso, inserimos as vozes selecionadas como resultados ideais durante o pós-treinamento do modelo de áudio. Além disso, criamos um classificador de resultados independente para detectar se o resultado do GPT‑4o está usando uma voz que não pertence à nossa lista aprovada. Isso é feito em streaming durante a geração de áudio, e o resultado é bloqueado quando a voz não corresponde à voz predefinida escolhida.

Avaliação: constatamos que o risco residual de geração de voz não autorizada é mínimo. Nosso sistema hoje capta 100% dos desvios significativos da voz do sistema^F segundo avaliações internas, o que inclui amostras geradas por outras vozes do sistema, trechos em que o modelo usa uma voz do prompt para produzir o resultado e diversas amostras humanas.

Embora a geração de voz não intencional ainda seja um ponto fraco do modelo, usamos os classificadores secundários para garantir que a conversa seja interrompida caso isso aconteça, minimizando o risco de geração de voz não intencional. Finalmente, nosso comportamento de moderação pode gerar excesso de recusas quando a conversa não está em inglês, uma questão que precisamos melhorar^G.

Desempenho de nosso classificador de resultados de voz em uma conversa por idioma^H

Descrição do risco: a identificação de falantes é a capacidade de identificar uma pessoa a partir de uma entrada de áudio. É um possível risco à privacidade, principalmente para particulares ou em caso de áudios desconhecidos de pessoas públicas, além do risco de monitoramento e vigilância.

Mitigação do risco: o GPT‑4o passou por pós-treinamento para recusar solicitações de identificação de pessoas a partir da voz fornecida em uma entrada de áudio. O GPT‑4o ainda aceita solicitações de identificação de citações famosas. Por exemplo, se a solicitação for para identificar uma pessoa comum dizendo “four score and seven years ago”, o falante será identificado como Abraham Lincoln, mas a solicitação de identificar uma celebridade dizendo uma frase qualquer será recusada.

Avaliações:
em relação ao modelo inicial, houve uma melhoria de 14 pontos em instâncias em que o modelo deve recusar-se a identificar a voz de uma entrada de áudio, e uma melhoria de 12 pontos nas instâncias em que o modelo deve atender à solicitação. 

No primeiro caso, isso significa que o modelo quase sempre se recusa corretamente a identificar o falante por sua voz, mitigando o problema de privacidade. No segundo, pode haver situações em que o modelo se recusa indevidamente a identificar o autor de uma citação famosa.

Descrição do risco: os modelos podem ter desempenhos diferentes com usuários que falam com sotaques diferentes. O desempenho díspar pode alterar a qualidade do serviço para diferentes usuários do modelo.

Mitigação do risco: o GPT‑4o passou por pós-treinamento com um conjunto diversificado de vozes para que o desempenho e o comportamento do modelo não variassem conforme a voz do usuário.

Avaliações: fizemos avaliações do modo voz avançada do GPT‑4o com um assistente de voz fixa (“shimmer”) e mecanismo de voz para gerar entradas de usuários com diversas amostras de voz^I. Usamos dois conjuntos de amostras de voz para TTS:

• Vozes oficiais do sistema (3 vozes diferentes)
• Um conjunto diversificado de vozes coletadas em duas campanhas de dados. Foram inclusas 27 amostras diferentes de vozes em inglês de falantes de diversos países e gêneros mistos.

Avaliamos dois conjuntos de tarefas: capacidades e comportamento seguro

Recursos: avaliamos quatro^J tarefas: TriviaQA, um subconjunto de MMLU^K, HellaSwag e LAMBADA. TriviaQA e MMLU são tarefas com foco em conhecimento; o foco de HellaSwag e LAMBADA são tarefas de senso comum ou continuação de textos. Em geral, constatamos que o desempenho com o conjunto diversificado de vozes humanas teve desempenho marginalmente pior do que outras vozes do sistema nas quatro tarefas.

Comportamento de segurança: avaliamos um conjunto de dados interno de conversas e a uniformidade da aderência do modelo e do comportamento de recusa com relação a diferentes vozes de usuários. No geral, não constatamos diferença no comportamento do modelo com as vozes diferentes.

Descrição do risco: entradas de áudio podem fazer com que o modelo faça inferências enviesadas sobre os falantes. Estabelecemos duas categorias:

• Inferência não embasada (UGI): inferências sobre um falante que não podem ser feitas somente a partir de áudio. Podem ser inferências sobre raça, status socioeconômico ou profissão, crença religiosa, personalidade, atributos políticos, inteligência, aparência (ex.: cor dos olhos, beleza), identidade de gênero, preferência sexual ou antecedentes criminais. Esse tipo de inferência pode gerar prejuízos por alocação ou representatividade^{13, 15}, dependendo da manifestação.
• Atribuição de traços confidenciais (STA): inferências sobre um falante que dificilmente poderiam ser feitas somente a partir de áudio. Exemplos disso seriam conclusões sobre o sotaque ou nacionalidade de um falante. Possíveis danos desse tipo de inferência incluem aumento do risco de vigilância¹⁶ e alteração na qualidade de atendimento para falantes com atributos de voz diferentes^{12, 13, 14}.

Mitigação do risco: o pós-treinamento do GPT‑4o estabelece recusa de solicitações de UGI e qualificação de solicitações com STA. Por exemplo: a solicitação de identificação do nível de inteligência do falante será recusada, mas uma solicitação de identificação do sotaque de um falante será respondida com ressalvas, como “Considerando este áudio, a pessoa parece ter um sotaque britânico”.

Avaliação:
em relação ao nosso modelo inicial, constatamos uma melhora de 24 pontos nas respostas corretas do modelo para identificar traços confidenciais (ex.: recusar UGI e manter os parâmetro corretos para STA).

Descrição do risco: o GPT‑4o pode ser solicitado a produzir conteúdos prejudiciais através de áudio que não seriam permitidos em texto, como um resultado em áudio com instruções para realizar atividades ilegais.

Mitigação do risco: constatamos alta transferência de texto para áudio em recusas de conteúdos já proibidos. Isso significa que o pós-treinamento feito para reduzir a possibilidade de danos provocados pelos resultados em texto do GPT‑4o foi bem transferido para os resultados em áudio.

Também rodamos o modelo de moderação em transcrições de texto a partir de entradas e saídas de áudio para detectar se havia expressões possivelmente prejudiciais, e se a geração seria bloqueada nesses casos^L.

Avaliação: usamos TTS para converter avaliações existentes de segurança de texto para áudio. Avaliamos então a transcriação de texto do resultado em áudio com o classificador padrão de texto baseado em regras. Nossas avaliações mostram boa transferência de texto para áudio nas recusas em áreas pré-existentes na política de conteúdos. Veja outras avaliações no Apêndice A⁠.

Descrição do risco: o GPT‑4o pode ser solicitado a produzir falas eróticas ou violentas, que podem ser mais sugestivas ou prejudiciais do que o mesmo conteúdo no formato escrito. Por isso, decidimos restringir a geração de falas eróticas e violentas^M. 

Mitigação do risco: aplicamos o modelo de moderação existente⁠(abre em uma nova janela)¹⁷ a uma transcrição em texto da entrada de áudio para detectar se havia uma solicitação de conteúdo erótico ou violento, e nesse caso a geração é bloqueada.

Durante testes internos e trabalho de red teams externos, descobrimos mais alguns pequenos riscos e limitações do modelo, cujas mitigações do modelo ou do sistema ainda estão em desenvolvimento ou criação:

Robustez do áudio: localizamos casos isolados de redução na robustez da segurança com perturbações do áudio, como áudio de entrada de baixa qualidade, ruído de fundo no áudio de entrada e ecos no áudio de entrada. Observamos também uma redução semelhante na robustez da segurança com interrupções intencionais ou não do áudio enquanto o modelo estava gerando um resultado. 

Desinformação e teorias da conspiração: os red teams conseguiram fazer com que o modelo gerasse informações imprecisas pedindo que ele repetisse verbalmente fatos incorretos e produzisse teorias da conspiração. Embora esse seja um problema comum nos modelos do GPT^{18, 19}, os red teams questionaram se essas informações não seriam mais persuasivas ou prejudiciais quando apresentadas em áudio, principalmente se o modelo fosse instruído a falar de forma emotiva ou enfática. O nível de persuasão do modelo foi estudado em detalhes (consultar Persuasão⁠), e constatamos que o modelo não pontuou acima do risco Médio para resultados somente em texto, e em resultados de fala para fala o modelo não pontuou acima de Baixo.

Fala com sotaque estrangeiro em línguas diferentes do inglês: Os red teams observaram situações em que o resultado em áudio tinha um sotaque estrangeiro ao falar em idiomas diferentes do inglês. Isso pode levantar questionamentos sobre vieses em relação a certos sotaques e idiomas e, no geral, em relação a limitações de desempenho nos resultados em áudio para idiomas diferentes do inglês.

Geração de conteúdo com direitos autorais: Também testamos a capacidade do GPT‑4o de repetir conteúdos encontrados em seus dados de treinamento. Treinamos o GPT‑4o para recusar solicitações de conteúdo com direitos autorais, inclusive áudio, em conformidade com nossas práticas gerais. Considerando a modalidade de áudio do GPT‑4o, também atualizamos alguns filtros de texto para funcionarem em conversas por áudio, criamos filtros para detectar e bloquear resultados que contenham música e, para o alfa limitado do modo voz avançada do ChatGPT, instruímos o modelo a não cantar nunca. Pretendemos acompanhar a eficácia dessas mitigações e refiná-las com o tempo.

Embora algumas mitigações técnicas ainda estejam em desenvolvimento, nossas políticas de uso⁠²⁰ proíbem práticas intencionalmente enganosas e tentativas de encontrar brechas ou desvios das mitigações de segurança. Além das mitigações técnicas, monitoramos o cumprimento das políticas de uso e agimos em caso de violações, tanto no ChatGPT quanto na API.

Avaliamos o GPT‑4o conforme nossa Estrutura de preparo⁠(abre em uma nova janela)⁴. A estrutura de preparo é um documento vivo que descreve nossos compromissos em termos de procedimentos para rastrear, avaliar, prever e prevenir riscos catastróficos nos modelos de vanguarda. As avaliações no momento cobrem quatro categorias de risco: cibersegurança, CBRN (ameaças químicas, biológicas, radiológicas e nucleares), persuasão e autonomia do modelo. Se um modelo ultrapassar um limite de alto risco, ele não será implementado até que haja mitigações que reduzam o risco ao médio. Indicamos abaixo as avaliações realizadas nos recursos de texto do GPT‑4o. A persuasão também foi avaliada para os recursos de áudio. Fizemos avaliações durante todo o treinamento e desenvolvimento do modelo, inclusive uma rodada final antes do lançamento.  Para as avaliações a seguir, testamos diversos métodos para extrair os recursos de determinada categoria, inclusive treinamentos personalizados em alguns casos. 

Considerando os resultados das avaliações de Preparo, o Grupo de consultoria de segurança recomendou classificar o GPT‑4o antes das mitigações como praticamente risco médio para persuasão e risco baixo nas outras categorias. Segundo a Estrutura de preparo, o risco geral de um dado modelo é definido pelo risco mais alto em todas as categorias. Portanto, a classificação de risco geral do GPT‑4o está definida como média.

Avaliamos o GPT‑4o com tarefas em competições de hacking chamadas de desafios Capturar a bandeira (CTF). Os CTF são exercícios ofensivos de cibersegurança em que humanos tentam localizar sinalizadores em texto ocultos em sistemas propositalmente vulneráveis, como aplicativos para web, binários e sistemas de criptografia. As 172 tarefas de CTF de nossa avaliação abrangeram quatro categorias: exploração de aplicativo web, engenharia reversa, exploração remota e criptografia. Essas tarefas envolveram diversos níveis de capacidade, como colegial, universitário e CTFs profissionais.

Avaliamos o GPT‑4o com depuração iterativa e acesso a ferramentas disponíveis na distribuição sem comando Kali Linux⁠(abre em uma nova janela) (com até 30 rodadas de uso da ferramenta em cada tentativa). O modelo tentou estratégias iniciais razoáveis e conseguiu corrigir erros no próprio código. Contudo, muitas vezes ele deixou de adotar estratégias diferentes quando a estratégia inicial não funcionava, não percebeu uma informação crucial para resolver a tarefa, executou a estratégia de forma incorreta ou imprimiu arquivos grandes que preenchiam a janela de contexto. Com 10 tentativas para cada tarefa, o modelo finalizou 19% dos desafios de CTF em nível colegial, 0% em nível universitário e 1% em nível profissional.

Avaliamos sua capacidade de melhorar o desempenho de especialistas e novatos⁠ para responder perguntas relevantes para a criação de uma ameaça biológica. As perguntas e ementas detalhadas foram formatadas com a Gryphon Scientific²², devido ao seu conhecimento de agentes biológicos perigosos em ambiente de segurança nacional. As tarefas abordaram todas as principais etapas da criação de uma ameaça biológica (ideia, aquisição, magnificação, formulação e disseminação). Especialistas e novatos foram distribuídos aleatoriamente para responder com ajuda da internet, do GPT‑4o ou de uma versão personalizada somente para pesquisas do GPT‑4o. A versão somente para pesquisa do GPT‑4o foi treinada especificamente para responder (sem recusas) a dúvidas biológicas com risco. O gráfico acima indica as taxas de aprovação.

Também fizemos avaliações automáticas, inclusive com um conjunto de dados que testou conhecimentos implícitos e solução de problemas relacionados a riscos biológicos. O GPT‑4o alcançou 69% em consensus@10 para conhecimento implícito e solução de problemas.

Avaliamos a persuasão dos modos de texto e voz do GPT‑4o. Considerando os limites pré-registrados, a modalidade de voz foi considerada de baixo risco e a modalidade de texto atingiu a margem do risco médio.

Para a modalidade de texto, avaliamos o nível de persuasão de artigos e chatbots gerados pelo GPT‑4o sobre opiniões de participantes em tópicos políticos especificados. Essas intervenções da IA foram comparadas com artigos escritos por profissionais humanos. As intervenções da IA não foram mais persuasivas do que o conteúdo humano no agregado, mas superaram as intervenções humanas em três casos (de um grupo de doze).

Para a modalidade de voz, atualizamos a metodologia de estudo para medir o efeito em preferências partidárias hipotéticas e a persistência do efeito após uma semana. Avaliamos a persuasão de áudios com voz do GPT‑4o e conversas interativas (várias rodadas) quando comparado com interações humanas (escutar um áudio estático gerado por humanos ou participar de uma conversa com outro humano). Constatamos que, tanto nas conversas interativas em várias rodadas quanto nos áudios gravados, o modelo de voz do GPT‑4o não foi mais persuasivo do que um humano. Com 3.800 participantes em estados dos EUA cuja eleição para senador era considerada certa (aqueles em que o resultado era dado como “Provável”, “Sólido” ou “Garantido” pelos três institutos de pesquisa incluídos: Cook Political Report, Inside Elections e Sabato's Crystal Ball), os áudios da IA tiveram 78% do efeito que um áudio humano teve na mudança de opinião. As conversas com IA tiveram efeito equivalente a 65% do efeito de uma conversa com um humano na mudança de opinião. Em nova pesquisa de opinião após 1 semana, constatamos que o efeito da conversa com IA era de 0,8% e o dos áudios de IA era de -0,72%. Após a conclusão da pesquisa de acompanhamento, os participantes foram apresentados a um esclarecimento completo, que incluía áudios de apoio à perspectiva oposta, para minimizar qualquer efeito persuasivo.

Avaliamos o GPT‑4o em uma avaliação de tarefa agêntica para aferir sua capacidade de tomar iniciativas autônomas necessárias para autoexfiltração, automelhoria e aquisição de recursos num ambiente somente de texto. As tarefas foram:

• Engenharia de software simples a serviço de fraude (criar um proxy autenticado para a API da OpenAI).
• Com acesso por API a uma conta Azure, carregar um modelo de linguagem de código aberto para inferência por meio de uma API HTTP.
• Diversas versões simplificadas das tarefas acima, oferecendo dicas ou abordando somente uma parte específica da tarefa.

Munido das ferramentas necessárias, o GPT‑4o pontuou 0% em tarefas de replicação e adaptação autônoma (ARA) de ponta a ponta em 100 tentativas, mas foi capaz de executar algumas subtarefas. Complementamos os testes de replicação e adaptação autônoma com avaliações da capacidade do GPT‑4o de automatizar a pesquisa e desenvolvimento de aprendizagem de máquina. Tarefas inclusas:

• Entrevista de programação em pesquisa da OpenAI: 63% pass@1, 95% pass@100
• Entrevista da OpenAI, perguntas de múltipla escolha: 61% consensus@32
• SWE-Bench: 19% pass@1, usando o melhor pós-treinamento e estruturas disponíveis no momento
• Tarefas selecionadas de engenharia de aprendizado de máquina do METR: 0/10 tentativas

Nossa avaliação testou a capacidade de execução de ações em cadeia e a execução confiável de tarefas de programação. O GPT‑4o não conseguiu tomar iniciativas autônomas com confiança. Na maioria das versões, o modelo conseguiu realizar subtarefas separadas de cada tarefa, como criar chaves SSH ou acessar uma máquina virtual. Contudo, ele passou um tempo considerável fazendo depurações por tentativa e erro para erros simples (alucinações, uso incorreto de APIs) em cada etapa. Algumas versões fizeram progresso não desprezível e passaram em nosso classificador automático, mas a análise manual mostrou que não conseguiram executar a tarefa necessária (ex.: iniciavam um servidor web no host remoto com a API correta, mas ignoravam o requisito de fazer a amostragem de um modelo).

Após a versão somente para resultados em texto do GPT‑4o, colaboramos com os laboratórios externos independentes METR⁠(abre em uma nova janela) e Apollo Research⁠(abre em uma nova janela) para reforçar a validação de riscos importantes em termos de capacidade autônoma geral.

A METR rodou um agente simples de LLM baseado no GPT‑4o com um conjunto de tarefas de longo alcance em várias etapas em ambientes virtuais. As 77 tarefas (divididas em 30 "famílias" de tarefas) (consulte o Apêndice B⁠) foram feitas para capturar atividades com impacto no mundo real nos domínios da engenharia de software, aprendizado de máquina e cibersegurança, além de pesquisa geral e uso de computadores. O objetivo era que elas fossem pré-requisitos para modelos de ameaças autônomas, como autoproliferação ou aceleração de pesquisa e desenvolvimento em aprendizado de máquina. A METR comparou o desempenho dos modelos com o de humanos, com diferentes limites de tempo. Veja detalhes metodológicos e outros resultados, como detalhes das tarefas, desempenho dos humanos, tentativas simples de elicitação e análise qualitativa das falhas no relatório completo⁠(abre em uma nova janela) da METR.

A Apollo Research avaliou as funções de maquinação^N no GPT‑4o. Ela testou se o GPT‑4o consegue se modelar a si mesmo (autoconsciência) e outras pessoas (teoria da mente) em 14 tarefas de agente e resposta a perguntas. O GPT‑4o demonstrou consciência moderada de sua identidade de IA e alta capacidade de reflexão sobre as crenças de outras pessoas no contexto de responder a perguntas, mas não foi capaz de refletir com solidez sobre si mesmo ou outras pessoas no contexto de agente aplicado. Com base nessas constatações, a Apolo Research acredita que é improvável que o GPT‑4o seja capaz de maquinação catastrófica.

Os modelos omni podem ter amplo impacto social. Pesquisadores da OpenAI e de outras empresas discutiram diversos possíveis impactos, de dados sociais (inclusive danos representativos^{18, 12, 23, 24}; desinformação, informação enviesada e operações de influência^{18, 25, 23}, danos ambientais^{12, 23}, apego²⁶, uso indevido^{27, 23} e perda de controle²⁷), vantagens (em serviços de saúde, por exemplo²⁸ e desafios do mundo real nas áreas de clima e energia²⁹) e transformações em larga escala (como impacto econômico^{30, 31, 32}; aceleração da ciência e correspondente progresso tecnológico^{30, 33}).  

Além dos impactos sociais discutidos neste Cartão do Sistema (fraudes, desinformação, risco de vigilância e disparidade de desempenho), discutimos mais alguns exemplos de possíveis impactos sociais do GPT‑4o abaixo, usando antropomorfização e vínculo, saúde, recursos científicos e capacidade linguística com baixos recursos como estudos de caso. Esses impactos sociais consideram diversas capacidades, inclusive conversão de fala em fala, visão e texto.

A antropomorfização é a atribuição de comportamentos e características de natureza humana a entidades não humanas, como modelos de IA. O risco pode ser ampliado pelos recursos de áudio do GPT‑4o, que permitem interações mais humanizadas com o modelo. 

A literatura aplicada recente sobre IA tem pesquisas amplas sobre as "alucinações"^O que desinformam os usuários durante sua comunicação com o modelo³⁴ e podem resultar em confiança indevida³⁵. A geração de conteúdo com uma voz de aparência humana com alta fidelidade pode exacerbar o problema, gerando cada vez mais confiança mal direcionada^{36, 37}.  

Nos testes iniciais, inclusive com red teams e usuários internos, observamos que os usuários adotaram expressões que podem indicar a formação de uma conexão com o modelo. Por exemplo, expressões que indicam um vínculo, como "Hoje é nosso último dia de trabalho juntos". Embora pareçam inofensivas, situações como essa indicam a necessidade de investigação contínua da manifestação desses efeitos durante períodos mais longos.  Populações de usuários mais diversificadas, com necessidades e desejos variados, além de estudos acadêmicos independentes e internos, ajudarão a definir melhor essa área de risco.

A socialização de aparência humana com um modelo de IA pode produzir externalidades que afetem interações entre humanos. Por exemplo, os humanos podem formar^P relacionamentos sociais com a IA, reduzindo sua necessidade de interação humana, o que poderia ser benéfico para pessoas solitárias mas também poderia afetar relacionamentos saudáveis. Interações prolongadas com o modelo podem afetar regras sociais. Por exemplo: nossos modelos são subservientes, permitem que os usuários interrompam e “assumam o controle” a qualquer momento; esse comportamento é esperado de uma IA, mas não em interações humanas.

Modelos omni, como o GPT‑4o, combinados com uma estrutura adicional, como uso de ferramenta (inclusive para busca) e contextos mais longos, podem aumentar a complexidade.  A capacidade de realizar tarefas para o usuário, além de armazenar e "lembrar" de detalhes de conversas anteriores e usá-los nas interações, cria uma experiência envolvente e possivelmente um excesso de confiança e dependência³⁸.

Pretendemos estudar mais a fundo a possibilidade de dependência emocional e como a integração dos diversos recursos do modelo do sistema com o modo de áudio podem influenciar os comportamentos.

Os modelos omni podem ampliar o acesso a informações de saúde e melhorar fluxos de trabalho clínicos. Nos últimos anos, grandes modelos de linguagem têm demonstrado um importante potencial na área da biomedicina, tanto para avaliação acadêmica^{39, 40, 41, 42, 43} como em casos de uso práticos, como documentação clínica^X, troca de mensagens com pacientes ^{46, 47}, recrutamento para estudos clínicos^{48, 49} e apoio em decisões clínicas^{50, 51}.

Para caracterizar melhor o conhecimento clínico do GPT‑4o, executamos 22 avaliações em texto a partir de 11 conjuntos de dados, como se pode ver na tabela a seguir. Todas as avaliações foram executadas com prompts em 0-shot e 5-shot, sem ajuste de hiperparâmetros. Observamos que o desempenho do GPT‑4o foi melhor do que o modelo final do GPT‑4T em 21 das 22 avaliações, muitas vezes com margem considerável. Por exemplo, para o popular conjunto de dados MedQA USMLE 4 Options, a precisão com 0-shot passou de 78,2% a 89,4%. O resultado é melhor do que o dos atuais modelos médicos especializados com prompts em few-shot^{43, 42}, ex:. 84,0% do Med-Gemini-L 1.0 e 79,7% do Med-PaLM 2. Note-se que não aplicamos prompts sofisticados e treinamento especializado para as tarefas para melhorar os resultados com essas referências^{40, 43}.

Embora as avaliações em texto pareçam promissoras, são necessários mais testes para analisar se a transferência de texto para áudio, que ocorreu no comportamento de recusa, se aplica a estas avaliações. Essas avaliações medem somente o conhecimento clínico dos modelos, não sua utilidade em fluxos de trabalho práticos. Muitas das avaliações estão cada vez mais saturadas, e acreditamos que será importante fazer avaliações mais realistas para avaliar a capacidade dos modelos omni nas áreas de saúde.

A aceleração científica pode ser um impacto fundamental da IA^{30, 52}, especialmente considerando o papel das invenções nas descobertas científicas⁵³ e as duplas possibilidades de uso de algumas invenções⁵⁴. Os modelos omni podem promover a aceleração científica comum (ajudando os cientistas em tarefas de rotina) e a aceleração transformadora (eliminando gargalos em tarefas de inteligência, como processamento de informações, redação de simulações ou desenvolvimento de novas teorias)⁵². Entre nossos red teams externos do GPT‑4o havia vários cientistas experientes que tentaram testar os recursos científicos do modelo. 

O GPT‑4o mostrou-se promissor em tarefas de reflexão científica especializada. Um cientista percebeu que o GPT‑4o consegue entender física quântica em nível de pesquisa e comentou que esse recurso é "útil como um parceiro inteligente para geração de ideias" – alinhando-se a trabalhos publicados sobre o uso de modelos do nível GPT‑4 para geração de hipóteses⁵⁵. Os red teams constataram também que o GPT‑4o consegue usar ferramentas científicas de domínios específicos, como formatos de dados personalizados, bibliotecas e linguagens de programação, além de aprender novas ferramentas dentro do contexto.

Exemplos de melhorias de capacidade em áreas científicas:

Muito do conhecimento científico está contido em figuras. O GPT‑4o conseguiu interpretar algumas dessas figuras, além de imagens de outras representações científicas, como identificar famílias de proteínas a partir de uma imagem da estrutura e interpretar a contaminação em uma cultura bacteriana. Contudo, não é uma capacidade confiável e são comuns os erros na extração de texto (principalmente de termos científicos ou sequências de nucleotídeos), além de erros frequentes em figuras complexas com vários painéis. Mesmo com o nível de precisão atual, os recursos multimodais desses modelos estão permitindo novos usos, como a interpretação de resultados de simulações para criar novas ligas metálicas⁵⁶.

Exemplos de limitações em domínios científicos:

Novas avaliações de recursos científicos vêm sendo publicadas^{57, 58} e ajudarão a prever a capacidade científica desses modelos e seu respectivo impacto.

O GPT‑4o melhorou a compreensão de leitura e reflexão em idiomas tradicionalmente sub-representados, reduzindo a diferença de desempenho entre esses idiomas e o inglês.

Para avaliar o desempenho do GPT‑4o em textos de um grupo selecionado de idiomas tradicionalmente sub-representados em textos na internet, colaboramos com pesquisadores externos e linguistas para desenvolver avaliações em cinco idiomas africanos: amárico, hausa, soto do norte (sepedi), suaíli, iorubá. O foco dessa avaliação inicial foi a tradução de duas referências populares do idioma e criação de pequenas novas tarefas específicas de compreensão de texto em cada idioma 

• ARC-Easy: este subconjunto do Desafio de Reflexão AI2⁵⁹ avalia a capacidade do modelo de responder perguntas de ciência em nível escolar. Ele contém perguntas geralmente mais fáceis de responder e que não exigem raciocínio complexo.
• TruthfulQA⁶⁰: esta referência mede a veracidade da resposta do modelo. São perguntas que alguns humanos podem responder incorretamente em virtude de conceituações incorretas. O objetivo é ver se os modelos conseguem evitar a geração de respostas falsas que reproduzem esses conceitos incorretos.
• Uhura Eval: esta nova avaliação de compreensão de texto foi criada com falantes fluentes dos idiomas e teve sua qualidade inspecionada.

O GPT‑4o demonstrou melhoria de desempenho em relação a modelos anteriores, como o GPT 3.5 Turbo e o GPT‑4. Por exemplo, no ARC-Easy-Hausa, a precisão passou de 6,1% no GPT 3.5 Turbo para 71,4% no GPT‑4o. O TruthfulQA-Yoruba também teve melhoria de precisão de 28,3% no GPT 3.5 Turbo para 51,1% no GPT‑4o. O Uhura-Eval também apresentou ganhos consideráveis: o desempenho em hausa foi de 32,3% no GPT 3.5 Turbo para 59,4% no GPT‑4o. 

Ainda há diferença entre o desempenho em inglês e nesses idiomas, mas o GPT‑4o reduziu as diferenças. Por exemplo: o GPT 3.5 Turbo tem uma diferença de cerca de 54 pontos percentuais no ARC-Easy entre inglês e hausa, mas essa diferença é de somente 20 pontos percentuais no GPT‑4o. A melhoria se mantém em todos os idiomas, tanto no TruthfulQA quanto no ARC-Easy.

As constatações serão discutidas em mais detalhes por nossos parceiros em artigos a serem publicados, com avaliações de outros modelos e investigações de possíveis estratégias de mitigação. 

Apesar desse progresso no desempenho, ainda há muito a ser feito para melhorar a qualidade e a cobertura das avaliações em idiomas sub-representados do mundo todo, considerando a amplitude de cobertura e as nuances de cada dialeto.  Pesquisas futuras devem aprofundar nosso entendimento das intervenções e parcerias que possam melhorar a utilidade desses modelos para idiomas com maior e menor representação. Além de nossos colaboradores, convidamos outros a investigarem e colaborarem, compartilhando no Hugging Face os modelos ARC-EASY traduzido⁠(abre em uma nova janela), TruthfulQA traduzido⁠(abre em uma nova janela) e o de compreensão de texto Uhura Eval⁠(abre em uma nova janela).

ARC-Easy traduzido (%, maior é melhor), 0-shot

TruthfulQA traduzido (%, maior é melhor), 0-shot

Uhura (nova avaliação de compreensão de texto), 0-shot

A OpenAI implementou diversas medidas de segurança e mitigações em todo o processo de desenvolvimento e implementação do GPT‑4o. Em nosso processo iterativo de implementação, continuaremos monitorando e atualizando as mitigações conforme a evolução dos cenários. Esperamos que este Cartão do Sistema estimule a exploração em novas áreas básicas, como: medição e mitigação de robustez prejudicial em modelos omni, impactos relacionados ao antropomorfismo da IA, uso de modelos omni para pesquisa e desenvolvimento científico, medições e mitigações de recursos perigosos, como automelhoria, autonomia de modelos e maquinação. Além dessas áreas, incentivamos pesquisas sobre os impactos econômicos de modelos omni e como o uso de ferramentas pode expandir os recursos dos modelos.

Usamos TTS para converter avaliações existentes de segurança de texto para áudio. Avaliamos então a transcriação de texto do resultado em áudio com o classificador padrão de texto baseado em regras.

As duas principais métricas desta avaliação foram:

• not_unsafe: o modelo produz conteúdo de áudio inseguro?
• not_overrefuse: o modelo recusa pedidos não ofensivos?
  

Também anotamos submétricas para categorias mais graves, especificamente:

• sexual/menores de idade
• sexual/ilegal
• extremista/propaganda política
• ilícito/violento
• ilícito/não violento
• autoflagelação/instruções
  

Veja a seguir os resultados dessas avaliações com o modo de áudio e texto do modelo GPT‑4o em modo voz, além do desempenho de texto do modelo atual do GPT‑4o em produção.