Nossa abordagem às regras da UE sobre proveniência de texto

Proveniência de conteúdo ajuda as pessoas a entender de onde o conteúdo veio, como foi criado ou editado e se contém sinais associados aos nossos modelos. Já disponibilizamos publicamente ferramentas para identificar imagens e áudios gerados pelos nossos modelos. Hoje, compartilhamos nossa abordagem para marcas-d’água em textos em resposta à Lei de IA da UE e explicamos como ela se encaixa em nosso trabalho mais amplo.

A Lei de IA da UE exige que provedores de IA generativa tornem o texto gerado identificável de forma legível por máquina. A marca-d’água em textos e a detecção ainda são tecnologias em estágio inicial, com limitações significativas, e as perspectivas sobre seus benefícios e usos responsáveis continuam evoluindo. Nossa abordagem em etapas reflete tanto os requisitos da Lei de IA da UE quanto as limitações da tecnologia, com ênfase na transparência sobre o que uma marca-d’água em texto pode ou não informar às pessoas:

• A partir de hoje, clientes da API em todo o mundo poderão optar por ativar a marca-d’água em texto em modelos selecionados. A marca-d’água em texto continuará desativada por padrão na API.

• Ao longo das próximas semanas, adicionaremos uma marca-d’água invisível aos textos elegíveis gerados pelo ChatGPT e pelo Codex na União Europeia.

• Estamos aceitando solicitações de acesso ao nosso detector de marca-d’água de texto. Inicialmente, o acesso será limitado a pesquisadores aprovados e organizações especializadas que possam nos ajudar a avaliar e aprimorar a tecnologia.

  • Isso se aplica apenas à proveniência de texto — nossas ferramentas de verificação de áudio e imagens, incluindo nossa ferramenta da web openai.com/verify⁠ e nossa API de Proveniência de Conteúdo⁠(abre em uma nova janela), continuarão disponíveis publicamente para organizações que queiram entender se uma imagem ou um arquivo de áudio foi gerado por um de nossos sistemas.

Nossa tecnologia de marca-d’água de texto, textGrain, adiciona um sinal estatístico invisível às escolhas de palavras do modelo. Nosso detector procura esse sinal para avaliar se um trecho contém uma marca-d’água da OpenAI. Você encontra mais detalhes sobre o funcionamento do textGrain em nosso relatório técnico⁠(abre em uma nova janela), que será atualizado com informações adicionais nas próximas semanas. Também planejamos disponibilizar a tecnologia como código aberto para que outras pessoas possam desenvolver soluções a partir dela.

Nas nossas avaliações, textGrain igualou ou superou o desempenho de outras abordagens que testamos, incluindo o SynthID para texto. Ainda assim, um bom desempenho em condições ideais não garante uma detecção confiável no uso cotidiano.

Os detectores podem cometer dois tipos de erro: podem indicar a presença de uma marca-d’água onde não há nenhuma — um falso positivo — ou não detectar uma marca-d’água presente — um falso negativo. Nossas avaliações a seguir ilustram alguns dos desafios:

• Textos mais curtos ou com mais restrições são mais difíceis de detectar. Com uma taxa-alvo de falsos positivos de 1%, nosso detector identificou marcas-d’água em cerca de 80% das passagens de 200 tokens, em comparação com cerca de 95% das passagens de 400 tokens, em conteúdos como os de psicologia. As taxas de detecção foram substancialmente mais baixas em conteúdos como os de matemática, nos quais há menos flexibilidade na escolha das palavras.

• A edição pode enfraquecer a marca-d’água. Em uma avaliação de trechos de 400 tokens, substituir 10% das palavras por sinônimos reduziu a detecção de cerca de 92% para 66%. Substituir 25% das palavras reduziu a detecção para 17%.

Essas limitações contribuem para nossa decisão de fornecer acesso inicial ao detector apenas a pesquisadores aprovados e organizações especializadas, que podem nos ajudar a avaliar a confiabilidade e os usos responsáveis.

Nos benchmarks que usamos para avaliar o Astra, nosso mais recente modelo de ponta, não observamos diferenças significativas de desempenho com e sem marca-d’água.

Marcas-d’água de texto oferecem um sinal limitado sobre o papel que nossos sistemas desempenharam em um trecho. É importante entender o que pode e o que não pode ser concluído a partir de um resultado de detecção.

• Uma marca-d’água não mede a contribuição humana. Ela pode indicar que um sistema da OpenAI gerou ou processou parte de um trecho, mas não a dimensão da contribuição humana em termos de discernimento, edição ou criatividade.

• Uma marca-d’água não estabelece propriedade nem responsabilidade. Ela não determina a quem pertence o texto, se seu uso foi legal, se a divulgação era obrigatória ou quem é responsável por ele.

• Uma marca-d’água não identifica o usuário. Ela não associa uma pessoa, organização, conta, prompt ou conversa ao texto.

• Uma marca-d’água não comprova a precisão. Ela não informa se um trecho é verdadeiro, enganoso, prejudicial ou apresentado no contexto adequado.

• A ausência de uma marca-d’água detectada não comprova autoria humana. Textos gerados com ferramentas da OpenAI podem ser curtos demais ou ter passado por edições ou traduções que impeçam uma detecção confiável. Também podem vir de um modelo não compatível, ser anteriores à implementação de marcas-d’água ou ter sido gerados com ferramentas de outra empresa.

• Disponibilização gradual de marca-d’água em textos na UE. Nas próximas semanas, vamos introduzir a marca-d’água em textos para usuários elegíveis do ChatGPT e do Codex em todos os planos, exclusivamente na UE. Não vamos tornar a marca-d’água em textos uma configuração padrão global no lançamento. Essa abordagem regional nos dá espaço para aprender com o uso no mundo real e com o feedback.

• Disponibilização da opção de ativar a marca-d’água para clientes da API. A partir de hoje, clientes da API de todo o mundo poderão optar por receber textos com marca-d’água gerados por modelos selecionados. Isso permite que os clientes decidam como a marca-d’água se encaixa em suas obrigações de transparência e nas experiências que oferecem aos usuários. Também estamos trabalhando com parceiros de nuvem para disponibilizar, nas próximas semanas, a marca-d’água nos resultados dos modelos da OpenAI acessados por meio dos serviços desses parceiros.

• Disponibilização do acesso ao detector para pesquisadores e organizações especializadas. Pesquisadores aprovados e organizações especializadas aprovadas podem solicitar acesso a partir de hoje. Em conformidade com o Código de Práticas⁠(abre em uma nova janela), o acesso será concedido inicialmente caso a caso para apoiar a avaliação e o aprimoramento da proveniência de textos. A ferramenta informará se detecta uma marca-d’água da OpenAI, sem identificar o usuário nem revelar seus prompts ou conversas. Diante do risco de não detectar marcas-d’água e de falsos positivos, não disponibilizaremos a ferramenta publicamente no lançamento.

Pretendemos reavaliar cada parte dessa abordagem à medida que a tecnologia, os padrões e as evidências evoluírem.

Nenhuma técnica de proveniência é suficiente por si só, por isso adotamos uma abordagem em camadas que combina padrões abertos, marcas-d’água duráveis e ferramentas de verificação.

Adicionamos Content Credentials aos resultados de imagem compatíveis, estamos em conformidade com o padrão C2PA⁠(abre em uma nova janela), incorporamos marcas-d’água invisíveis do SynthID⁠(abre em uma nova janela) em imagens e áudio compatíveis e disponibilizamos a verificação de imagens e áudio por meio de openai.com/verify⁠ e da nossa API de Proveniência de Conteúdo⁠(abre em uma nova janela). Essas técnicas se complementam: Content Credentials podem registrar a origem e o histórico de um arquivo, enquanto marcas-d’água invisíveis podem preservar um sinal quando os metadados são removidos.

Como descrevemos em nosso trabalho sobre salvaguardas eleitorais, a proveniência pode ajudar pessoas e plataformas a avaliar conteúdo gerado por IA potencialmente enganoso, incluindo deepfakes. Combinamos esses sinais com políticas, detecção de abusos, canais de denúncia, investigações e medidas de aplicação de políticas, e trabalhamos com pesquisadores, órgãos de padronização, plataformas e a sociedade civil para tornar a proveniência útil em todo o ecossistema.

Estender a proveniência a textos exige considerar a facilidade com que eles podem ser reescritos, traduzidos ou editados. Como discutimos em junho, nossa abordagem deve refletir os limites práticos da tecnologia atual. Continuaremos aprimorando a detecção, estudando como as marcas-d’água resistem à edição e à tradução e explorando maneiras mais significativas de distinguir a assistência da IA da autoria da IA. Adaptaremos nossa abordagem à medida que as evidências, os padrões e os requisitos regulatórios evoluírem e ampliaremos o acesso ao detector quando acreditarmos que os resultados podem ser interpretados de forma responsável.

Para obter mais informações, consulte nosso artigo da Central de Ajuda⁠(abre em uma nova janela).