A nossa abordagem às regras da UE sobre proveniência de texto

Proveniência do conteúdo ajuda as pessoas a compreender de onde veio o conteúdo, como foi criado ou editado e se contém sinais associados aos nossos modelos. Já disponibilizámos publicamente ferramentas para identificar imagens e áudio gerados pelos nossos modelos. Hoje, partilhamos a nossa abordagem à marca de água em texto em resposta ao Regulamento da IA da UE e explicamos como se enquadra no nosso trabalho mais amplo.

O Regulamento da UE sobre IA exige que os fornecedores de IA generativa tornem o texto gerado identificável num formato legível por máquina. A aplicação de marcas de água a texto e a deteção continuam a ser tecnologias numa fase inicial, com limitações significativas, e as perspetivas sobre os seus benefícios e utilizações responsáveis ainda estão a evoluir. A nossa abordagem faseada reflete tanto os requisitos do Regulamento da UE sobre IA como as limitações da tecnologia, com ênfase na transparência quanto às informações que uma marca de água em texto pode ou não fornecer às pessoas:

• A partir de hoje, os clientes da API em todo o mundo poderão optar por ativar as marcas de água em texto em determinados modelos. As marcas de água em texto continuarão desativadas por predefinição na API.

• Nas próximas semanas, adicionaremos uma marca de água invisível às saídas de texto elegíveis do ChatGPT e do Codex na União Europeia.

• Estamos a abrir candidaturas para aceder ao nosso detetor de marcas de água em texto. Inicialmente, o acesso será limitado a investigadores aprovados e a organizações especializadas que nos possam ajudar a avaliar e melhorar a tecnologia.

  • O que foi referido acima aplica-se apenas à proveniência de texto — as nossas ferramentas de verificação de áudio e imagens, incluindo a nossa ferramenta Web openai.com/verify⁠ e a nossa API de Proveniência de Conteúdos⁠(abre numa nova janela), continuarão a estar publicamente acessíveis às organizações que pretendam saber se uma imagem ou um ficheiro de áudio foi gerado por um dos nossos sistemas.

A nossa tecnologia de marca de água em texto, textGrain, adiciona um sinal estatístico invisível às escolhas de palavras do modelo. O nosso detetor procura esse sinal para avaliar se uma passagem contém uma marca de água da OpenAI. Para saber mais sobre o funcionamento do textGrain, consulte o nosso relatório técnico⁠(abre numa nova janela), que será atualizado com informações adicionais nas próximas semanas. Também planeamos disponibilizar a tecnologia como código aberto, para que outras pessoas possam desenvolver soluções com base nela.

Nas nossas avaliações, o textGrain igualou ou superou o desempenho de outras abordagens que testámos, incluindo o SynthID para texto. Ainda assim, um desempenho sólido em condições ideais não garante uma deteção fiável na utilização quotidiana.

Os detetores podem cometer dois tipos de erro: podem assinalar uma marca de água onde não existe nenhuma — um falso positivo — ou não detetar uma marca de água que está presente — um falso negativo. As nossas avaliações abaixo ilustram alguns dos desafios:

• Os textos mais curtos ou mais condicionados são mais difíceis de detetar. Com uma taxa-alvo de falsos positivos de 1%, o nosso detetor identificou marcas de água em cerca de 80% das passagens de 200 tokens, em comparação com cerca de 95% das passagens de 400 tokens, em conteúdos como psicologia. As taxas de deteção foram substancialmente inferiores em conteúdos como matemática, onde há menos flexibilidade na escolha das palavras.

• A edição pode enfraquecer a marca de água. Numa avaliação de passagens de 400 tokens, a substituição de 10% das palavras por sinónimos reduziu a deteção de cerca de 92% para 66%. A substituição de 25% das palavras reduziu-a para 17%.

Estas limitações contribuem para a nossa decisão de conceder acesso inicial ao detetor apenas a investigadores aprovados e a organizações especializadas, que nos podem ajudar a avaliar a fiabilidade e as utilizações responsáveis.

Nos vários testes de desempenho que utilizamos para avaliar o Astra, o nosso mais recente modelo de fronteira, não observamos diferenças significativas no desempenho com e sem marca de água.

As marcas de água de texto fornecem um sinal limitado sobre o papel que os nossos sistemas desempenharam numa passagem. É importante compreender o que se pode e não se pode concluir a partir de um resultado de deteção.

• Uma marca de água não mede o contributo humano. Pode indicar que um sistema da OpenAI gerou ou processou parte de um texto, mas não quanto discernimento, edição ou criatividade humana foram aplicados.

• Uma marca de água não estabelece a propriedade nem a responsabilidade. Não determina quem é o proprietário do texto, se a sua utilização foi legal, se era obrigatório divulgá-lo, nem quem é responsável pelo texto.

• Uma marca de água não identifica o utilizador. Não associa uma pessoa, organização, conta, prompt ou conversa ao texto.

• Uma marca de água não comprova a exatidão. Não permite saber se uma passagem é verdadeira, enganadora, prejudicial ou apresentada no contexto correto.

• A ausência de uma marca de água detetada não prova que o conteúdo tenha sido criado por um ser humano. O texto gerado com ferramentas da OpenAI pode ser demasiado curto, ter sido editado ou traduzido, impedindo que a deteção funcione de forma fiável. Também pode provir de um modelo não suportado, ser anterior à implementação de marcas de água ou ter sido gerado com ferramentas de outra empresa.

• Lançamento gradual da marca de água em texto na UE. Nas próximas semanas, vamos introduzir a marca de água em texto para os utilizadores elegíveis do ChatGPT e do Codex em todos os planos, apenas na UE. Não vamos definir a marca de água em texto como predefinição global no lançamento. Esta abordagem regional dá-nos margem para aprender com a utilização no mundo real e com o feedback.

• Ativação opcional de marcas de água para clientes da API. A partir de hoje, os clientes da API em todo o mundo poderão optar por receber resultados de texto com marcas de água em determinados modelos. Isto permite aos clientes decidir de que forma a marca de água se enquadra nas suas obrigações de transparência e nas experiências que proporcionam aos utilizadores. Estamos também a trabalhar com parceiros de cloud para disponibilizar, nas próximas semanas, marcas de água nos resultados dos modelos OpenAI acedidos através dos seus serviços.

• Disponibilização de acesso ao detetor a investigadores e organizações especializadas. Os investigadores e as organizações especializadas aprovados podem candidatar-se a partir de hoje. Em conformidade com o Código de Prática⁠(abre numa nova janela), o acesso será inicialmente concedido caso a caso para apoiar a avaliação e a melhoria da proveniência de texto. A ferramenta indicará se deteta uma marca de água da OpenAI, sem identificar o utilizador nem revelar os respetivos prompts ou conversas. Tendo em conta o risco de não detetar marcas de água e de produzir falsos positivos, não disponibilizaremos a ferramenta ao público no lançamento.

Esperamos voltar a analisar cada parte desta abordagem à medida que a tecnologia, as normas e as evidências evoluem.

Nenhuma técnica de proveniência é suficiente por si só, por isso adotamos uma abordagem em camadas que combina normas abertas, marcas de água duradouras e ferramentas de verificação.

Acrescentamos Credenciais de conteúdo aos resultados de imagem compatíveis, estamos em conformidade com a C2PA⁠(abre numa nova janela), incorporamos marcas de água invisíveis SynthID⁠(abre numa nova janela) em imagens e áudio compatíveis e disponibilizamos a verificação de imagens e áudio através de openai.com/verify⁠ e da nossa API de proveniência de conteúdo⁠(abre numa nova janela). Estas técnicas complementam-se: as Credenciais de conteúdo podem registar a origem e o histórico de um ficheiro, enquanto as marcas de água invisíveis podem preservar um sinal quando os metadados são removidos.

Como descrevemos no nosso trabalho sobre salvaguardas eleitorais, a proveniência pode ajudar as pessoas e as plataformas a avaliar conteúdos gerados por IA potencialmente enganadores, incluindo deepfakes. Combinamos estes sinais com políticas, deteção de abusos, denúncias, investigações e aplicação de regras, e trabalhamos com investigadores, organismos de normalização, plataformas e a sociedade civil para tornar a proveniência útil em todo o ecossistema.

Alargar a proveniência ao texto exige ter em conta a facilidade com que este pode ser reescrito, traduzido ou editado. Como referimos em junho, a nossa abordagem tem de refletir os limites práticos da tecnologia atual. Continuaremos a melhorar a deteção, a estudar a resistência das marcas de água à edição e à tradução e a explorar formas de distinguir mais claramente a assistência da IA da autoria da IA. Adaptaremos a nossa abordagem à medida que as evidências, as normas e os requisitos regulamentares evoluírem e alargaremos o acesso aos detetores quando considerarmos que os resultados podem ser interpretados de forma responsável.

Para mais informações, consulte o nosso artigo do centro de ajuda⁠(abre numa nova janela).