Avançando a procedência de conteúdo para um ecossistema de IA mais seguro e transparente

As pessoas estão usando as ferramentas da OpenAI todos os dias para criar e editar imagens e áudio de formas que tornam a comunicação mais expressiva, útil e acessível. À medida que essas ferramentas passam a fazer parte de como as pessoas criam, imaginam e compartilham, é importante que elas possam entender e verificar de onde a mídia vem para interpretá-la com mais confiança. Os sinais de procedência podem ajudar ao dar às pessoas contexto sobre de onde o conteúdo veio, como foi criado ou editado e se é o que afirma ser.

Hoje, estamos fortalecendo nossa abordagem à procedência de conteúdo com um modelo em múltiplas camadas, orientado pelo ecossistema, para construir confiança online. Estamos tornando nossos sinais de procedência mais fáceis de reconhecer por outras ferramentas e plataformas por meio da conformidade com a C2PA, adicionando marca-d’água durável entre plataformas com o SynthID a imagens por meio de uma parceria com o Google e compartilhando uma prévia de uma ferramenta que o público pode usar para verificar se imagens vieram da OpenAI.

Juntas, essas atualizações se baseiam em nosso trabalho anterior⁠ para apoiar padrões abertos, facilitar a identificação de conteúdo gerado pela OpenAI e colaborar com o setor para promover um ecossistema de informações mais confiável.

A OpenAI está envolvida no desenvolvimento e na adoção de padrões de proveniência desde 2024, quando começamos a adicionar Credenciais de Conteúdo a imagens geradas pelo DALL·E 3⁠(abre em uma nova janela) e, posteriormente, pelo ImageGen⁠(abre em uma nova janela) e pelo Sora⁠(abre em uma nova janela). Também passamos a integrar o Comitê Diretor da Coalition for Content Provenance and Authenticity (C2PA), o grupo intersetorial por trás do padrão técnico aberto para proveniência de conteúdo. A abordagem técnica da C2PA usa metadados e assinaturas criptográficas para ajudar informações sobre uma mídia a acompanharem o próprio conteúdo com segurança. Essas informações incluem contexto que ajuda jornalistas a avaliar uma fonte, plataformas a tomar decisões de integridade e pessoas a entender o que estão vendo online.

Recentemente, demos o passo de tornar a OpenAI um produto gerador em conformidade com a C2PA⁠(abre em uma nova janela). Ao nos tornarmos conformes com a C2PA, oferecemos às plataformas uma forma confiável de ler, preservar e transmitir as informações de proveniência que anexamos ao nosso conteúdo. Isso é importante porque a proveniência só funciona se sobreviver além da primeira plataforma em que o conteúdo é criado, e a conformidade torna isso possível.

Os metadados da C2PA são uma base importante para a procedência. Eles ajudam o conteúdo a carregar informações sobre de onde veio, como foi criado ou editado e quem assinou essas informações. Mas os metadados não são infalíveis. Eles podem ser removidos, perdidos em uploads e downloads ou corrompidos por transformações como mudanças de formato de arquivo, redimensionamento ou capturas de tela.

Para tornar a proveniência mais resiliente, estamos adotando uma abordagem em várias camadas e incorporando marca d’água por meio do SynthID do Google DeepMind⁠(abre em uma nova janela), começando com imagens geradas pelo ChatGPT⁠, Codex ou pela OpenAI API. O SynthID incorpora uma camada invisível de marca d’água que complementa abordagens baseadas em metadados da C2PA.

Estamos construindo nessa direção há algum tempo. Usamos marcas d’água visíveis⁠ no Sora e uma marca d’água de áudio⁠ no Voice Engine, e continuamos testando e pesquisando acurácia e confiabilidade ao longo do tempo. durante a implantação.

Esses dois sistemas se reforçam mutuamente. A C2PA ajuda o conteúdo a carregar contexto detalhado; o SynthID ajuda a preservar um sinal quando os metadados não sobrevivem. A marca-d’água pode ser mais durável diante de transformações como capturas de tela, enquanto os metadados podem fornecer mais informações do que uma marca-d’água sozinha. Juntos, eles tornam a procedência mais resiliente do que qualquer uma das camadas isoladamente.

Metadados confiáveis e marcas d’água resistentes à maioria das modificações podem tornar os sinais de proveniência mais duráveis. Mas as pessoas precisam de uma forma de detectar esses sinais. Agora estamos apresentando uma prévia de uma ferramenta pública de verificação⁠ que ajudará as pessoas a verificar se uma imagem enviada foi gerada no ChatGPT, na OpenAI API ou no Codex, conferindo se ela contém sinais de proveniência, incluindo Credenciais de Conteúdo e SynthID.

Acreditamos que a proveniência deve ser mais fácil de verificar e interpretar, e que nossa ferramenta pode ajudar as pessoas a participar da resposta à pergunta: “Isso foi gerado com IA?”, integrando vários sinais. Isso se baseia nos aprendizados da prévia inicial de pesquisa do nosso classificador de detecção de imagens⁠ em 2024 e permite que as pessoas detectem de forma confiável se uma marca d’água SynthID originada da OpenAI está presente na mídia, além de exibir metadados C2PA quando forem encontrados.

Nenhum método de detecção é infalível, por isso adotamos uma abordagem cautelosa nos casos em que a detecção falha. Se nenhum metadado ou marca-d’água for detectado, por exemplo, a ferramenta não chegará a uma conclusão definitiva sobre se a imagem foi gerada com ferramentas da OpenAI, já que os sinais de procedência podem, em alguns casos, ser removidos.

No lançamento, a ferramenta é limitada a conteúdo gerado pela OpenAI. Nos próximos meses, pretendemos apoiar esforços intersetoriais para tornar a verificação possível entre plataformas. Com o tempo, também esperamos oferecer suporte a mais tipos de conteúdo que as pessoas podem encontrar online.

Nenhuma técnica única de procedência é suficiente por si só. Acreditamos que uma abordagem sólida combina padrões compartilhados, sinais duráveis de marca-d’água e verificação pública. Ao ampliar nosso apoio de longa data ao Content Credentials, nos tornar conformes com a C2PA, adotar o SynthID e apresentar uma prévia de ferramentas públicas de verificação, esperamos contribuir no longo prazo para um ecossistema de procedência mais interoperável.