Impulsar la procedencia del contenido para un ecosistema de IA más seguro y transparente

Las personas usan las herramientas de OpenAI todos los días para crear y editar imágenes y audio de formas que hacen la comunicación más expresiva, útil y accesible. A medida que estas herramientas pasan a formar parte de cómo las personas crean, imaginan y comparten, es importante que puedan entender y verificar de dónde provienen los medios para interpretarlos con más confianza. Las señales de procedencia pueden ayudar al dar a las personas contexto sobre de dónde proviene el contenido, cómo se creó o editó y si es lo que dice ser.

Hoy estamos reforzando nuestro enfoque sobre la procedencia del contenido con un modelo multicapa, impulsado por el ecosistema, para generar confianza en línea. Estamos haciendo que nuestras señales de procedencia sean más fáciles de reconocer para otras herramientas y plataformas mediante la conformidad con C2PA, agregando marcas de agua duraderas de SynthID entre plataformas a las imágenes mediante una alianza con Google, y compartiendo un adelanto de una herramienta que el público puede usar para verificar si las imágenes provienen de OpenAI.

En conjunto, estas actualizaciones amplían nuestro trabajo anterior⁠ para respaldar estándares abiertos, facilitar la identificación del contenido generado por OpenAI y colaborar en toda la industria para apoyar un ecosistema de información más confiable.

OpenAI ha participado en el desarrollo y la adopción de estándares de procedencia desde 2024, cuando comenzamos a agregar Content Credentials a las imágenes generadas por DALL·E 3⁠(se abre en una nueva ventana) y después a ImageGen⁠(se abre en una nueva ventana) y Sora⁠(se abre en una nueva ventana). También nos unimos al Comité Directivo de la Coalition for Content Provenance and Authenticity (C2PA), el grupo interindustrial detrás del estándar técnico abierto para la procedencia del contenido. El enfoque técnico de C2PA usa metadatos y firmas criptográficas para ayudar a que la información sobre una pieza de contenido multimedia viaje de forma segura junto con el propio contenido. Esta información incluye contexto que ayuda a periodistas que evalúan una fuente, a plataformas que toman decisiones de integridad y a personas que intentan entender lo que ven en línea.

Recientemente dimos el paso de convertir a OpenAI en un producto generador conforme con C2PA⁠(se abre en una nueva ventana). Al volvernos conformes con C2PA, estamos dando a las plataformas una forma confiable de leer, conservar y transmitir la información de procedencia que adjuntamos a nuestro contenido. Esto importa porque la procedencia solo funciona si sobrevive más allá de la primera plataforma donde se crea el contenido, y la conformidad hace eso posible.

Los metadatos de C2PA son una base importante para la procedencia. Ayudan a que el contenido lleve información sobre de dónde proviene, cómo se creó o editó y quién firmó esa información. Pero los metadatos no son infalibles. Pueden eliminarse, perderse durante cargas y descargas, o dañarse por transformaciones como cambios de formato de archivo, redimensionamiento o capturas de pantalla.

Para hacer la procedencia más resiliente, estamos adoptando un enfoque multicapa e incorporando marcas de agua mediante SynthID de Google DeepMind⁠(se abre en una nueva ventana), comenzando con imágenes generadas a través de ChatGPT⁠, Codex o la API de OpenAI. SynthID incorpora una capa invisible de marca de agua que complementa los enfoques basados en metadatos de C2PA.

Hemos estado avanzando hacia esto desde hace tiempo. Hemos usado marcas de agua visibles⁠ en Sora y una marca de agua de audio⁠ en Voice Engine, y hemos seguido probando e investigando la precisión y la confiabilidad con el tiempo. mediante la implementación.

Estos dos sistemas se refuerzan mutuamente. C2PA ayuda a que el contenido lleve contexto detallado; SynthID ayuda a conservar una señal cuando los metadatos no sobreviven. Las marcas de agua pueden ser más duraderas frente a transformaciones como capturas de pantalla, mientras que los metadatos pueden aportar más información que una marca de agua por sí sola. Juntos, hacen que la procedencia sea más resiliente que cualquiera de las dos capas por sí sola.

Los metadatos confiables y las marcas de agua que resisten la mayoría de las modificaciones pueden hacer que las señales de procedencia sean más duraderas. Pero las personas necesitan una forma de detectar estas señales. Ahora estamos presentando un adelanto de una herramienta pública de verificación⁠ que ayudará a las personas a verificar si una imagen cargada se generó en ChatGPT, la API de OpenAI o Codex, al comprobar si contiene señales de procedencia, incluidas Content Credentials y SynthID.

Creemos que la procedencia debería ser más fácil de verificar e interpretar para las personas, y que nuestra herramienta puede ayudarlas a participar en responder la pregunta: “¿Esto fue generado con IA?” al integrar múltiples señales. Esto se basa en los aprendizajes de la vista previa inicial de investigación de nuestro clasificador de detección de imágenes⁠ en 2024 y permite a las personas detectar de forma confiable si hay una marca de agua SynthID originada en OpenAI en el contenido multimedia, además de mostrar metadatos de C2PA cuando se encuentran.

Ningún método de detección es infalible, por lo que adoptamos un enfoque cauteloso en los casos en que la detección falla. Si no se detectan metadatos ni marcas de agua, por ejemplo, la herramienta no llegará a una conclusión definitiva sobre si la imagen fue generada con herramientas de OpenAI, ya que en algunos casos las señales de procedencia pueden eliminarse.

En el lanzamiento, la herramienta se limita al contenido generado por OpenAI. En los próximos meses, buscamos apoyar esfuerzos interindustriales para hacer posible la verificación entre plataformas. Con el tiempo, también esperamos admitir más tipos de contenido que las personas puedan encontrar en línea.

Ninguna técnica de procedencia por sí sola es suficiente. Creemos que un enfoque sólido combina estándares compartidos, señales duraderas de marcas de agua y verificación pública. Al basarnos en nuestro apoyo de larga data a Content Credentials, volvernos conformes con C2PA, adoptar SynthID y presentar herramientas públicas de verificación, esperamos contribuir a largo plazo a un ecosistema de procedencia más interoperable.