Com abordem les normes de la UE sobre la procedència del text

La procedència del contingut ajuda a entendre d'on prové un contingut, com s'ha creat o modificat i si conté senyals associats als nostres models. Ja hem posat a disposició del públic eines per identificar imatges i àudio generats pels nostres models. Avui expliquem com abordem les marques d'aigua en el text en resposta al Reglament d'IA de la UE i com s'integren en el conjunt de la nostra feina.

El Reglament d'IA de la UE exigeix als proveïdors d'IA generativa que el text generat es pugui identificar de manera llegible per màquina. La inserció i la detecció de marques d'aigua en el text encara són tecnologies incipients amb limitacions importants, i el consens sobre els seus beneficis i usos responsables encara s'està formant. El nostre enfocament per fases té en compte tant els requisits del Reglament d'IA de la UE com les limitacions de la tecnologia, i posa l'accent en la transparència sobre què pot indicar una marca d'aigua en el text i què no:

• A partir d'avui, els clients de l'API de tot el món podran activar les marques d'aigua en el text per a determinats models. Les marques d'aigua en el text continuaran desactivades per defecte a l'API.

• Durant les pròximes setmanes, afegirem una marca d'aigua invisible al text generat per ChatGPT i Codex a la Unió Europea que compleixi els requisits.

• Obrim el termini de sol·licituds per accedir al nostre detector de marques d'aigua en el text. Inicialment, l'accés es limitarà a investigadors i organitzacions especialitzades que hàgim aprovat i que ens puguin ajudar a avaluar i millorar la tecnologia.

  • Tot això només s'aplica a la procedència del text: les nostres eines de verificació d'àudio i imatges, incloses l'eina web openai.com/verify⁠ i l'API de procedència del contingut⁠(s'obre en una finestra nova), continuaran sent d'accés públic per a les organitzacions que vulguin saber si una imatge o un fitxer d'àudio s'ha generat amb algun dels nostres sistemes.

La nostra tecnologia de marques d'aigua en el text, textGrain, afegeix un senyal estadístic invisible a la selecció de paraules del model. El nostre detector busca aquest senyal per avaluar si un fragment conté una marca d'aigua d'OpenAI. Trobaràs més detalls sobre el funcionament de textGrain al nostre informe tècnic⁠(s'obre en una finestra nova), que actualitzarem amb més informació durant les pròximes setmanes. També tenim previst publicar la tecnologia en codi obert perquè altres persones la puguin aprofitar per crear noves solucions.

En les nostres avaluacions, textGrain va igualar o superar el rendiment d'altres mètodes que vam provar, inclòs SynthID per a text. Tot i això, un bon rendiment en condicions ideals no garanteix una detecció fiable en l'ús quotidià.

Els detectors poden cometre dos tipus d'errors: indicar que hi ha una marca d'aigua quan no n'hi ha cap —un fals positiu— o no detectar-ne una que sí que hi és —un fals negatiu—. Les avaluacions següents il·lustren alguns d'aquests reptes:

• Les marques són més difícils de detectar en textos curts o amb menys marge de variació. Amb una taxa objectiu de falsos positius de l'1 %, el nostre detector va identificar marques d'aigua en aproximadament el 80 % dels fragments de 200 segments, en comparació amb prop del 95 % dels fragments de 400 segments, en continguts com els de psicologia. Les taxes de detecció van ser considerablement inferiors en continguts com els de matemàtiques, en què hi ha menys flexibilitat a l'hora de triar les paraules.

• Les modificacions poden afeblir la marca d'aigua. En una avaluació de fragments de 400 segments, substituir el 10 % de les paraules per sinònims va reduir la detecció d'aproximadament el 92 % al 66 %. Substituir el 25 % de les paraules la va reduir al 17 %.

Aquestes limitacions són un dels motius pels quals hem decidit oferir l'accés inicial al detector només a investigadors i organitzacions especialitzades que hàgim aprovat i que ens puguin ajudar a avaluar-ne la fiabilitat i els usos responsables.

En les proves de referència que fem servir per avaluar Astra, el nostre model d'avantguarda més recent, no observem diferències significatives de rendiment amb marques d'aigua o sense.

Les marques d'aigua en el text ofereixen un senyal limitat sobre el paper que han tingut els nostres sistemes en un fragment. És important entendre què es pot concloure d'un resultat de detecció i què no.

• Una marca d'aigua no mesura la contribució humana. Pot indicar que un sistema d'OpenAI ha generat o processat part d'un fragment, però no en quina mesura hi han intervingut el criteri, l'edició o la creativitat humans.

• Una marca d'aigua no estableix la titularitat ni la responsabilitat. No determina qui té els drets sobre el text, si se n'ha fet un ús lícit, si calia informar de l'ús d'IA o qui n'és responsable.

• Una marca d'aigua no identifica l'usuari. No associa cap persona, organització, compte, indicació o conversa amb el text.

• Una marca d'aigua no verifica l'exactitud. No indica si un fragment és cert, enganyós, perjudicial o si es presenta en el context adequat.

• No detectar cap marca d'aigua no demostra que l'autoria sigui humana. El text generat amb eines d'OpenAI pot ser massa curt o haver estat modificat o traduït, cosa que impedeix que la detecció funcioni de manera fiable. També pot provenir d'un model no compatible, ser anterior a la introducció de les marques d'aigua o haver estat generat amb eines d'una altra empresa.

• Desplegament de les marques d'aigua en el text a la UE. Durant les pròximes setmanes, introduirem les marques d'aigua en el text per als usuaris de ChatGPT i Codex que compleixin els requisits, en tots els plans i només a la UE. En el llançament, no activarem per defecte les marques d'aigua en el text a escala mundial. Aquest enfocament regional ens dona marge per aprendre de l'ús real i dels comentaris que rebem.

• Activació opcional de les marques d'aigua per als clients de l'API. A partir d'avui, els clients de l'API de tot el món podran optar per rebre text amb marca d'aigua de determinats models. Això permet als clients decidir com encaixen les marques d'aigua amb les seves obligacions de transparència i les experiències que ofereixen als usuaris. També treballem amb els nostres socis de serveis al núvol perquè, durant les pròximes setmanes, les marques d'aigua estiguin disponibles per al contingut generat amb models d'OpenAI a través dels seus serveis.

• Accés al detector per a investigadors i organitzacions especialitzades. Els investigadors i les organitzacions especialitzades que hàgim aprovat poden sol·licitar-hi accés a partir d'avui. D'acord amb el Codi de bones pràctiques⁠(s'obre en una finestra nova), inicialment l'accés es concedirà cas per cas per facilitar l'avaluació i la millora de la identificació de la procedència del text. L'eina indicarà si detecta una marca d'aigua d'OpenAI, sense identificar l'usuari ni revelar les seves indicacions o converses. Atès el risc que algunes marques d'aigua passin desapercebudes i que es produeixin falsos positius, no la posarem a disposició del públic en el llançament.

Preveiem revisar cada part d'aquest enfocament a mesura que evolucionin la tecnologia, els estàndards i l'evidència disponible.

Cap tècnica d'identificació de la procedència és suficient per si sola; per això adoptem un enfocament per capes que combina estàndards oberts, marques d'aigua persistents i eines de verificació.

Afegim Content Credentials a les imatges generades compatibles, complim l'estàndard C2PA⁠(s'obre en una finestra nova), incorporem marques d'aigua invisibles de SynthID⁠(s'obre en una finestra nova) a les imatges i l'àudio compatibles i oferim la verificació d'imatges i àudio a través d'openai.com/verify⁠ i de la nostra API de procedència del contingut⁠(s'obre en una finestra nova). Aquestes tècniques es complementen: Content Credentials permet registrar l'origen i l'historial d'un fitxer, mentre que les marques d'aigua invisibles poden conservar un senyal quan s'eliminen les metadades.

Com vam explicar en la nostra feina de protecció dels processos electorals, la informació sobre la procedència pot ajudar les persones i les plataformes a avaluar continguts generats per IA potencialment enganyosos, inclosos els hipertrucatges. Combinem aquests senyals amb polítiques, detecció d'usos indeguts, denúncies, investigacions i mesures per fer complir les normes, i col·laborem amb investigadors, organismes de normalització, plataformes i la societat civil perquè la informació sobre la procedència sigui útil a tot l'ecosistema.

Estendre la identificació de la procedència al text requereix tenir en compte la facilitat amb què es pot reescriure, traduir o modificar. Com vam comentar al juny, el nostre enfocament ha de tenir en compte els límits pràctics de la tecnologia actual. Continuarem millorant la detecció, estudiant com resisteixen les marques d'aigua les modificacions i la traducció, i explorant maneres de distingir amb més precisió entre l'assistència de la IA i l'autoria de la IA. Adaptarem el nostre enfocament a mesura que evolucionin l'evidència disponible, els estàndards i els requisits normatius, i ampliarem l'accés al detector quan considerem que els resultats es poden interpretar de manera responsable.

Per a més informació, consulta el nostre article del centre d'ajuda⁠(s'obre en una finestra nova).