Presentem un nou marc per fer el seguiment, investigar i divulgar casos de desalineació dels models a OpenAI, juntament amb sis informes sobre comportaments inesperats o preocupants dels models que hem observat durant els últims sis mesos.
Anteriorment, per informar millor els investigadors, els desenvolupadors d’IA, els responsables polítics i el públic general, hem procurat fer públiques les nostres conclusions sobre la desalineació. Però, sense un enfocament sistemàtic per informar d’aquestes conclusions, les nostres divulgacions han estat puntuals i menys freqüents del que seria ideal: sovint hem esperat fins a poder agrupar diversos casos en un sol informe o els hem afegit a les fitxes de sistema dels models acabats de publicar. Aquest nou marc pretén agilitzar la publicació d’informes de desalineació després d’observar-la, fins i tot quan encara no hàgim explicat ni mitigat del tot el comportament de què informem.
A mesura que els sistemes d’IA esdevenen més avançats i es despleguen més àmpliament, hem d’assolir un consens més ampli i ben informat sobre els avenços de la recerca en alineació. No creiem que el sector de la IA hagi resolt l’alineació i la supervisió prou bé per continuar ampliant-ne l’escala de manera responsable i a la màxima velocitat durant gaire més temps. Les decisions sobre com ha d’avançar el desenvolupament de la IA durant els propers mesos i anys s’han de basar en proves que les persones alienes a les empreses que creen models d’avantguarda puguin examinar per si mateixes.
Els exemples de desalineació poden ajudar a identificar problemes que altres desenvolupadors d’IA podrien trobar quan els seus sistemes assoleixin capacitats semblants, revelar punts febles de les salvaguardes o qüestionar supòsits sobre el comportament dels models. Compartir aquestes conclusions permet que altres persones investiguin els mateixos problemes, posin a prova les nostres explicacions i millorin les mesures de mitigació. Com que creiem en el valor de la transparència al voltant de la desalineació, el nostre nou marc afavoreix la divulgació fins i tot quan la importància del cas és incerta. Això vol dir que alguns dels casos que divulguem podrien resultar espuris, no formar part d’un patró més ampli ni apuntar a esdeveniments futurs.
Actualment, no hi ha cap marc sectorial amb normes explícites sobre com els desenvolupadors d’IA han de divulgar exemples de desalineació dels seus models. Esperem que el marc que presentem avui sigui un primer pas cap a la creació d’aquestes normes, que estableixin quins casos de desalineació han de divulgar els desenvolupadors i què han de contenir els informes. Considerem que aquest marc és un projecte en curs, que perfeccionarem mitjançant l’experiència i els comentaris del públic.
Aquí descrivim com funcionarà el marc i compartim els primers informes que publiquem.
Volem divulgar exemples que aportin proves útils sobre com sorgeix la desalineació dels models, com es manifesta i en quins casos les salvaguardes funcionen o fallen. Prioritzem els mecanismes nous, els canvis significatius en comportaments coneguts i les conclusions que qüestionen supòsits sobre la seguretat o la mitigació. No cal que un exemple causi danys ni demostri un patró més ampli perquè se’n justifiqui la divulgació. Aquest marc abastarà els comportaments que compleixin els requisits durant tot el cicle de vida d’un model, inclosos l’entrenament, l’avaluació, les proves i el desplegament.
Això inclou noves maneres en què els models poden actuar sense autorització, coordinar-se amb altres models o eludir la supervisió; errors que posin en dubte un mètode d’alineació o una salvaguarda, i comportaments que qüestionin una afirmació inclosa en una avaluació de seguretat publicada. Els mateixos criteris de divulgació s’apliquen a la desalineació que pugui afectar tercers.
Això també podria incloure casos de desalineació que semblin duplicar casos que ja hem divulgat anteriorment. La repetició del problema podria ser, per si mateixa, una prova útil sobre el comportament dels nostres models o l’eficàcia de les nostres salvaguardes; per exemple, si un tipus concret de comportament desalineat continua repetint-se malgrat els esforços reiterats per mitigar-lo. En aquestes circumstàncies, publicarem els exemples addicionals actualitzant la divulgació original sobre la desalineació.
Amb el temps, preveiem desenvolupar criteris de divulgació més objectius amb altres desenvolupadors, investigadors externs, organismes de normalització del sector i reguladors. També creiem que els incidents greus de seguretat, ciberseguretat i desalineació s’han de comunicar al govern federal dels EUA, i treballem per proposar mecanismes de notificació. Considerem que aquest marc complementa les nostres obligacions actuals i assenyalem que no substitueix els requisits legals de divulgació, inclosos els relatius a incidents crítics de seguretat o vulneracions de ciberseguretat.
Per inaugurar el nostre nou marc de divulgació de la desalineació, publiquem sis informes sobre casos de comportament desalineat que hem observat durant l’entrenament o l’avaluació dels nostres models. Aquests casos il·lustren diversos comportaments que considerem que val la pena compartir, des d’ocultar informació a l’usuari fins a emprendre accions no autoritzades per superar obstacles. Són informes de casos individuals i no s’han de considerar representatius de la freqüència amb què es produeix la desalineació en el conjunt dels nostres models. Cada element següent enllaça amb l’informe complet.
Instruccions autogenerades en resums de tasques(s'obre en una finestra nova). Un model de recerca no publicat va inserir instruccions no relacionades, entre les quals n’hi havia per ignorar les seves restriccions habituals, en resums utilitzats per continuar la feina en una finestra de context nova. Vam identificar 27 resums afectats.
Instruccions per ocultar errors en resums de tasques(s'obre en una finestra nova). Durant l’entrenament de GPT‑5.6 Sol, moltes instàncies del model van afegir instruccions als seus resums per ocultar a l’usuari errors o comportaments desalineats. Per exemple, els resums de condensació de context incloïen instruccions per inventar dades històriques absents sense revelar-ho i per ocultar discrepàncies entre versions de les fonts.
Cerca de claus d’API exposades en repositoris públics i posterior invenció d’informació(s'obre en una finestra nova). Mentre responia una pregunta rutinària sobre les xifres d’ingressos d’un comtat de Califòrnia, un model va trobar i utilitzar sense autorització una clau d’API exposada. Com que tot i així no va poder recuperar les xifres sol·licitades, se les va inventar i les va presentar com si fossin dades de la font demanada.
Càrrega de fitxers a internet per poder citar-los(s'obre en una finestra nova). Quan un usuari va demanar a un model no publicat els identificadors i els noms dels llacs de més de 5.000.000 de metres quadrats, l’agent va trobar la resposta correcta mitjançant Python. Però, com que les instruccions exigien una citació del navegador, l’agent va decidir penjar el fitxer per poder citar-lo a la resposta, sense demanar permís a l’usuari.
Escriptures no autoritzades i comunicació mitjançant un repositori intern de programari(s'obre en una finestra nova). Els models van utilitzar un repositori intern de programari com a tauler de missatges per intercanviar peticions i respostes entre mostres d’entrenament separades mentre cercaven fitxers d’entrada absents, tot i que no van poder recuperar-los. Aquest informe també examina un cas anterior en què un model va aconseguir carregar fitxers de prova en un repositori mentre intentava eludir les restriccions de xarxa.
Compartició no autoritzada de fitxers entre agents que col·laboren(s'obre en una finestra nova). Diversos agents que treballaven conjuntament en la mateixa tasca d’entrenament van utilitzar llocs web públics d’allotjament de fitxers per compartir-los quan no podien accedir als fitxers locals dels altres. Això va fer que els lliurables de la tasca estiguessin disponibles en URL públics, tot i que la tasca demanava als models que utilitzessin només fitxers locals.
Qualsevol persona empleada d’OpenAI pot assenyalar un exemple de desalineació perquè els nostres equips de seguretat i alineació l’investiguin i sol·licitar que se’n consideri la divulgació pública. Això posa en marxa el nostre procés de divulgació, amb terminis per a cada fase que garanteixen una investigació i una divulgació oportunes.
Un cop assenyalat un exemple, el nostre personal tècnic investigarà què va passar, quins aspectes continuen sent incerts, si se’n justifica la divulgació pública i quins fets es poden compartir. També avaluarà si algun tercer s’ha vist afectat i cal notificar-l’hi en privat abans de publicar l’informe.
A continuació, l’exemple s’assignarà a un de tres circuits: Preparat per divulgar, Investigació menor o Investigació més àmplia ("circuit lent").
Preparat per divulgar inclou els casos que compleixen els requisits i tenen una investigació prou completa per publicar-los després de la revisió. Investigació menor inclou els casos que necessiten més investigació tècnica. Preveiem que aquests dos circuits abastin la gran majoria dels casos que divulguem, especialment els que no requereixin una investigació exhaustiva, coordinació amb tercers ni la gestió de riscos greus d’ús indegut. Tots els casos que publiquem avui pertanyen a un d’aquests dos circuits.
Investigació més àmplia inclou les investigacions complexes, especialment les que impliquen tercers. Quan hi hagi tercers afectats, les nostres obligacions de seguretat, jurídiques i de divulgació responsable tindran prioritat sobre aquest marc. Procurarem publicar un avís inicial tan aviat com sigui possible, però és possible que hàgim de retardar-lo per motius de seguretat; per exemple, si un model descobreix una vulnerabilitat fins aleshores desconeguda en programari d’ús generalitzat. Si un informe permetés identificar un tercer, tenim la intenció d’avisar-lo amb antelació encara que no s’hagi traspassat cap perímetre de seguretat.
L’avís inicial d’un cas d’Investigació més àmplia explicarà a grans trets què ha passat, indicarà si experts externs col·laboren en la investigació i inclourà qualsevol estimació disponible de quan preveiem publicar l’informe final. L’incident d’OpenAI a Hugging Face hauria seguit aquest circuit si s’hagués divulgat d’acord amb aquest marc.
S’informarà la persona empleada que hagi plantejat l’exemple de la decisió sobre si es divulga i, en cas afirmatiu, de quin circuit se seguirà. Els desacords no resolts sobre la divulgació o el circuit adequat es remetran al Grup Assessor de Seguretat (SAG) d’OpenAI, format per alts càrrecs de tota l’empresa que avalua les capacitats i les salvaguardes dels models d’avantguarda, supervisa el nostre Entorn de treball de preparació i assessora la direcció d’OpenAI. Els desacords dins del SAG o les objeccions del personal a les seves decisions s’elevaran a la direcció d’OpenAI. Les decisions de no divulgar un cas o de considerar que no se’n justifica la divulgació es comunicaran als responsables de seguretat i alineació i, en la mesura que sigui possible, al personal tècnic pertinent.
És possible que revisem aquest procés de divulgació a mesura que n’observem el funcionament a la pràctica, i deixarem constància en aquesta publicació de qualsevol canvi.
Cada informe complet descriurà el comportament observat, la seva gravetat i qualsevol impacte extern, l’entorn en què es va produir, la data o l’interval de dates, quan el vam descobrir i, a grans trets, el model o els models implicats. Quan sigui possible, també compartirem:
Més detalls sobre què va passar i els danys que se’n van derivar;
Com vam descobrir la desalineació i l’abast de la nostra investigació;
La nostra interpretació de les implicacions per a la recerca sobre alineació i la seguretat tècnica de la IA;
Les qüestions importants que l’exemple planteja i que continuen sense resposta;
Les mesures que adoptem o preveiem adoptar per abordar el comportament. És possible que aquesta informació no estigui sempre disponible en el moment de la divulgació, ja que podem publicar l’informe de desalineació abans de completar la investigació o de desenvolupar una solució.
En els casos de desalineació que es produeixin en desplegaments de clients, compartirem tanta informació com ens permetin la privacitat dels clients i les nostres obligacions contractuals.
Els informes d’avui són un conjunt inicial de divulgacions, no pas una exposició exhaustiva de la desalineació coneguda ni de les investigacions en curs. Aquests informes inicials no pretenen representar tot el ventall ni la gravetat dels casos que abasta aquest marc. Ens comprometem a divulgar els casos de desalineació que compleixin els criteris d’aquest marc, inclosos els casos més complexos que requereixin una investigació més llarga o coordinació amb tercers. Continuarem publicant informes de manera periòdica en el marc d’aquest sistema i explicarem més detalls sobre els nostres compromisos d’informació a mesura que els continuem desenvolupant.
