Cómo las confesiones pueden mantener honestos a los modelos de lenguaje

Los sistemas de IA se están volviendo más capaces, y queremos entenderlos lo más profundamente posible, incluyendo cómo y por qué llegan a una respuesta. A veces, un modelo toma un atajo o se optimiza para el objetivo equivocado, pero su resultado final aún parece correcto. Si podemos identificar cuándo ocurre esto, podremos monitorear mejor los sistemas desplegados, mejorar el entrenamiento y aumentar la confianza en los resultados.

La investigación de OpenAI y otros ha demostrado que los modelos de IA pueden alucinar⁠, manipular las recompensas o ser deshonestos. En este momento, observamos los comportamientos más preocupantes, como conspiraciones⁠(se abre en una nueva ventana), solo en pruebas de estrés y evaluaciones adversas. Pero, a medida que los modelos se vuelven más capaces y cada vez más autónomos, incluso las formas raras de desalineación se vuelven más significativas, lo que nos motiva a invertir en métodos que nos ayuden a detectar, comprender y mitigar mejor estos riesgos. 

Este trabajo analiza un enfoque de este tipo: el entrenamiento de modelos para que admitan explícitamente cuando se involucran en comportamientos indeseables, una técnica que llamamos confesiones. 

Una confesión es una segunda salida, distinta de la respuesta principal del modelo al usuario. La respuesta principal se evalúa en muchas dimensiones: corrección, estilo, utilidad, cumplimiento, seguridad y más. Estas señales multifacéticas se utilizan para entrenar modelos que produzcan mejores respuestas. Por el contrario, la confesión se juzga y se entrena en un solo aspecto: la honestidad. Tomando una página de la estructura de un confesionario, nada de lo que el modelo dice en su confesión se usa en su contra durante el entrenamiento. Si el modelo admite honestamente haber hackeado una prueba, haber actuado con cautela excesiva o haber infringido instrucciones, esa admisión aumenta su recompensa en lugar de disminuirla. El objetivo es animar al modelo a que informe con precisión lo que realmente hizo. 

En nuestras pruebas, encontramos que el método de confesiones mejora significativamente la visibilidad de las conductas indebidas del modelo. Al promediar nuestras evaluaciones diseñadas para inducir comportamientos indebidos, la probabilidad de "falsos negativos" (es decir, que el modelo no cumpla con las instrucciones y luego no lo confiese) es solo del 4.4 %.

Precisión de nuestro modelo de "prueba de concepto" de confesiones en varios conjuntos de datos adversos. Los resultados se clasifican como cumplió y no confesó (verdadero negativo), cumplió y confesó (falso positivo), no cumplió y no confesó (falso negativo), y no cumplió y confesó (verdadero positivo).

Una confesión es un autorreporte del modelo sobre qué tan bien cumplió con el espíritu y con la letra de las instrucciones o políticas explícitas e implícitas que se le dieron, y si hubo alguna instancia en la que "recortó esquinas" o "hackeó", infringió políticas, o de alguna manera no cumplió con las expectativas. En nuestra investigación, descubrimos que los modelos pueden ser entrenados para ser francos e informar sobre sus propias deficiencias. Entrenamos una versión de GPT‑5 Thinking para generar confesiones y la evaluamos en varios conjuntos de datos de prueba de estrés fuera de distribución, diseñados para provocar comportamientos como conspiraciones, hackeos, infringir instrucciones y alucinaciones. Descubrimos que, incluso cuando el modelo se involucra en estos comportamientos no deseados, es muy probable que confiese haberlos cometido. La figura de arriba muestra que el enfoque de confesiones es ampliamente efectivo en una amplia variedad de conjuntos de datos y tareas. 

Después de cualquier interacción entre el usuario y el modelo que termine en una respuesta del modelo, se puede solicitar una confesión enviando al modelo un “mensaje del sistema” que le indique proporcionar un informe de confesión. El informe se refiere a la última respuesta del modelo e incluye (1) la lista de todas las instrucciones, restricciones y objetivos explícitos e implícitos que esta respuesta debería haber satisfecho, (2) un análisis honesto y objetivo de si la respuesta realmente cumplió con cada uno de estos objetivos, y (3) una lista de cualquier incertidumbre, ambigüedad o “decisiones difíciles” que el modelo encontró al producir la respuesta. Durante el entrenamiento, una confesión es evaluada por un modelo de recompensa independiente que califica únicamente la confesión en función de la completitud de los objetivos, la precisión del análisis de cumplimiento y la cobertura de las incertidumbres. Estas recompensas se aplican exclusivamente al resultado de la confesión y nunca afectan la recompensa de la respuesta principal. Esto asegura la propiedad, analizada anteriormente, de que nada de lo que el modelo diga en confesión puede perjudicar (o ayudar) a su recompensa por su respuesta principal.

La teoría detrás de las confesiones es simple. Muchos tipos de comportamientos no deseados del modelo aparecen porque le pedimos al modelo que optimice varios objetivos a la vez. Durante el aprendizaje por refuerzo, el modelo ve un mensaje, genera una respuesta y recibe una recompensa. Con el tiempo, aprende a generar respuestas que obtienen buenos puntajes. El desafío es que la señal de recompensa debe combinar muchas consideraciones diferentes a la vez: qué tan correcta es la respuesta, si es útil, si sigue las especificaciones del producto y de la política, si cumple con las restricciones de seguridad y si coincide con lo que los usuarios tienden a preferir. Cuando estas señales interactúan, pueden empujar accidentalmente al modelo hacia comportamientos que no queremos.

Por ejemplo, nuestro trabajo sobre alucinaciones⁠ demostró que algunos conjuntos de datos premian más una conjetura segura que una admisión honesta de incertidumbre. Nuestra investigación sobre adulación⁠ demostró que los modelos pueden volverse demasiado complacientes cuando la señal de preferencia es muy fuerte. Y trabajos⁠(se abre en una nueva ventana) de otros grupos han demostrado que los modelos pueden "hackear recompensas", encontrando lagunas en la configuración de entrenamiento que les permiten obtener una alta puntuación sin realmente hacer lo que pretendíamos. En algunos casos, estos atajos pueden generalizarse⁠(se abre en una nueva ventana) a comportamientos aún más perniciosos en el despliegue.

Las confesiones evitan este problema separando por completo los objetivos. La respuesta principal continúa optimizando todos los factores habituales. La confesión se entrena en exactamente un aspecto: la honestidad. Nada de lo que el modelo diga en la confesión se usará en su contra y la confesión no afectará la recompensa por la respuesta principal. Eso significa que, incluso si el modelo engaña o toma atajos en su salida original, todavía tiene un incentivo para admitirlo en la confesión. Esto es lo que observamos en la práctica: los modelos están dispuestos a admitir el mal comportamiento en la confesión, incluso en casos donde lo ocultan en la respuesta principal. Y cuando las confesiones fallan, generalmente es porque el modelo está genuinamente confundido, ya sea porque las instrucciones fueron ambiguas o porque no se dio cuenta de que se había cometido un error, en lugar de estar tratando deliberadamente de engañar. Es importante destacar que los primeros resultados muestran que las confesiones siguen siendo efectivas incluso cuando la respuesta original se produce sin ninguna cadena de pensamiento, lo que sugiere que la honestidad de la confesión no depende de la claridad del razonamiento interno y puede generalizarse a futuras arquitecturas de modelos.

El entrenamiento de confesiones funciona incluso sin etiquetas de verdad objetiva de cumplimiento. Por “verdad objetiva”, nos referimos a una etiqueta definitiva proporcionada externamente que indica si el modelo realmente siguió una instrucción o la infringió. En muchas tareas del mundo real, estas etiquetas no están disponibles; si supiéramos con certeza que el modelo ha infringido una regla, podríamos penalizar directamente esa infracción en lugar de depender de una confesión. En cambio, el modelo es recompensado por producir una explicación estructurada y respaldada por evidencia de lo que cree que hizo. El artículo demuestra que la honestidad tiende a emerger bajo esta configuración. Pensamos que esto se debe a que proporcionar una cuenta veraz y respaldada por datos es generalmente más fácil para el modelo que construir una narrativa coherente que pueda convencer al juez. Esta es una suposición fundamental que se analiza en el artículo, que también indaga en los casos en los que las confesiones fallan: los falsos negativos y los falsos positivos, y cómo surgen.

El documento proporciona evidencia inicial de que las confesiones funcionan, pero no debe considerarse como una prueba concluyente. Aunque utilizamos un modelo de frontera (GPT‑5 Thinking), nuestros experimentos fueron limitados en escala, usando una cantidad relativamente pequeña de computación y datos. Estamos entusiasmados de profundizar este trabajo y verificar si la honestidad de las confesiones continuará manteniéndose a medida que ampliemos su entrenamiento.

Como parte de nuestros experimentos, entrenamos deliberadamente modelos contra una “señal de recompensa” hackeable calculada por un modelo más débil. Esta configuración se aplicó tanto a la recompensa principal como a la recompensa de confesión. El modelo aprendió a explotar la señal de recompensa débil: su aparente exactitud (cuando era evaluada por el modelo débil) mejoró, mientras que su verdadera exactitud (cuando era evaluada por un evaluador más fuerte) disminuyó. 

Sin embargo, aunque el canal de confesión fue entrenado con la misma señal débil, su precisión se desplazó en la dirección contraria. El modelo aprendió que la mejor forma de optimizar la recompensa de confesión era simplemente admitir cuando hackeaba la recompensa principal. Las confesiones se volvieron más precisas con el tiempo, incluso cuando el comportamiento principal fue variable.

El documento⁠(se abre en una nueva ventana) contiene más experimentos y resultados. Comparamos el modelo entrenado con confesiones contra un modelo de control entrenado de la misma manera pero sin el canal de confesiones. También examinamos los casos en los que las confesiones fallaron. Casi todos los “fallos” ocurrieron cuando el modelo estaba genuinamente confundido, es decir, cuando las instrucciones fueron ambiguas o cuando simplemente no se dio cuenta de que había cometido un error. (Consulta el ejemplo de falso negativo⁠ arriba.)

Las confesiones tienen sus limitaciones. No previenen el mal comportamiento; lo exponen. Su principal valor es como herramienta de monitoreo y diagnóstico, tanto durante el entrenamiento como en el despliegue. Las confesiones desempeñan un rol similar al de la monitorización de la cadena de pensamiento⁠: ambos hacen que los procesos de razonamiento ocultos sean más visibles. Las confesiones se centran en si el modelo infringió las instrucciones; la cadena de pensamiento puede destacar cómo llegó allí.

Este trabajo también es una prueba de concepto. No entrenamos mecanismos de confesión a gran escala y la exactitud de las confesiones aún es imperfecta. Hay más trabajo por hacer para que el enfoque sea más confiable, más robusto y más ampliamente aplicable en diferentes familias de modelos y tareas.

Este trabajo se enmarca dentro de nuestro enfoque más amplio sobre la seguridad de la IA⁠. Las confesiones son un mecanismo dentro de un conjunto más amplio que incluye alineación deliberativa⁠, monitoreo de la cadena de pensamiento⁠, jerarquía de instrucciones⁠ y más. Ningún método por sí solo es suficiente; el objetivo es un sistema en capas de controles y herramientas de transparencia que se refuercen mutuamente. Las confesiones pueden ayudar a diagnosticar comportamientos problemáticos en los modelos durante el entrenamiento y la evaluación, así como a monitorear durante la implementación. Las confesiones por sí solas no resuelven el problema de equilibrar distintas dimensiones. Pero, al crear un modo de “suero de la verdad” en el que los modelos se centran únicamente en la honestidad, se añade una herramienta valiosa a nuestro conjunto para mejorar la honestidad y la seguridad en todos los ámbitos.

A medida que los modelos se vuelven más capaces y se despliegan en entornos de mayor importancia, necesitamos mejores herramientas para entender qué hacen y por qué. Las confesiones no son una solución completa, pero añaden una capa significativa a nuestra pila de transparencia y supervisión. En trabajos futuros, planeamos escalar las confesiones, así como emparejarlas con técnicas complementarias de transparencia y seguridad, incluyendo el monitoreo de la cadena de pensamiento y la alineación deliberativa, para avanzar aún más hacia garantizar que nuestros modelos obedezcan fielmente todas las instrucciones y políticas (como nuestra Model Spec⁠(se abre en una nueva ventana)), y reporten verazmente sobre sus acciones.