Mejorar el comportamiento de seguridad de los modelos con recompensas basadas en reglas

Nuestra investigación demuestra que las recompensas basadas en reglas (RBR) mejoran significativamente la seguridad de nuestros sistemas de IA, haciéndolos más seguros y fiables para que las personas y los desarrolladores los usen a diario. Esto forma parte de nuestras labores para explorar más formas en las que podemos aplicar nuestra propia IA para hacer que la IA sea más segura⁠. 

Hasta ahora, la optimización de los modelos de lenguaje mediante el aprendizaje de refuerzo a partir de comentarios de los usuarios (RLHF)⁠ ha sido el método de preferencia para garantizar que sigan las instrucciones con precisión⁠. OpenAI ha estado a la vanguardia del desarrollo de estos métodos de alineación para crear modelos de IA más inteligentes y seguros.

Para garantizar que los sistemas de IA se comporten de una manera segura y que se corresponda con los valores humanos, definimos los comportamientos deseados y recopilamos comentarios de los usuarios para entrenar un «modelo de recompensa». Este modelo guía a la IA al señalar acciones deseables. Sin embargo, recopilar los comentarios de los usuarios para tareas rutinarias y repetitivas no suele ser muy eficaz. Además, si nuestras políticas de seguridad cambian, los comentarios que ya hemos recopilado podrían quedar obsoletos, con lo que serían necesarios nuevos datos.

Por eso, presentamos las recompensas basadas en reglas (RBR) como un componente clave de la pila de seguridad de OpenAI para que el comportamiento del modelo se corresponda con el comportamiento seguro deseado. A diferencia de los comentarios de los usuarios, las RBR utilizan reglas claras, simples y paso a paso para determinar si los resultados del modelo cumplen con las normas de seguridad. Cuando se conectan al proceso estándar de RLHF, ayudan a mantener un buen equilibrio entre la utilidad y la prevención de daños para garantizar que el modelo se comporte de manera segura y eficaz sin las ineficiencias de los comentarios humanos recurrentes. Hemos utilizado las RBR como parte de nuestra pila de seguridad desde el lanzamiento de GPT‑4⁠, incluido GPT‑4o mini⁠, y prevemos implementarlas en nuestros modelos de aquí en adelante.

El proceso de implementación de las RBR implica definir un conjunto de propuestas (declaraciones simples sobre los aspectos deseados o no deseados de las respuestas del modelo, como «ser crítico», «contener contenido no permitido», «hacer referencia a políticas de seguridad», «exención de responsabilidad», etc.). Estas propuestas se utilizan para elaborar cuidadosamente reglas que capturen los matices de las respuestas seguras y apropiadas en diversas situaciones. Por ejemplo, un rechazo como «Lo siento, pero no te puedo ayudar con eso» es una respuesta deseada del modelo cuando se realizan solicitudes que plantean un problema de seguridad. Las reglas asociadas indicarían que el rechazo «debería contener una breve disculpa» y que «debería transmitir la incapacidad de ejecutarlas». 

Diseñamos tres categorías de comportamiento deseado del modelo cuando se trata de temas dañinos o sensibles. Según las políticas de seguridad, las distintas solicitudes se asignan a distintos tipos de respuesta del modelo.

A continuación, proporcionamos ejemplos simplificados de propuestas y cómo se asignan a un comportamiento ideal o no ideal para distintos tipos de respuesta.

En la siguiente tabla, proporcionamos algunos ejemplos ilustrativos de resultados de los modelos que entrenamos en nuestros experimentos con nuestras propuestas. Destacamos algunos valores de propuesta para cada resultado y a qué clase se asignan.

El calificador, un modelo de lenguaje fijo, puntúa las respuestas en función del grado en que cumplen las reglas, lo que permite que el enfoque de RBR se adapte de manera flexible ante la introducción de nuevas reglas y políticas de seguridad. Las RBR utilizan las puntuaciones para dotar a un modelo lineal de parámetros de ponderación aprendidos de un pequeño conjunto de prompts con un tipo de respuesta ideal conocido, así como los resultados deseados y no deseados correspondientes. Posteriormente, las RBR se combinan con recompensas de un modelo de recompensas solo útiles y se utilizan como señal adicional en los algoritmos PPO⁠ para alentar al modelo a cumplir las políticas de comportamiento seguro. El método nos permite proporcionar un control exhaustivo del comportamiento del modelo, lo que garantiza que no solo evite el contenido dañino, sino que lo haga de una manera que sea respetuosa y útil.

En nuestros experimentos, los modelos entrenados mediante RBR lograron un rendimiento en materia de seguridad comparable al de aquellos entrenados con comentarios de los usuarios. Además, disminuyeron los casos de rechazo incorrecto de solicitudes seguras («rechazo excesivo») sin que se vieran afectadas las métricas de evaluación en comparación con los puntos de referencia de capacidades comunes. Las RBR también reducen significativamente la necesidad de disponer de numerosos datos humanos, lo que hace que el proceso de entrenamiento sea más rápido y rentable. Asimismo, a medida que evolucionan las capacidades del modelo y las directrices de seguridad, las RBR se pueden actualizar rápidamente modificando o agregando nuevas reglas, sin la necesidad de un extenso entrenamiento adicional.

Estamos evaluando el comportamiento de seguridad de nuestro modelo en un marco en el que podemos observar fácilmente el equilibrio entre utilidad y daño. Por un lado, es fácil garantizar la seguridad si el modelo lo rechaza todo, aunque su utilidad sería cero. Por otro lado, no queremos crear un modelo que dé prioridad a obtener la máxima utilidad y que, a su vez, sea inseguro o dañino. Un modelo optimizado debería encontrar el equilibrio entre utilidad y daño.

Aunque las RBR funcionan bien para tareas con reglas claras y sencillas, pueden ser difíciles de aplicar a tareas más subjetivas, como redactar un artículo de calidad. Sin embargo, las RBR se pueden combinar con comentarios de los usuarios para abordar estos desafíos. Por ejemplo, las RBR pueden hacer cumplir directrices específicas (como «No usar jerga» o reglas presentes en el Model Spec⁠), mientras que los comentarios de los usuarios pueden ayudar con aspectos con más matices (como la coherencia general). Las RBR se optimizan para hacer cumplir correctamente las preferencias de seguridad, pero sin influir más de lo necesario en la puntuación total de recompensa; de esta manera, el modelo de recompensa de RLHF aún puede proporcionar una señal sólida sobre, por ejemplo, el estilo de escritura.

Consideraciones éticas: la transferencia de los controles de seguridad de los humanos a la IA puede reducir la supervisión humana de la seguridad de la IA y podría amplificar los posibles sesgos en los modelos si se utilizan modelos sesgados para proporcionar recompensas basadas en reglas (RBR). Para hacer frente a este problema, los investigadores deben diseñar cuidadosamente las RBR para garantizar la imparcialidad y la precisión, y plantearse el uso de una combinación de RBR y comentarios de los usuarios para minimizar los riesgos.

Hemos presentado un nuevo enfoque de modelado de preferencias que utiliza recompensas basadas en reglas (RBR) para el entrenamiento de seguridad de los modelos lingüísticos. Nuestro método es rentable y rápido, apenas requiere datos humanos y es fácil de actualizar si cambia el comportamiento deseado del modelo, al tiempo que mantiene un equilibrio entre seguridad y utilidad.

Por otro lado, las RBR no se limitan al entrenamiento en seguridad. Se pueden adaptar para diversas tareas en las que las reglas explícitas pueden definir los comportamientos deseados, como la personalización de la personalidad o el formato de las respuestas del modelo para una aplicación específica. De cara al futuro, prevemos realizar estudios de ablación más extensos para comprender mejor los diferentes componentes de las RBR y el uso de datos sintéticos para el desarrollo de reglas, así como evaluaciones humanas para validar la eficacia de las RBR en diversas aplicaciones, incluidos campos ajenos a la seguridad.

Animamos a los investigadores y profesionales a explorar el potencial de las RBR en su trabajo. Al compartir conocimientos y colaborar para desarrollar mejores prácticas, podemos avanzar colectivamente en el campo de la IA segura y alineada, garantizando que estas potentes herramientas ayuden mejor a las personas.