Mejoramos el comportamiento de seguridad del modelo con recompensas basadas en reglas

Nuestra investigación muestra que las recompensas basadas en reglas (RBR) mejoran de forma significativa la seguridad de nuestros sistemas de IA, lo que los hace más seguros y confiables para personas y desarrolladores que los usan a diario. Esto es parte de nuestro trabajo para explorar más formas en que podemos aplicar nuestra propia IA para que sea más segura⁠. 

Tradicionalmente, los modelos de lenguaje con ajuste de precisión que usan aprendizaje de refuerzo a partir de opiniones humanas (RLHF)⁠ ha sido el método preferido para garantizar que siguen instrucciones⁠ con precisión. OpenAI ha estado a la vanguardia del desarrollo de estos métodos de alineación para crear modelos de IA más inteligentes y seguros.

A fin de garantizar que los sistemas de IA se comporten de forma segura y se alineen con valores humanos, definimos los comportamientos deseados y recopilamos opiniones humanas para entrenar a un “modelo de recompensas”. Este modelo guía a la IA mediante la indicación de acciones deseadas. Sin embargo, recopilar estas opiniones humanas para tareas habituales y repetitivas a menudo es ineficiente. Asimismo, si nuestras políticas de seguridad cambian, los comentarios que ya recopilamos podrían volverse obsoletos, por lo que se necesitará de esa forma datos nuevos.

Por lo tanto, presentamos recompensas basadas en reglas (RBR) como un componente clave de la pila de seguridad de OpenAI para alinear el comportamiento del modelo con el comportamiento de seguridad deseado. A diferencia de las opiniones humanas, RBR usa reglas paso a paso claras y simples para evaluar si los resultados del modelo cumplen con los estándares de seguridad. Cuando se conecta a un proceso estándar de RLHF, ayuda a mantener un buen equilibrio entre ser útil y evitar daños, para garantizar que el modelo se comporte de forma segura y eficaz sin las ineficacias de las entradas humanas recurrentes. Hemos utilizado RBR como parte de nuestra pila de seguridad desde nuestro lanzamiento de GPT‑4⁠, incluido GPT‑4o mini⁠ y planeamos implementarlo en nuestros modelos de aquí en adelante.

El proceso de implementar RBR comprende definir un conjunto de proposiciones, declaraciones simples sobre los aspectos deseados o no deseados de las respuestas del modelo, como “ser crítico”, “tener contenido no permitido”, “hacer referencia a políticas de seguridad”, “exención de responsabilidad”, entre otros. Luego, estas proposiciones se usan para formar reglas que se crean cuidadosamente para captar los detalles de respuestas seguras y adecuadas en diferentes situaciones. Por ejemplo, un rechazo (p. ej., “Lamento no poder ayudarte con eso”) es una respuesta de modelo deseado cuando encontramos solicitudes inseguras. Las reglas relacionadas establecerían que el rechazo “debería contener una disculpa breve” y “manifestarían una incapacidad de cumplir”. 

Diseñamos tres categorías de comportamiento de modelo deseado cuando lidiamos con temas ofensivos o sensibles. Según las políticas de seguridad, diferentes solicitudes se aplican a diferentes tipos de respuesta del modelo.

A continuación, proporcionamos ejemplos simplificados de proposiciones y cómo se aplican a comportamiento ideal o no ideal para distintos tipos de respuesta.

Damos algunas de ejemplos cómo se completan a partir de modelos que entrenamos en nuestros experimentos en la tabla que aparece abajo para dar más ejemplos ilustrativos de nuestras proposiciones. Resaltamos algunos valores de proposiciones para cada respuesta y a qué clase se aplican.

El evaluador, un modelo de lenguaje fijo, califica las respuestas en función de qué tan bien cumplen con estas reglas, lo que permite que el enfoque RBR se adapte de forma flexible a nuevas reglas y políticas de seguridad. El RBR usa estas puntuaciones para ajustarse a un modelo lineal con parámetros de peso aprendidos a partir de una pequeña base de datos de consultas con tipos de respuesta ideales conocidos así como también sus respuestas deseadas y no deseadas correspondientes. Posteriormente, estas recompensas RBR se combinan con recompensas de un modelo de recompensas solo útil y se usan como una señal adicional en algoritmos PPO⁠ para alentar a que el modelo cumpla con políticas de comportamiento de seguridad. El método nos permite proporcionar control detallado sobre el comportamiento del modelo, lo que garantiza que no solo evita contenido ofensivo sino también lo hace de forma tal que es respetuoso y útil.

En nuestros experimentos, los modelos entrenados con RBR demostraron el rendimiento de seguridad comparable a aquellos entrenados con opiniones humanas. También redujeron las instancias de solicitudes seguras rechazadas de forma incorrecta (“negativa excesiva”) sin afectar las métricas de evaluación en puntos de referencia de capacidad común. Las RBR también reducen de forma significativa la necesidad de datos humanos exhaustivos, lo que hace que el proceso de entrenamiento sea más rápido y más rentable. Asimismo, a medida que las capacidades y pautas de seguridad evolucionan, las RBR se pueden actualizar rápidamente al modificar o agregar reglas nuevas sin necesidad de reentrenamiento exhaustivo.

Estamos evaluando nuestro comportamiento de seguridad del modelo en un marco donde podemos rastrear fácilmente la compensación entre utilidad y nocividad. Por un lado, es fácil estar seguro si el modelo rechaza todo, pero la utilidad del modelo sería nula. Por otro lado, no queremos crear un modelo que optimice una máxima utilidad, pero que sea inseguro o dañino. Un modelo alineado de forma óptima debería vincular utilidad y nocividad.

Aunque las RBR funcionan bien para tareas con reglas directas y claras, pueden ser engañosas para aplicar a tareas más subjetivas como escribir un ensayo de alta calidad. Sin embargo, las RBR se pueden combinar con opiniones humanas para equilibrar estos desafíos. Por ejemplo, las RBR pueden reforzar pautas específicas (como “No usar jerga” o reglas en las especificaciones del modelo⁠), mientras que las opiniones humanas pueden ayudar con aspectos más detallados (como la coherencia general). La fuerza de la RBR está optimizada para reforzar correctamente las preferencias de seguridad sin afectar la puntuación de recompensas final más que necesaria; de esta forma, el modelo de recompensas RLHF aún puede proporcionar señal fuerte en el estilo de escritura, por ejemplo.

Consideraciones éticas: Pasar de comprobaciones de seguridad de humanos a IA puede reducir la supervisión humana de seguridad de IA y amplificar los sesgos potenciales en los modelos si los modelos con sesgos se usan para proporcionar recompensas RBR. Para abordar esto, los investigadores deberían diseñar cuidadosamente RBR a fin de garantizar imparcialidad y precisión, y considerar usar una combinación de RBR y opiniones humanas para reducir los riesgos al mínimo.

A continuación presentamos un enfoque de modelo de preferencia innovador usando recompensas basadas en reglas (RBR) para el entrenamiento de seguridad de modelos de lenguaje. Nuestro método tiene una buena relación costo-eficacia en el tiempo, lo que requiere datos humanos mínimos y es fácil de actualizar si el comportamiento del modelo deseado cambia, mientras mantiene un equilibrio entre seguridad y utilidad.

Las RBR no están limitadas al entrenamiento de seguridad. Pueden adaptarse a varias tareas donde las reglas explícitas pueden definir comportamientos deseados, como adaptar la personalidad o el formato de las respuestas del modelo para una aplicación específica. De cara al futuro, planeamos realizar estudios de ablación más exhaustivos para una comprensión más integral de los diferentes componentes de RBR, el uso de datos sintéticos para el desarrollo de reglas y evaluaciones humanas para validar la eficacia de las RBR en diversas aplicaciones incluidos otros dominios más allá de la seguridad.

Invitamos a investigadores y profesionales a explorar la capacidad de las RBR en su propio trabajo. Al compartir información y colaborar con las prácticas recomendadas, podemos avanzar de forma colectiva en el ámbito de una IA segura y alineada, lo que garantiza que estas potentes herramientas sirvan mejor a las personas.