Alinear modelos de lenguaje para seguir instrucciones

Hemos entrenado modelos de lenguaje que son mucho mejores que GPT‑3 a la hora de responder a las intenciones de los usuarios. Además, los hemos hecho más veraces y menos tóxicos, utilizando técnicas desarrolladas a través de nuestra investigación sobre alineación. Estos modelos InstructGPT, que se entrenan con intervención humana, se han implementado ahora como modelos de lenguaje predeterminados en nuestra API.

La API de OpenAI funciona con modelos de lenguaje GPT‑3⁠, que pueden entrenarse para realizar tareas de lenguaje natural utilizando indicaciones de texto cuidadosamente diseñadas. Sin embargo, estos modelos también pueden generar resultados falsos, tóxicos o que reflejen sentimientos dañinos. Esto se debe en parte a que GPT‑3 está entrenado para predecir la siguiente palabra con base en un gran conjunto de datos de texto de Internet, en lugar de realizar de forma segura la tarea lingüística que el usuario desea. En otras palabras, estos modelos no están alineados con los usuarios.

Para que nuestros modelos sean más seguros, útiles y coherentes, utilizamos una técnica existente llamada aprendizaje por refuerzo a partir de comentarios humanos (RLHF)⁠. En respuesta a las indicaciones enviadas por nuestros clientes a la API,^A nuestros etiquetadores ofrecen demostraciones del comportamiento deseado del modelo y clasifican varios resultados de nuestros modelos. A continuación, utilizamos estos datos para perfeccionar GPT‑3.

Los modelos InstructGPT resultantes son mucho mejores que GPT‑3 a la hora de seguir instrucciones. Además, inventan hechos con menor frecuencia y muestran una ligera disminución en la generación de resultados tóxicos. Nuestros etiquetadores prefieren los resultados de nuestro modelo InstructGPT de 1300 millones de parámetros a los del modelo GPT‑3 de 175 000 millones, a pesar de que el primero tenga más de 100 veces menos parámetros. A su vez, demostramos que no tenemos que renunciar a las capacidades de GPT‑3, tal y como lo demuestra el rendimiento de nuestro modelo en evaluaciones académicas de PLN.

Estos modelos InstructGPT, que han estado en fase beta en la API durante más de un año, son ahora los modelos de lenguaje predeterminados accesibles en nuestra API.^B Creemos que la optimización de los modelos de lenguaje con la intervención humana es una potente herramienta para mejorar la seguridad y fiabilidad, por lo que pretendemos seguir avanzando en esta dirección.

Esta es la primera vez que nuestra investigación sobre alineación, en la que llevamos⁠trabajando varios⁠⁠años⁠,^{1, 2 y 3} se aplica a nuestro producto. Nuestro trabajo también está relacionado con investigaciones recientes que optimizan los modelos de lenguaje para que sigan instrucciones utilizando conjuntos de datos académicos de PLN, en particular FLAN⁴ y T0.⁵ Una motivación clave de nuestro trabajo es aumentar la utilidad y la veracidad, al tiempo que se mitigan los daños y los sesgos de los modelos.^{6, 7, 8, 9 y 10} Algunas de nuestras investigaciones anteriores⁠ en esta dirección descubrieron que podemos reducir los resultados perjudiciales mediante la optimización en un pequeño conjunto de datos seleccionados de demostraciones humanas.¹¹ Otras investigaciones se han centrado en filtrar el conjunto de datos de preentrenamiento,¹² tókenes de control específicos para la seguridad,^{13 y 14} o dirigir la generación de modelos.^{15 y 16} Estamos explorando estas y otras ideas en nuestra investigación actual sobre la alineación.

En primer lugar, evaluamos en qué medida los resultados de InstructGPT siguen las instrucciones del usuario, pidiendo a los etiquetadores que comparen sus resultados con los de GPT‑3. Hemos observado que los modelos InstructGPT resultan claramente preferidos en las indicaciones enviadas tanto al modelo InstructGPT como al GPT‑3 en la API. Esto se confirma cuando añadimos un prefijo a la indicación de GPT‑3 para que entre en «modo de seguimiento de instrucciones».

Para medir la seguridad de nuestros modelos, utilizamos principalmente un conjunto de métricas existentes en conjuntos de datos disponibles públicamente. En comparación con GPT‑3, InstructGPT produce menos falsedades imitativas (según TruthfulQA¹⁷) y es menos tóxico (según RealToxicityPrompts¹⁸). También realizamos evaluaciones humanas sobre la distribución de las indicaciones de nuestra API y hemos observado que InstructGPT inventa datos (alucina) con menos frecuencia y genera resultados más adecuados. ^C

Por último, hemos constatado que los resultados de InstructGPT son preferibles a los de FLAN⁴ y T0⁵ en nuestra distribución de clientes. Esto indica que los datos utilizados para entrenar FLAN y T0, en su mayoría tareas académicas de PLN, no son totalmente representativos del uso práctico de los modelos de lenguaje implementados.

Para entrenar los modelos InstructGPT, nuestra técnica principal es el aprendizaje por refuerzo a partir de comentarios humanos (RLHF)⁠, un método que ayudamos a desarrollar en nuestra investigación previa sobre alineación. Esta técnica utiliza las preferencias humanas como señal de recompensa para ajustar nuestros modelos, lo que es importante, ya que los problemas de seguridad y alineación que pretendemos resolver son complejos y subjetivos, y no se captan completamente con métricas automáticas simples.

Primero recopilamos un conjunto de datos de demostraciones escritas por personas en indicaciones enviadas a nuestra API y lo utilizamos para entrenar nuestras bases de referencia de aprendizaje supervisado. A continuación, recopilamos un conjunto de datos de comparaciones etiquetadas por humanos entre dos resultados del modelo en un conjunto más amplio de indicaciones a la API. A continuación, entrenamos un modelo de recompensa (RM) con este conjunto de datos para predecir qué resultado preferirían nuestros etiquetadores. Por último, utilizamos este RM como función de recompensa y ajustamos nuestra política GPT‑3 para maximizar esta recompensa utilizando el algoritmo PPO⁠.

Una forma de entender este proceso es que «desbloquea» capacidades que GPT‑3 ya tenía, pero que eran difíciles de obtener solo mediante la ingeniería de indicaciones: esto se debe a que nuestro procedimiento de entrenamiento tiene una capacidad limitada para enseñar al modelo nuevas capacidades en relación con lo aprendido durante el preentrenamiento, ya que utiliza menos del 2 % de la computación y los datos en comparación con el preentrenamiento del modelo.

Una limitación de este enfoque es que introduce una «tasa de alineación»: alinear los modelos únicamente con las tareas de los clientes puede empeorar el rendimiento en otras tareas académicas de PLN. Esto no es conveniente, ya que si nuestras técnicas de alineación empeoran los modelos en tareas que interesan a las personas, es menos probable que se adopten en la práctica. Hemos encontrado un sencillo cambio algorítmico que minimiza este coste de alineación: durante la optimización del RL, mezclamos una pequeña fracción de los datos originales utilizados para entrenar GPT‑3 y entrenamos con estos datos utilizando la maximización de la verosimilitud logarítmica normal.^D Esto mantiene aproximadamente el rendimiento en materia de seguridad y preferencias humanas, al tiempo que mitiga la disminución del rendimiento en tareas académicas y, en varios casos, incluso supera la referencia de GPT‑3.

Nuestro procedimiento alinea el comportamiento de nuestros modelos con las preferencias de nuestros etiquetadores, que producen directamente los datos utilizados para entrenar nuestros modelos, y con nosotros, los investigadores, que proporcionamos orientación a los etiquetadores a través de instrucciones escritas, comentarios directos sobre ejemplos específicos y conversaciones informales. También influyen nuestros clientes y las preferencias implícitas en nuestras políticas de API. Seleccionamos a los etiquetadores que obtuvieron buenos resultados en una prueba de aptitud para identificar y responder a indicaciones delicadas. Sin embargo, estas diferentes fuentes de influencia sobre los datos no garantizan que nuestros modelos estén alineados con las preferencias de ningún grupo más amplio.

Hemos llevado a cabo dos experimentos para investigar este tema. En primer lugar, evaluamos GPT‑3 e InstructGPT utilizando etiquetadores externos^E que no produjeron ninguno de los datos de entrenamiento, y descubrimos que estos etiquetadores prefieren los resultados de los modelos InstructGPT en aproximadamente la misma proporción que nuestros etiquetadores de entrenamiento. En segundo lugar, entrenamos modelos de recompensa con datos de un subconjunto de nuestros etiquetadores y descubrimos que se generalizan bien para predecir las preferencias de un subconjunto diferente de etiquetadores. Esto sugiere que nuestros modelos no se han ajustado excesivamente a las preferencias de los etiquetadores que han participado en el entrenamiento. Sin embargo, es necesario seguir trabajando para estudiar cómo funcionan estos modelos en grupos más amplios de usuarios y cómo se comportan ante entradas en las que los humanos no se ponen de acuerdo sobre el comportamiento deseado.

A pesar de los importantes avances logrados, nuestros modelos InstructGPT aún están lejos de estar totalmente alineados o ser totalmente seguros; siguen generando resultados tóxicos o sesgados, inventando hechos y generando contenido sexual y violento sin que se les solicite explícitamente. Sin embargo, la seguridad de un sistema de aprendizaje automático no solo depende del comportamiento de los modelos subyacentes, sino también de cómo se implementan dichos modelos. Para garantizar la seguridad de nuestra API, seguiremos revisando las posibles aplicaciones⁠(se abre en una ventana nueva) antes de que se publiquen, proporcionaremos filtros de contenido para detectar finalizaciones inseguras y supervisaremos el uso indebido.

Un efecto secundario de entrenar nuestros modelos para que sigan las instrucciones de los usuarios es que pueden volverse más susceptibles al uso indebido si se les indica que generen resultados peligrosos. Para resolver esto, es necesario que nuestros modelos rechacen ciertas instrucciones; hacerlo de manera fiable es un importante problema de investigación pendiente que tenemos muchas ganas de abordar.

Además, en muchos casos, alinearse con la preferencia media de los etiquetadores puede no resultar conveniente. Por ejemplo, al generar texto que afecta de manera desproporcionada a un grupo minoritario, se debe dar más peso a las preferencias de ese grupo. En este momento, InstructGPT está entrenado para seguir instrucciones en inglés; por lo tanto, tiene un sesgo hacia los valores culturales de las personas de habla inglesa. Estamos llevando a cabo una investigación para comprender las diferencias y discrepancias entre las preferencias de los etiquetadores, con el fin de poder condicionar nuestros modelos a los valores de poblaciones más específicas. En términos más generales, alinear los resultados de los modelos con los valores de personas concretas plantea decisiones difíciles con implicaciones sociales y, en última instancia, debemos establecer procesos responsables e inclusivos para tomar estas decisiones.

Esta es la primera aplicación de nuestra investigación sobre alineación en nuestro producto. Nuestros resultados demuestran que estas técnicas son eficaces para mejorar significativamente la alineación de los sistemas de IA de uso general con intenciones humanas. Sin embargo, esto es solo el principio: seguiremos impulsando estas técnicas para mejorar la alineación de nuestros modelos actuales y futuros con el fin de crear herramientas de lenguaje seguras y útiles para las personas.

Si te interesan estas líneas de investigación, ¡estamos buscando personal⁠(se abre en una ventana nueva)!