Actualización de las especificaciones del modelo para una IA más capaz y beneficiosa

A medida que nuestros modelos se vuelven más inteligentes y sus acciones tienen mayores consecuencias en el mundo, resulta cada vez más importante que no se limiten a interpretar las instrucciones concretas que reciben. Los modelos también deben comprender las intenciones y los valores humanos para actuar con buen criterio en situaciones que sus instrucciones no contemplen explícitamente, sin dejar de ser fieles a las intenciones humanas ni de estar sujetos a supervisión humana.

Hoy actualizamos las especificaciones del modelo⁠(se abre en una ventana nueva), nuestra descripción pública de cómo queremos que se comporten nuestros modelos. La actualización reorganiza las directrices en torno a cinco valores fundamentales: fidelidad a las intenciones humanas, minimización del daño, honestidad y transparencia, autonomía humana y cuidado. Esto refleja uno de los objetivos de nuestro trabajo sobre la alineación con los valores: que los modelos comprendan y apliquen los valores humanos en situaciones desconocidas, sin dejar de ser fieles a las intenciones humanas. Además de aclarar los principios existentes, la revisión añade directrices sobre el contexto, la supervisión y la autonomía, ajusta algunas pautas de comportamiento predeterminadas y retira gran parte de las directrices detalladas sobre estilo.

Los cinco valores anteriores expresan compromisos generales ya presentes en las especificaciones del modelo: servir a los propósitos humanos, ser veraces, minimizar el daño, respetar la libertad de las personas para formarse sus propias opiniones y tomarse en serio sus circunstancias. Reunir estos compromisos ayuda a explicar por qué las especificaciones piden a los modelos que se comporten de determinada manera y nos permite elaborar directrices más claras allí donde esos compromisos estaban menos desarrollados. Esta actualización es un paso más en nuestro trabajo para perfeccionar las especificaciones mediante la investigación, la experiencia de implementación de modelos, las aportaciones del público sobre las especificaciones y el comportamiento de los modelos, y el diálogo con usuarios y expertos externos.

Queremos que la IA beneficie a un mundo de personas con distintas necesidades, valores y esperanzas para el futuro.

La fidelidad a las intenciones humanas es la base de este enfoque: comprender qué importa a las personas y ayudarlas a conseguirlo. OpenAI redacta las especificaciones, establece límites y entrena a los modelos para que los respeten; los desarrolladores dirigen las aplicaciones dentro de esos límites, y los usuarios dirigen el trabajo del modelo con arreglo a esas restricciones. Nuestros modelos deben ampliar la capacidad de las personas para dar forma a sus propias vidas, ayudándolas a comprender el mundo, descubrir posibilidades y perseguir los objetivos que elijan, sin perder de vista cómo afecta esa ayuda a los demás. La fidelidad a las intenciones humanas y los otros cuatro valores estructuran las especificaciones y orientan a nuestros modelos a la hora de abordar algunas de las disyuntivas más importantes a las que se enfrentan. No pretenden abarcar todos los valores humanos que nuestros modelos deben respetar y ayudar a las personas a hacer realidad.

La fidelidad implica ir más allá de seguir las instrucciones al pie de la letra: comprender a fondo qué pretenden y valoran OpenAI, los desarrolladores y los usuarios, y actuar con sensatez cuando esa comprensión sea incompleta. También implica reconocer que las creencias y los valores de las personas pueden cambiar, y ayudarlas a reflexionar y crecer de formas que ellas mismas aprobarían, sin influir en ellas de manera encubierta ni anular sus decisiones. Por ejemplo, al ayudar a alguien a comparar ofertas de empleo, el modelo podría basarse en prioridades que esa persona haya compartido antes —como tener un horario previsible—, dejando claros esos supuestos y facilitando su corrección.

Nuestra misión es garantizar que la inteligencia artificial general beneficie a toda la humanidad. Esto exige considerar no solo las intenciones inmediatas de una persona, sino también sus intereses a más largo plazo y los efectos sobre los demás. Los otros cuatro valores hacen explícitas estas consideraciones:

• Minimizar el daño significa respetar límites de seguridad firmes y tener en cuenta las consecuencias previsibles de las acciones del modelo.

• La honestidad y la transparencia implican ser veraz sobre lo que el modelo sabe, lo que hace y aquello de lo que no está seguro, para que las personas puedan comprender y evaluar su razonamiento y su trabajo.

• Facilitar la autonomía humana significa reforzar la capacidad de las personas para comprender, elegir y actuar por sí mismas.

• El cuidado implica atender a las circunstancias de las personas afectadas, seguir las normas sociales y profesionales pertinentes y realizar un trabajo en el que las personas puedan confiar.

Las especificaciones convierten estos valores en directrices prácticas, con límites firmes cuando son necesarios para proteger a las personas y a la sociedad. En los demás casos, adoptan principalmente la forma de pautas predeterminadas que los usuarios y los desarrolladores pueden modificar.

En paralelo a esta actualización de las especificaciones del modelo, hemos explorado nuevos métodos de entrenamiento para ayudar a nuestros modelos a aprender estos valores fundamentales y a comprender y seguir mejor los principios de comportamiento concretos de las especificaciones. El objetivo es que comprendan por qué importan esos principios y cómo aplicarlos en situaciones nuevas: hacer lo correcto por las razones correctas. Queremos que esa comprensión fomente el buen criterio en las decisiones de gran trascendencia y el cuidado en las decisiones cotidianas que, en conjunto, pueden generar beneficios duraderos para las personas y la sociedad⁠(se abre en una ventana nueva). Compartiremos los resultados y lo aprendido con este trabajo de entrenamiento en futuras actualizaciones.

Esta reorganización también nos ayudó a detectar dónde hacían falta más directrices, desarrollar nuevos principios para cubrir esas necesidades y revisar o retirar las directrices existentes según fuera necesario.

La nueva sección sobre la fidelidad a las intenciones humanas parte de la idea de que lo primordial es aquello que las personas valoran, y de que las instrucciones suelen ser las señales más claras e importantes de esos valores. Este enfoque se inspira en la concepción de la alineación como un juego de asistencia (consulta un trabajo inicial⁠(se abre en una ventana nueva) y una visión de conjunto posterior⁠(se abre en una ventana nueva)). La sección incorpora una cadena de mando⁠(se abre en una ventana nueva) actualizada, que explica qué instrucciones se aplican y cómo se resuelven los conflictos. Una nueva subsección, considera el contexto con detenimiento⁠(se abre en una ventana nueva), explica cómo las conversaciones, los recuerdos y otros indicios contextuales deben orientar la comprensión del modelo sobre las intenciones y preferencias de las personas.

También hemos añadido pautas predeterminadas para favorecer la autonomía humana⁠(se abre en una ventana nueva) y seguir las normas sociales pertinentes⁠(se abre en una ventana nueva), y hemos ampliado las directrices existentes para controlar y comunicar los efectos secundarios⁠(se abre en una ventana nueva). Estos principios recogen otras formas, a menudo sutiles pero importantes, en las que los demás valores deben reflejarse en el comportamiento del modelo: tener en cuenta los efectos de su trabajo sobre otras personas, reforzar las capacidades de los usuarios y realizar un trabajo fiable, respetando siempre los objetivos y las instrucciones del usuario.

Al mismo tiempo, retiramos la mayoría de las directrices detalladas sobre estilo de las especificaciones. El estilo debe adaptarse a las preferencias de las personas, tanto en términos generales como dentro de cada lengua y cultura y a nivel individual. Los comentarios de los usuarios y el contexto aportan indicios sobre esas preferencias. Las especificaciones mantienen pautas predeterminadas más firmes, como abordar las cuestiones con objetividad⁠(se abre en una ventana nueva). Los usuarios y los desarrolladores pueden pedir explícitamente al modelo que adopte una perspectiva concreta, pero el modelo no debe deducir esa preferencia únicamente a partir de lo que cree que quieren oír.

Por último, para reflejar la creciente variedad de usos y entornos de implementación de nuestros modelos, ahora nos referimos al modelo como «GPT» en lugar de «el asistente» en las especificaciones.

Esta actualización es un primer paso para hacer más explícitos los valores y la lógica que sustentan las especificaciones a medida que los modelos se vuelven más capaces. Las especificaciones del modelo describen el comportamiento que aspiramos a lograr; nuestros modelos aún no lo reflejan por completo. Seguiremos mejorando tanto las especificaciones como los modelos a partir de lo que aprendamos de la investigación, el uso real y los comentarios que recibamos.

Queremos saber qué partes de las especificaciones te convencen, en qué aspectos no estás de acuerdo con el equilibrio que proponen y qué pasan por alto o dejan poco claro. Tus comentarios sobre los valores, las disyuntivas y la redacción concreta pueden ayudarnos a mejorarlas. Te invitamos a leer las especificaciones del modelo actualizadas⁠(se abre en una ventana nueva) y a compartir tu punto de vista⁠(se abre en una ventana nueva).