Especificaciones del modelo actualizadas para una IA más capaz y beneficiosa

A medida que nuestros modelos se vuelven más inteligentes y sus acciones tienen mayores consecuencias en el mundo, es cada vez más importante que no se limiten a interpretar las instrucciones específicas que reciben. Los modelos también deben comprender las intenciones y los valores humanos para actuar con buen criterio en situaciones que sus instrucciones no contemplan explícitamente, sin dejar de ser fieles a la intención humana ni de estar sujetos a la supervisión humana.

Hoy actualizamos las especificaciones del modelo⁠(se abre en una nueva ventana), nuestra descripción pública de cómo queremos que se comporten nuestros modelos. La actualización reorganiza sus pautas en torno a cinco valores fundamentales: fidelidad a la intención humana, minimización del daño, honestidad y transparencia, autonomía humana y cuidado. Esto refleja uno de los objetivos de nuestro trabajo sobre la alineación con los valores: que los modelos comprendan y apliquen los valores humanos en situaciones desconocidas, sin dejar de ser fieles a la intención humana. Además de explicar con mayor claridad los principios existentes, la revisión incorpora pautas sobre el contexto, la supervisión y la autonomía, ajusta algunos comportamientos predeterminados y elimina gran parte de las pautas detalladas de estilo.

Los cinco valores anteriores expresan compromisos generales que ya se reflejan en las especificaciones del modelo: servir a los propósitos humanos, ser veraces, minimizar el daño, respetar la libertad de las personas para formarse sus propias opiniones y tomar en serio sus circunstancias. Reunir estos compromisos ayuda a explicar por qué las especificaciones piden a los modelos que se comporten de determinada manera y nos permite desarrollar pautas más claras allí donde esos compromisos no estaban plenamente expresados. Esta actualización es un paso más en nuestro trabajo para perfeccionar las especificaciones mediante la investigación, la experiencia de implementar modelos, los comentarios del público sobre las especificaciones y el comportamiento de los modelos, y las conversaciones con usuarios y expertos externos.

Queremos que la IA beneficie a un mundo de personas con distintas necesidades, valores y esperanzas para el futuro.

La fidelidad a la intención humana es la base de este enfoque: comprender qué les importa a las personas y ayudarlas a perseguirlo. OpenAI redacta las especificaciones, establece límites y entrena a los modelos para que los respeten; los desarrolladores dirigen las aplicaciones dentro de esos límites, y los usuarios dirigen el trabajo del modelo con sujeción a esas restricciones. Nuestros modelos deben ampliar la capacidad de las personas para decidir el rumbo de sus propias vidas ayudándolas a comprender el mundo, descubrir posibilidades y perseguir los objetivos que elijan, sin dejar de tomar en serio cómo esa ayuda afecta a los demás. La fidelidad a la intención humana y los otros cuatro valores estructuran las especificaciones y orientan a nuestros modelos para resolver algunas de las tensiones más importantes que enfrentan entre objetivos en conflicto. No pretenden abarcar todos los valores humanos que nuestros modelos deben respetar y ayudar a las personas a poner en práctica.

La fidelidad implica ir más allá de seguir las instrucciones al pie de la letra para comprender a fondo qué buscan y valoran OpenAI, los desarrolladores y los usuarios, y actuar con buen criterio cuando esa comprensión es incompleta. También implica reconocer que las creencias y los valores de las personas pueden cambiar, y ayudarlas a reflexionar y crecer de maneras que ellas mismas aprobarían, sin influir en ellas de forma encubierta ni pasar por alto sus decisiones. Por ejemplo, al ayudar a alguien a comparar ofertas de trabajo, el modelo podría basarse en prioridades que esa persona haya compartido antes —como tener horarios previsibles—, dejando claros esos supuestos y facilitando que se corrijan.

Nuestra misión es garantizar que la inteligencia artificial general beneficie a toda la humanidad. Esto exige considerar no solo las intenciones inmediatas de una persona, sino también sus intereses a más largo plazo y los efectos sobre los demás. Los otros cuatro valores hacen explícitas estas consideraciones:

• Minimizar el daño implica respetar límites de seguridad firmes y tener en cuenta las consecuencias previsibles de las acciones del modelo.

• La honestidad y la transparencia implican decir la verdad sobre lo que el modelo sabe, lo que hace y aquello sobre lo que tiene incertidumbre, para que las personas puedan comprender y evaluar su razonamiento y su trabajo.

• Facilitar la autonomía humana implica fortalecer la capacidad de las personas para comprender, elegir y actuar por sí mismas.

• El cuidado implica atender las circunstancias de las personas afectadas, seguir las normas sociales y profesionales pertinentes y hacer un trabajo en el que las personas puedan confiar.

Las especificaciones convierten estos valores en pautas prácticas, con límites firmes cuando son necesarios para proteger a las personas y a la sociedad. En los demás casos, se trata principalmente de pautas predeterminadas que los usuarios y los desarrolladores pueden modificar.

En paralelo a esta actualización de las especificaciones del modelo, hemos explorado nuevos métodos de entrenamiento para ayudar a nuestros modelos a aprender estos valores fundamentales y a comprender y seguir mejor los principios de comportamiento específicos de las especificaciones. El objetivo es desarrollar una comprensión de por qué importan esos principios y cómo aplicarlos en situaciones nuevas: hacer lo correcto por las razones correctas. Queremos que esa comprensión permita actuar con buen criterio en decisiones de gran impacto y con cuidado en decisiones cotidianas que, en conjunto, puedan generar beneficios duraderos para las personas y la sociedad⁠(se abre en una nueva ventana). Compartiremos los resultados y aprendizajes de este trabajo de entrenamiento en futuras actualizaciones.

Esta reorganización también nos ayudó a identificar dónde hacían falta más pautas, desarrollar nuevos principios para cubrir esas necesidades y revisar o eliminar las pautas existentes según fuera necesario.

La nueva sección sobre la fidelidad a la intención humana parte de la idea de que lo primordial es aquello que las personas valoran, y de que las instrucciones suelen ser las señales más claras e importantes de esos valores. Este enfoque toma elementos del marco de los juegos de asistencia para abordar la alineación (consulta los primeros trabajos⁠(se abre en una nueva ventana) y una descripción general posterior⁠(se abre en una nueva ventana)). La sección incorpora una cadena de mando⁠(se abre en una nueva ventana) actualizada, que explica qué instrucciones se aplican y cómo se resuelven los conflictos. Una nueva subsección, considerar el contexto con atención⁠(se abre en una nueva ventana), explica cómo las conversaciones, los recuerdos y otros indicios contextuales deben contribuir a que el modelo comprenda las intenciones y preferencias de las personas.

También agregamos pautas predeterminadas sobre apoyar la autonomía humana⁠(se abre en una nueva ventana) y seguir las normas sociales pertinentes⁠(se abre en una nueva ventana), y ampliamos las pautas existentes sobre controlar y comunicar los efectos secundarios⁠(se abre en una nueva ventana). Estos principios recogen otras formas, a menudo sutiles pero importantes, en que los demás valores deben reflejarse en el comportamiento del modelo: considerar los efectos del trabajo sobre los demás, fortalecer las capacidades de los usuarios y producir un trabajo en el que las personas puedan confiar, respetando los objetivos y las instrucciones del usuario.

Al mismo tiempo, eliminamos la mayoría de las pautas detalladas de estilo de las especificaciones. El estilo debe adaptarse a las preferencias de las personas, tanto a nivel general como dentro de cada lengua y cultura y para cada individuo. Los comentarios de los usuarios y el contexto aportan indicios sobre esas preferencias. Las especificaciones conservan pautas predeterminadas más firmes, como abordar las preguntas con objetividad⁠(se abre en una nueva ventana). Los usuarios y los desarrolladores pueden pedirle explícitamente al modelo que adopte una perspectiva determinada, pero el modelo no debe deducir esa preferencia solo a partir de lo que cree que quieren oír.

Por último, para reflejar la creciente variedad de casos de uso y entornos de implementación de nuestros modelos, ahora nos referimos al modelo como “GPT” en lugar de “el asistente” en las especificaciones.

Esta actualización es un primer paso para hacer más explícitos los valores y el razonamiento detrás de las especificaciones a medida que los modelos se vuelven más capaces. Las especificaciones del modelo describen el comportamiento que buscamos lograr; nuestros modelos aún no lo reflejan por completo. Seguiremos mejorando tanto las especificaciones como los modelos a partir de lo que aprendamos de la investigación, el uso en el mundo real y los comentarios recibidos.

Queremos saber qué partes de las especificaciones te parecen convincentes, en qué aspectos no estás de acuerdo con el equilibrio que proponen y qué omiten o dejan poco claro. Los comentarios sobre los valores, las decisiones entre objetivos en conflicto y la redacción específica pueden ayudarnos a mejorarlas. Te invitamos a leer las especificaciones del modelo actualizadas⁠(se abre en una nueva ventana) y a compartir tu perspectiva⁠(se abre en una nueva ventana).