El poder del aprendizaje continuo

La inteligencia artificial general (IAG) debería superar a los humanos en la mayoría de las tareas con valor económico. Tengo muchas ganas de ver cómo la IAG ayuda a la sociedad humana en alguno de los siguientes ámbitos:

1. La automatización completa o una reducción significativa de los esfuerzos humanos en tareas repetitivas y no creativas. En otras palabras, la IAG debería mejorar drásticamente la productividad humana.
2. La aceleración del descubrimiento de nuevos hallazgos científicos, por ejemplo, ofreciendo información y análisis adicionales para ayudar en la toma de decisiones de los humanos, entre otras formas.
3. La comprensión y la interacción con el mundo físico de forma eficaz, eficiente y segura.

En mis dos años y medio en OpenAI, he trabajado con el equipo de Robótica en una idea muy ambiciosa: queríamos enseñar a una mano robótica a resolver el cubo de Rubik. Fue una experiencia de lo más desafiante y emocionante. Conseguimos⁠ el reto con aprendizaje por refuerzo (RL), cantidades impensables de randomización de dominios y sin datos de entrenamiento del mundo real. Pero lo más importante: lo conseguimos como equipo.

Trabajamos codo con codo en múltiples aspectos, desde las simulaciones y el entrenamiento RL hasta la percepción visual y el firmware. Fue un experimento fascinante y, durante ese tiempo, a menudo pensaba en el campo de distorsión de la realidad⁠(se abre en una ventana nueva) de Steve Jobs: cuando crees en algo con todas tus fuerzas y sigues intentándolo sin rendirte, de alguna forma puedes hacer que lo imposible sea posible.

A principios de 2021, empecé a liderar el equipo de Investigación de IA Aplicada. Gestionar un equipo presenta una serie de retos diferentes y requiere cambios a la hora de trabajar. De lo que estoy más orgullosa es de varios proyectos relacionados con la seguridad de los modelos de lenguaje dentro de la IA aplicada:

1. Diseñamos y creamos una serie datos y tareas para evaluar la tendencia de los modelos de lenguaje preentrenados a generar contenido sexual, violento o que incite al odio.
2. Creamos una taxonomía detallada y un clasificador sólido para detectar el contenido no deseado⁠ y determinar el motivo por el cual es inadecuado.
3. Estamos trabajando en varias técnicas para reducir la probabilidad de que el modelo genere resultados que no sean seguros.

A medida que el equipo de IA Aplicada sigue buscando la mejor forma de implementar los avances innovadores de la IA, como los LLM preentrenados, nos damos cuenta de lo útiles que son para llevar a cabo tareas del mundo real. También somos conscientes de la importancia de implementar de forma segura estos avances, tal como queda de manifiesto en nuestros estatutos⁠.

Los modelos de aprendizaje profundo actuales no son perfectos. Se han entrenado con cantidades ingentes de datos creados por humanos (por ejemplo, datos de internet, datos de expertos o documentos académicos), por lo que, inevitablemente, asimilan muchos errores y sesgos que ya no están presentes en nuestra sociedad. Por ejemplo, cuando le pidieron a DALL·E que hiciera un retrato de alguien que trabajara en enfermería, solo generaba mujeres, y cuando le pidieron lo mismo para alguien con una cátedra, tan solo creaba personas blancas. El modelo capta los sesgos presentes en las estadísticas del mundo real y en los datos de entrenamiento.

Tenía la motivación de diseñar un método que mitigara este tipo de sesgos sociales y evaluar la eficiencia del método. Con el equipo, diseñamos un pipeline para reducir estos sesgos e incorporamos el factor humano en el proceso de evaluación. Reducir los sesgos sociales no es tarea fácil, ya que están presentes en muchos ámbitos de nuestra vida y, a veces, resulta difícil detectarlos, pero estoy contenta de que el equipo de DALL·E se tome este problema en serio y esté aplicando medidas desde el principio. Por ahora, nos encontramos en una fase muy inicial, pero seguiremos avanzando. Me enorgullece trabajar en este campo y estoy contenta de ver cómo, poco a poco, estamos haciendo que la IA moderna sea mejor y más segura.

Creo en el poder del aprendizaje y que nunca es demasiado tarde para aprender. Escribir un blog personal es una buena forma de mantener viva esta curiosidad y leer sobre los nuevos avances que tienen lugar en la comunidad del aprendizaje profundo de forma regular. También animo a mi equipo a seguir aprendiendo, ya sea sobre temas que tengan relación con proyectos actuales o sobre temas totalmente distintos. A menudo, las ideas que surgen en un ámbito o campo pueden inspirar nuevas ideas o incluso aplicarse en otras áreas.

Por otro lado, creo fervientemente en el trabajo en equipo. Si todo el mundo aporta, el resultado será excepcional. Siempre nos toparemos con algo de «trabajo sucio» pero, personalmente, no me importa encargarme de estas tareas. Pienso que, aunque resulte un gran impedimento, si esa tarea aporta un gran valor al proyecto, no debería considerarse «trabajo sucio» o «irrelevante». Animo a la gente a mi alrededor a hacer lo mismo, a formar parte del equipo y a trabajar juntos para impulsar la productividad del grupo.

Todo empezó con un par de apuntes personales. No me metí en el ámbito del aprendizaje profundo superpronto, así que todavía me considero una principiante. Al principio, empecé indagando en muchos artículos. Me fascinaba la idea de entrenar un modelo para que aprendiese un algoritmo y fuese capaz de resolver un problema en lugar de diseñar el propio algoritmo. Cuanto más leía, más curiosidad tenía. Al final, me resultaba muy difícil ordenar todos los artículos que leía y los conceptos nuevos que aprendía, así que decidí empezar un blog para documentar y organizar mis apuntes. También considero que la mejor forma para aprender algo es asegurarte de que puedes explicar lo que aprendes a otras personas de forma clara y correcta. Escribir me ayuda a conseguirlo.

La verdad es que no esperaba hacerme famosa en la comunidad del aprendizaje profundo, pero cada vez que recibía un correo dándome las gracias o me decían en persona que habían aprendido mucho al leer mi blog, me sentía valorada y agradecida. Empecé a escribir en 2017 y seguiré haciéndolo mientras pueda.

La comunidad de la IA ha avanzado mucho en los últimos años. Los avances en el hardware, la arquitectura de los modelos y la calidad de los datos hacen posible entrenar modelos gigantescos y, como resultado, ampliamos el horizonte de sus capacidades. Creo que vamos por el buen camino hacia la IAG, pero seguir escalando no es la única forma. En mi opinión, los retos más urgentes ahora mismo son la seguridad y la adecuación, y hasta cierto punto, también la controlabilidad y la gobernabilidad.

En primer lugar, aunque ya tengamos un sistema de IA extremadamente potente, si no podemos comunicar nuestros objetivos de forma eficiente y asegurarnos de que el modelo se adecúe a lo que queremos, no será posible obtener lo que necesitamos. El modelo más potente actualmente aprende de cantidades ingentes de datos que, inevitablemente, reflejan las imperfecciones y los sesgos del mundo real. En este aspecto, los modelos que no se ajustan a nuestros valores comportan problemas de seguridad, ya que desconocen lo que deberían evitar.

No es necesariamente algo que alguien me haya dicho, sino más bien algo que he aprendido trabajando en la empresa: piensa en grande. Estamos creando algo nuevo y deberíamos tener ambición y valentía, además de ser lo suficientemente perseverantes para seguir adelante con nuestros esfuerzos.

En los libros. Suelo leer sobre temas que no tienen que ver con el aprendizaje profundo y encuentro inspiración en muchos campos. Por ejemplo, me he dado cuenta de lo importante que es que un autor sea constante a lo largo de los años, que un cirujano tenga una capacidad excepcional a la hora de fijarse en los detalles y que alguien que emprende tenga ideas «locas».

También me inspiro en la gente que me rodea. Tengo la gran suerte de trabajar con gente de un talento excepcional en OpenAI. Cada uno tiene sus cualidades y todo el mundo se respeta; me encanta aprender de ellos.