OpenAI se pronuncia sobre la solicitud de la NTIA relativa a las ponderaciones de los modelos abiertos

En OpenAI, estamos convencidos⁠(se abre en una nueva ventana) de que la creación, el uso y la implementación generalizada de la IA pueden mejorar la calidad de vida de las personas y abrir las puertas a un futuro mejor. El progreso depende de la innovación y de la libre competencia en el mercado. Dentro del marco de dichas pautas generales, se pueden tomar muchos caminos diferentes para llegar a la IA deseada. OpenAI fue uno de los primeros desarrolladores de IA en plantearse cómo ofrecer de manera generalizada las ventajas de los modelos fundacionales, que contaban con competencias sin precedentes. Por ello, queremos empezar dando este contexto histórico para enmarcar las consideraciones de la NTIA.

En 2019, creamos GPT‑2, un modelo con la capacidad de generar párrafos de texto coherentes y nos enfrentamos a la duda de cómo implementarlo. Por un lado, el modelo parecía muy útil; pero, por otro, no sabíamos⁠ si podía usarse con fines maliciosos, como crear correos electrónicos para la suplantación de identidad. Finalmente, decidimos experimentar con un “lanzamiento escalonado”. Tal y como declaramos⁠ en aquel momento, “el lanzamiento escalonado implica la publicación gradual de una serie de modelos a lo largo del tiempo. El objetivo del lanzamiento escalonado de GPT‑2 es darle a la gente tiempo suficiente para analizar las propiedades de estos modelos, debatir sobre sus consecuencias sociales y analizar las repercusiones de la publicación después de cada etapa”. Cuando no observamos efectos notables de usos indebidos, eso nos dio la confianza para publicar abiertamente todas las ponderaciones del modelo⁠.

En 2020, creamos GPT‑3, un modelo de lenguaje mucho más competente que cualquier otro en todos las parámetros de referencia. Nuevamente, tuvimos que plantearlos cómo lo presentaríamos en el mercado. Esta vez decidimos publicarlo a través de nuestro primer producto, la API de OpenAI: una interfaz de programación de aplicaciones que permite a los desarrolladores crear aplicaciones a partir de nuestra tecnología. Tal y como declaramos⁠ en su momento, fueron varios los motivos que determinaron esta nueva estrategia de lanzamiento: “comercializar la tecnología nos ayuda a financiar las investigaciones en curso sobre la IA, así como las iniciativas de seguridad y del marco normativo” y “el modelo API nos permite abordar los usos indebidos de la tecnología con más facilidad. Dado que es imposible predecir a futuro los casos de uso de nuestros modelos, inevitablemente nos parece más seguro publicarlos por medio de una API e ir ampliando el acceso con el tiempo que lanzar un modelo de código abierto en el que no se podría regular el acceso si el modelo llegara a tener aplicaciones perjudiciales”. Con el paso de los años, este lanzamiento de la API le ha dejado tanto a OpenAI como a la sociedad lecciones valiosas sobre la seguridad y las tipologías de usos indebidos de los modelos de GPT‑3⁠.

Desde esa época, hemos seguido promoviendo y profesando el ideal de un ecosistema de IA de código abierto que, por ejemplo, permita publicar abiertamente las ponderaciones de algunos de nuestros modelos de vanguardia (como CLIP y Whisper) y desarrollar una infraestructura de código abierto para otros desarrolladores de IA (como el lenguaje de programación Triton GPU). Hemos observado que la divulgación pública de las ponderaciones conlleva varias ventajas considerables. Por ejemplo, facilita la investigación teórica sobre los mecanismos internos de los modelos de IA, permite a los usuarios y a las empresas usar los modelos de forma local en dispositivos de enlace y facilita las modificaciones creativas de los modelos según las necesidades de los usuarios. Muchas empresas de IA han invertido un dineral en difundir las ponderaciones de sus modelos abiertos por diversos motivos, entre los que destacan fichar y contratar programadores, así como generar interés en un ecosistema que usa y dinamiza los mecanismos internos de la tecnología de la empresa.

A su vez, nuestra decisión de presentar nuestros modelos de lenguaje más emblemáticos mediante API y productos comerciales, como ChatGPT, nos dio la oportunidad de seguir estudiando y atenuando los riesgos detectados después de la introducción inicial de la IA; en muchos casos, de formas en las que no habríamos podido si se hubieran dado a conocer las ponderaciones. Por ejemplo, hace poco aunamos esfuerzos con Microsoft para detectar, estudiar y desmontar⁠ las actividades de varios países implicados en ciberamenazas que estaban usando nuestros modelos GPT‑3.5‑Turbo y GPT‑4 para ayudar a concretar ciberataques. Si hubiéramos puesto a disposición del público las ponderaciones de estos modelos (que por aquel entonces eran de vanguardia), no habríamos podido desarticular estas operaciones, ya que los actores habrían podido alojar el modelo de lenguaje en su propio hardware, sin necesidad de interactuar con el desarrollador original. En consecuencia, esta postura ha permitido que la población general siga disfrutando de las ventajas de la IA, tales como servicios gratuitos y de bajo costo.

Estas experiencias nos han convencido de que tanto hacer de público conocimiento las ponderaciones de los modelos como presentarlos mediante nuestras API y productos son herramientas válidas para aprovechar la IA. Creemos que el mejor ecosistema de IA de Estados Unidos constará de ambas estrategias.

En reiteradas ocasiones, tanto en los lanzamientos de productos como en los de las ponderaciones, hemos visto los enormes beneficios de la “implementación iterativa”. Poner a disposición del público y de forma paulatina una IA cada vez con más capacidades permite aprender a usarla para mejorar la calidad de vida y hace que la sociedad se acostumbre de a poco a las nuevas tecnologías. Tal y como declaramos⁠ en 2023: “Hacemos todo lo posible para evitar los riesgos previsibles antes de implementar esta tecnología, pero no se puede anticipar todo en un laboratorio. A pesar de que hacemos investigaciones y pruebas exhaustivas, no podemos predecir todas las formas beneficiosas en que las personas usarán nuestra tecnología ni todas las formas en que harán usos indebidos de ella. Por ese motivo, creemos que aprender del uso en el mundo real es un componente fundamental de crear y lanzar sistemas de IA cada vez más seguros con el tiempo”.

Conforme los modelos se vuelven aún más potentes y aumentan las ventajas y los riesgos de su implementación o lanzamiento, es fundamental que desarrollemos un criterio cada vez más sofisticado sobre si implementar un modelo determinado y cómo hacerlo. Esto aplica especialmente si las capacidades de la IA llegan a repercutir considerablemente en la seguridad pública o nacional. No existe forma de saber si los sistemas de IA más avanzados implicarán riesgos “catastróficos”. Y, además, los expertos discrepan sobre la probabilidad de que se produzcan y la rapidez con la que lo harán. Consideramos que aún no hay pruebas suficientes para pronunciarse al respecto, pero no podemos descartar estos riesgos ni estamos seguros de su inminencia. Como pioneros que desarrollan funciones de IA para aprovechar al máximo sus ventajas, consideramos que una parte integral de nuestro trabajo es sentar las bases de la ciencia que evaluará los riesgos de esta tecnología (como recopilar pruebas relacionadas con esos riesgos).

Para zanjar estas incertidumbres de forma empírica, OpenAI ha presentado un marco de preparación⁠(se abre en una nueva ventana), un sistema científico para analizar y mitigar de forma continua cualquier riesgo catastrófico que pudieran acarrear nuestros modelos de IA. En nuestro marco de preparación se establece cómo evaluamos el nivel de las competencias de nuestros modelos de IA en varias áreas de alto riesgo, como la ciberseguridad, el funcionamiento autónomo, la persuasión individualizada y las amenazas NRBQ (nuclear, radiológica, biológica y química). Si quieres ver un ejemplo de este marco en acción, echa un vistazo a una investigación⁠ que publicamos hace poco en la cual se evaluó la aptitud de GPT‑4 para asistir en la creación de amenazas biológicas y se llegó a la conclusión de que el modelo no plantea riesgos marginales significativo.

En función de estos análisis, clasificamos los niveles de riesgo de los modelos en cada una de las categorías como Bajo, Medio, Alto o Crítico. Cabe destacar que, según lo estipulado en nuestro marco de preparación, en nuestra clasificación no implementamos sistemas de IA con un riesgo “Alto” o “Crítico”. De hecho, debido al nivel de riesgo, ni siquiera entrenamos a aquellos modelos “Críticos”, a menos que las medidas de mitigación puedan reducir como mínimo los riesgos de estos sistemas al nivel “Medio”. El marco de preparación es fundamental porque nos permite establecer las ventajas de una IA que cada vez tiene más competencias y difundirlas al público general, a la vez que nos prepara para detectar y protegernos de riesgos catastróficos lo antes posible en caso de que surgieran.

Para poder aprovechar al máximo las ventajas de la IA, consideramos que tanto las personas como las empresas deberían poder intervenir en ella a voluntad; por ejemplo, al plasmar sus valores y visión en los modelos que usen o desarrollen. No obstante, los sistemas de IA muy competentes deben concebirse y usarse de forma segura, lo que significa que todo riesgo catastrófico que se descubra debe mitigarse de forma oportuna. En algunos casos, estos intereses pueden entrar en conflicto y es necesario conciliarlos con sumo cuidado en función de cada caso para garantizar resultados óptimos para el bien común. Para poder aprovechar al máximo las ventajas de la IA, consideramos que tanto las personas como las empresas deberían poder intervenir en ella a voluntad; por ejemplo, al plasmar sus valores y visión en los modelos que usen o desarrollen. No obstante, los sistemas de IA muy competentes deben concebirse y usarse de forma segura, lo que significa que todo riesgo catastrófico que se descubra debe mitigarse de forma oportuna. En algunos casos, estos intereses pueden entrar en conflicto y es necesario conciliarlos con sumo cuidado en función de cada caso para garantizar resultados óptimos para el bien común.

Por un lado, en el caso de los modelos fundacionales muy competentes cuya creación exige muchísimo capital (aproximadamente unos cientos de millones de dólares o más), creemos que los desarrolladores de IA deberían analizar si estos pueden llegar a presentar riesgos catastróficos. Si se determinara que el nivel de riesgo es alto, deberían establecer las medidas de mitigación correspondientes antes de implementar el modelo o publicarlo. Así pues, se logra un equilibro necesario entre la gestión de riesgos y la innovación: se espera que estos modelos tengan capacidades extraordinarias⁠(se abre en una nueva ventana), pero el costo de análisis es como mucho un pequeño porcentaje del costo total de desarrollo. Hacer estas estimaciones es prudente independientemente de si se tiene previsto poner las ponderaciones de los modelos a disposición del público general o presentarlas mediante una API.

Por otro lado, en el caso de los modelos fundacionales que precisan muchos menos recursos, el equilibrio de intereses es distinto. Según las pruebas actuales, la aparición de riesgos catastróficos en estos modelos parece ser mucho menos probable, incluso si se tienen en cuenta los posibles avances en las técnicas de optimización y modificación de modelos. Al mismo tiempo, el análisis de riesgos catastróficos puede suponer un costo considerable dentro del presupuesto de unas pocas rondas de entrenamiento, lo que podría afectar negativamente la innovación y la competencia. Consideramos que sopesar los riesgos catastróficos no es una estrategia viable para estos modelos, además de que la ciencia indica que el riesgo es relativamente bajo. En estos casos, el valor reside en promover las diversas capacidades de los desarrolladores para innovar y descubrir funciones de IA novedosas e interesantes, así como en propiciar un mercado de ideas y productos próspero y prolífico.

Los protocolos de análisis, como el marco de preparación, son una herramienta muy útil para evaluar los riesgos ex ante de cualquier tipo de modelo publicado, lo que comprende el acceso público a las ponderaciones de modelos. Pero hay ciertas cuestiones particulares sobre cómo aplicar dichos protocolos a las ponderaciones difundidas.

Para empezar, lo ideal es que las condiciones de prueba tengan en cuenta las diversas formas en que los usuarios pueden ajustar un modelo a posteriori. Una de las propiedades más útiles de los modelos abiertos es que se pueden modificar a fin de ampliar sus capacidades iniciales y personalizarlos según las aplicaciones concretas de cada desarrollador. No obstante, esto implica que las condiciones de los modelos para hacer daño también podrían mejorarse si alguien tuviera malas intenciones. Por lo tanto, un análisis riguroso de los riesgos de las ponderaciones abiertas debería poner a prueba las diversas formas lógicas en que una persona malintencionada podría modificar el modelo, tal como su optimización. Como parte del marco de preparación de OpenAI (tal y como hicimos en nuestro análisis de riesgos biológicos⁠), ya hemos llevado a cabo algunas pruebas de modificación.

Otro aspecto fundamental es que los desarrolladores de los modelos abiertos no pueden confiar plenamente en las medidas de seguridad sistémicas para atenuar los riesgos que supone el uso indebido de la IA, ya que por lo general estos parámetros pueden eliminarse a posteriori si un usuario con malas intenciones tiene acceso a las ponderaciones del modelo. En la actualidad, esta diferencia en la capacidad para tratar los riesgos tiene escasas consecuencias, dado que hasta los modelos actuales más competentes no tienen una clasificación riesgosa. Pero si a futuro se determina científicamente que la publicación de un modelo abierto acarrea graves peligros, quizás haya que mejorar las capacidades del entorno para afrontar la adversidad si se quiere atenuar los riesgos de las ponderaciones abiertas.

Prepararnos como sociedad ante el uso indebido de la IA abarca muchísimo más que las decisiones tomadas por una empresa sobre cómo presentar sus modelos de lenguaje. Debido a los continuos avances que se dan en los algoritmos de IA y a su difusión, así como al acceso cada vez más generalizado a la informática (incluso en países que son motivo de preocupación para Estados Unidos), las capacidades actuales de IA más avanzadas, a las que normalmente solo tienen acceso unos pocos organismos en el momento de su creación, a la larga estarán a disposición de la gran mayoría de los usuarios. Además, tanto Estados Unidos como el resto de los países del mundo pueden invertir en medidas de mitigación y encabezar iniciativas que limiten las consecuencias de los usos indebidos. De esta forma, se podrían lograr resultados equilibrados que sean lo más favorables posible.

Por ejemplo, para mejorar la capacidad de adaptación ante los riesgos que suponen los ciberataques potenciados con IA, se podría dar acceso anticipado a esos mismos modelos de IA a los proveedores de infraestructura básica. De esta forma, podrían usarlos para mejorar la ciberdefensa (al igual que en los primeros proyectos que OpenAI financió como parte del Programa de subvenciones de ciberseguridad⁠). Asimismo, reforzar la capacidad de adaptación ante los riesgos que supone la creación de amenazas biológicas potenciadas con IA puede traer aparejadas soluciones totalmente ajenas a la IA, como mejorar los mecanismos de detección de síntesis de ácidos nucleicos (como exige la Orden Ejecutiva 14110) o aumentar la capacidad de los sistemas de salud pública para detectar e identificar brotes de nuevos patógenos. Si se demuestra científicamente que un modelo de IA conlleva riesgos graves para la seguridad pública o nacional, el organismo desarrollador debe cumplir una función fundamental en la toma de conciencia sobre las nuevas capacidades antes de proceder con el lanzamiento generalizado del modelo. Por ejemplo, podría notificar a los proveedores de infraestructura o limitar la implementación de la API a fin de ganar tiempo y promover proyectos más que necesarios y apremiantes para poder afrontar la adversidad. Esta propuesta coincide con la norma de “divulgación responsable” del ámbito cibernético que obliga a los investigadores de seguridad a aplazar temporalmente la difusión de las vulnerabilidades que detectan para dar tiempo a los expertos a corregir los sistemas sin demorar las investigaciones sobre su seguridad.

Consideramos que sopesar los riesgos de los modelos más competentes es importantísimo; pero la ciencia que analiza los riesgos de la IA aún es muy incipiente. OpenAI y los especialistas en IA en general siguen sentando las bases de cómo deben analizarse los riesgos de la IA. Por un lado, nosotros continuamos iterando sin descanso procesos relacionados con muchos de los detalles operativos que conforman el marco de preparación. Por otro lado, los gobiernos tienen el deber inexcusable de contribuir al ecosistema de la IA al perfeccionar sus prácticas de análisis de riesgos y capacidades, como por ejemplo al convocar a especialistas en ciberseguridad ofensiva, infraestructura básica e inteligencia artificial para que delimiten un conjunto de escenarios prioritarios de ciberamenazas basadas en IA y diseñen bancos de pruebas rigurosas y empíricas para analizar dichos casos. En OpenAI, avalamos plenamente la adopción del sistema científico propuesto por el Instituto de Seguridad de la Inteligencia Artificial que promueve la innovación y la participación voluntaria.

Desde que, en 2019, tuvimos que tomar la decisión de cómo presentar GPT‑2 (primero lanzamos una versión limitada del modelo), se produjeron nuevos resultados y sucesos, a veces incluso cada pocos meses, que modificaron una y otra vez el panorama que se debe tener en cuenta a la hora de publicar abiertamente las ponderaciones de un modelo fundacional. Creemos que esta tendencia se afianzará. Por ello, las políticas gubernamentales deben mostrarse flexibles y poder adaptarse a los futuros cambios.