Comentario dirigido a la NTIA acerca de la política de rendición de cuentas sobre la IA

OpenAI tiene el agrado de responder a la solicitud de comentarios que hizo el 13 de abril de 2023 la Administración de Telecomunicaciones e Información de Estados Unidos (NTIA) acerca de la política de rendición de cuentas sobre la IA.

En este comentario, explicamos nuestro criterio para rendir cuentas sobre la IA a partir de las prácticas de seguridad que aplicamos a nuestros servicios actuales, así como las que planeamos aplicar a los servicios previstos para el futuro. Agradecemos la decisión de la NTIA de enmarcar en un “ecosistema” el debate en torno a la rendición de cuentas sobre la IA. Como se observa en la solicitud de comentarios, las partes interesadas de la política analizan una “serie de diferentes objetivos y contextos de implementación para los sistemas de IA confiables”. ¹ Las políticas y las prácticas pensadas para que se rinda cuenta de los sistemas variarán en función de ello. Al mismo tiempo, habrá medidas de rendición de cuentas específicas que deberán coexistir. Lo más importante es su efecto conjunto.

Tenemos la convicción de que un ecosistema bien desarrollado para la rendición de cuentas sobre la IA debe incluir elementos tanto horizontales como verticales. Es decir, suponemos que habrá algunos elementos que se apliquen a ciertos sistemas de IA en varios casos de uso, así como elementos que correspondan a ámbitos particulares. Nos abocamos a desarrollar e implementar modelos básicos de alta capacidad, es decir, modelos que aprendan de una gran cantidad de datos para poder realizar una enorme variedad de tareas. Según nuestro punto de vista, los desarrolladores de IA como nosotros deben actuar con responsabilidad y adoptar una postura de prudencia y seguridad al desarrollar e implementar las funcionalidades más avanzadas, más allá de las áreas específicas en que se utilicen tales modelos.

Ya existe una amplia gama de leyes que se aplican a la IA (y a nuestros productos), y el panorama jurídico está evolucionando con rapidez; hay iniciativas legislativas en el Congreso de EE. UU., una ley de IA en elaboración en Europa y distintas normas e iniciativas legislativas en todo el mundo. Al mismo tiempo, varios conjuntos de leyes consolidadas, normas y otras expectativas en ámbitos como la medicina, la educación y el empleo ya se están interpretando y adaptando de formas que se plasmarán en la función que cumpla la IA en esas áreas. Consideramos que estas iniciativas específicas de cada sector, fundamentadas en sólidos conocimientos especializados, son un componente fundamental del panorama de rendición de cuentas sobre la IA.

Apoyamos sin reservas las iniciativas destinadas a coordinar las nuevas expectativas respecto de la rendición de cuentas sobre la IA, como las del Marco de Gestión de Riesgos de la IA estipulado por la NIST, las del Consejo UE-EE. UU. de Comercio y Tecnología, entre otros proyectos internacionales. Mientras continúan avanzando estas iniciativas, e incluso antes de que se empiecen a aplicar las nuevas leyes, creemos que nuestra función y la de otras empresas debe ser comprometernos voluntariamente con cuestiones tales como las pruebas previas a la implementación, la procedencia del contenido y la confianza y seguridad.

Para nuestro enfoque de ingeniería actual se necesitan recursos informáticos a gran escala, y consideramos que esa es una base promisoria para definir otras expectativas particulares sobre la rendición de cuentas que se apliquen a organismos como nosotros. Estamos a favor de delimitar cualquier nueva norma para modelos básicos de alta capacidad a fin de preservar la posibilidad de que todos los actores compitan e innoven de manera igualitaria.

La rendición de cuentas influye en el ciclo de vida de la tecnología. Nuestras iniciativas para que los modelos sean seguros y confiables comienzan antes del desarrollo, continúan con la implementación y operación y abarcan tanto a los creadores como a los usuarios. A los desarrolladores, les damos funcionalidades de categoría internacional para sus aplicaciones, mientras que a los millones de personas que usan ChatGPT y nuestros otros servicios todos los días, les ofrecemos funcionalidades eficaces de forma directa. Las políticas de uso se aplican a todos los usuarios de nuestros modelos, herramientas y servicios.² Cumplimos con las leyes y les exigimos a los desarrolladores y a los usuarios que también lo hagan cuando utilicen nuestros servicios.

En el resto de este comentario, nos centramos en nuestro enfoque actual de la rendición de cuentas sobre la IA y explicamos los aspectos importantes en los que nosotros y otros estamos trabajando para fortalecer el ecosistema. Notamos que las autoridades responsables en Estados Unidos y distintos lugares del mundo tienen en cuenta una amplia gama de políticas y medidas destinadas a lograr que se rindan cuentas sobre la IA; por ejemplo, legislaciones, reglas, acuerdos internacionales, programas autorreguladores y normas aplicables técnicas y de otro tipo. Valoramos estas iniciativas y estamos preparados para colaborar con otras partes interesadas con el objeto de elaborar e implementar criterios eficaces que garanticen la rendición de cuentas sobre la IA.

Estamos perfeccionando nuestras prácticas a la par del cambiante discurso público general. A continuación, detallamos varios aspectos de nuestro enfoque.

La transparencia es un elemento importante para crear sistemas de IA sobre los que se puedan rendir cuentas. Una parte fundamental de nuestro enfoque de la rendición de cuentas es la publicación de un documento que actualmente denominamos “tarjeta del sistema” para los nuevos sistemas de IA que implementamos. Nuestro enfoque está inspirado en investigaciones anteriores sobre tarjetas de modelos y sistemas.³ Hasta la fecha, OpenAI ha publicado dos tarjetas del sistema: la de GPT‑4 y la de DALL·E 2.⁴

Creemos que, en la mayoría de los casos, es importante que en estos documentos se analicen y detallen los efectos de los sistemas (y no solamente el modelo en sí), ya que estos dependen en parte de factores ajenos al modelo; por ejemplo, el caso de uso, el contexto y las interacciones con el mundo real. Del mismo modo, las repercusiones de los sistemas de IA dependen de las medidas para atenuar los riesgos, como las políticas de uso, los controles de acceso y la detección de usos indebidos. A nuestro parecer, se justifica que las partes interesadas externas pretendan contar con información sobre estos temas y tengan la oportunidad de conocer nuestro criterio.

El objetivo de las tarjetas de los sistemas es informar a los lectores sobre los factores clave que influyen en el comportamiento de los sistemas, en particular en áreas pertinentes para el uso responsable. Advertimos que el valor de las tarjetas de los sistemas y otros documentos similares radica no solo en que incluyen un resumen de los problemas de rendimiento del modelo, sino también en sus ejemplos ilustrativos. Con tales ejemplos, los usuarios y los desarrolladores pueden conocer con más fundamento el rendimiento y los riesgos del sistema en cuestión y las medidas que tomamos para paliarlos. La elaboración de estos documentos también nos ayuda a configurar nuestras prácticas internas y las ilustra ante otros que busquen formas de aplicar métodos responsables para la IA.

La prueba de equipo rojo es un proceso que consiste en hacer una prueba cualitativa de nuestros modelos y sistemas en diferentes áreas para contar con un panorama más completo de su perfil de seguridad. Hacemos pruebas de equipo rojo internas con nuestro propio personal cuando desarrollamos los modelos y también con personas que trabajan fuera del equipo encargado de crear el sistema evaluado. Además de examinar a fondo la capacidad y resistencia a los ataques que tiene nuestra empresa, los equipos rojos también emplean pruebas de tolerancia y límites. Estas sirven para detectar casos límite y otras posibles fallas con riesgo de causar daños.

Las pruebas de equipo rojo complementan las evaluaciones cuantitativas automatizadas de las funcionalidades y los riesgos del modelo que también hacemos y explicamos en la siguiente sección. Sirven para traer a la luz riesgos que todavía no son cuantificables o para los que aún no existen evaluaciones más normalizadas. Nuestro trabajo anterior con pruebas de equipo rojo se detalla en la tarjeta del sistema DALL·E 2 y la de GPT‑4.

Por lo general, las pruebas de equipo rojo y las evaluaciones se hacen en la etapa de desarrollo de un nuevo modelo o sistema. Aparte de realizar nuestras propias pruebas internas, contratamos evaluadores ajenos a OpenAI y les damos acceso al sistema en desarrollo. OpenAI selecciona a los evaluadores en función de su experiencia en las áreas de interés (investigación o conocimientos técnicos prácticos). Se suele elegir a investigadores académicos y profesionales del sector (es decir, personas con experiencia laboral en contextos de confianza y seguridad). Evaluamos y validamos los resultados de estas pruebas y hacemos ajustes e implementamos medidas paliativas cuando corresponde.

OpenAI continúa trabajando para mejorar la calidad, la diversidad y la experiencia de los evaluadores externos en las pruebas actuales y las futuras.

Además de las pruebas de equipo rojo cualitativas que se mencionan antes, realizamos evaluaciones cuantitativas automatizadas de diversas funcionalidades y riesgos para la seguridad, entre otros los que detectamos con métodos como las pruebas de equipo rojo. Estas evaluaciones nos permiten comparar diferentes versiones de los modelos entre sí, iterar metodologías de investigación que mejoran la seguridad y, en última instancia, justificar las decisiones cuando elegimos qué versiones de los modelos implementamos. Las evaluaciones actuales abarcan, entre otros, contenidos eróticos, violentos y relacionados con las autolesiones, y miden la propensión de los modelos a generar respuestas sobre esos temas.

OpenAI no permite la utilización de nuestros modelos y herramientas para determinadas actividades y contenido, tal como se detalla en las políticas de uso.⁵ Estas políticas se elaboraron con el fin de prohibir el uso de nuestros modelos y herramientas de modos que causen daños a particulares o a la sociedad. Actualizamos estas políticas conforme van surgiendo nuevos riesgos e información sobre cómo se usan los modelos. El acceso a nuestros modelos y su empleo también están sujetos a los términos de uso de OpenAI, los cuales prohíben utilizar los servicios para quebrantar los derechos de las personas y presentar resultados de nuestros servicios como si hubieran sido generados por personas.⁶

Tomamos medidas destinadas a limitar el uso de nuestros modelos para actividades perjudiciales al enseñar que se nieguen a responder a ciertos tipos de solicitudes que puedan derivar en respuestas potencialmente dañinas. Asimismo, recurrimos tanto a evaluadores como a sistemas automatizados para reconocer usos indebidos de nuestros modelos e impedirlos. Los sistemas automatizados cuentan con una serie de herramientas de aprendizaje automático y clasificadores basados en reglas pensados para reconocer contenido que podría infringir nuestras políticas. Si un usuario solicita a los modelos contenido que infringe las políticas, y lo hace de manera reiterada, tomamos medidas como emitir una advertencia, suspenderlo de forma temporal o, en casos extremos, bloquearlo.

Como analizamos en la solicitud de comentarios, hay muchas dudas importantes en torno a la rendición de cuentas sobre la IA que aún no tienen respuesta. En las siguientes secciones, damos nuestro punto de vista sobre varios de estos temas.

Los modelos básicos de alta capacidad tienen tanto funcionalidades beneficiosas como la capacidad de causar daños. A medida que las funcionalidades de estos modelos se vuelven más avanzadas, también aumenta la magnitud y gravedad de sus riesgos, en particular si están en manos de actores malintencionados o si el modelo no responde a valores humanos.

Es fundamental medir con rigor los avances de las funcionalidades potencialmente peligrosas para evaluar y gestionar los riesgos de forma eficaz. Con ese fin, analizamos y elaboramos evaluaciones que permitan detectar tales funcionalidades. Estas evaluaciones pueden ser desde herramientas simples, adaptables y automatizadas hasta pruebas intensivas y personalizadas realizadas por expertos humanos. Colaboramos con expertos académicos y del sector y, en última instancia, nos proponemos contribuir al desarrollo de un conjunto diverso de evaluaciones que permitan definir prácticas recomendadas para valorar los riesgos incipientes en los modelos básicos de alta capacidad. Creemos que las evaluaciones de las funcionalidades peligrosas son un componente cada vez más importante para la rendición de cuentas y la gobernanza en el desarrollo de sistemas de IA de vanguardia.

El valor de las evaluaciones independientes de los modelos y sistemas (entre otras, las que están a cargo de terceros) puede ser mayor a medida que se sigan incorporando funcionalidades. Estas evaluaciones pueden mejorar la rendición de cuentas y la transparencia en lo que respecta a los comportamientos y los riesgos de los sistemas de IA.

Ciertos tipos de evaluaciones pueden tener lugar en una sola empresa, como cuando un equipo evalúa su propio trabajo, o cuando un equipo o parte de la empresa crea un modelo y otro grupo (que actúa de forma independiente) lo prueba. Otra posibilidad es pedirle a un tercero externo que haga una evaluación. Como se expuso antes, en la actualidad realizamos evaluaciones tanto internas como externas de los modelos.

Las evaluaciones a cargo de terceros se pueden centrar en implementaciones específicas, un modelo o sistema en un momento determinado, las prácticas de gobernanza y gestión de riesgos de la empresa, aplicaciones particulares de un modelo o sistema o cualquier combinación de estos aspectos. Los criterios y posibles marcos para utilizar en este tipo de evaluaciones siguen evolucionando a gran velocidad, por lo que nos mantenemos atentos y seguimos analizando nuestros propios métodos.

En el caso de las evaluaciones a cargo de terceros, sería conveniente que haya más claridad en el proceso para seleccionar auditores o evaluadores con los conocimientos necesarios, así como en las estructuras de incentivos. Por otra parte, la elección de las normas ideales para evaluar las empresas o los modelos sigue siendo objeto de análisis y requerirá el aporte de diferentes partes interesadas. Por último, cabe destacar la importancia de que se tenga en cuenta cómo podrían evolucionar los sistemas a lo largo del tiempo e incorporar eso al proceso de evaluación o auditoría.

Estamos a favor de plantear requisitos para registrar las futuras generaciones de los modelos básicos de mayor capacidad y también para conceder licencias. Estos modelos pueden tener suficientes funcionalidades peligrosas como para poner en riesgo la seguridad pública. Si es así, consideramos que se deberían rendir cuentas sobre ellos de conformidad con requisitos acordes.

Sería pertinente que también se exigiera la divulgación y el registro de los procesos de entrenamiento utilizados para desarrollar los modelos básicos de alta capacidad. Con esa divulgación, las autoridades responsables tal vez podrían contar con la visibilidad necesaria para idear soluciones normativas eficaces y adelantarse a las tendencias que surjan a medida que avanza la IA. Es fundamental que en esos regímenes se priorice la seguridad de la información divulgada.

Los desarrolladores de IA podrían tener la obligación de recibir una licencia para crear modelos básicos de alta capacidad, los cuales probablemente tengan más capacidad que los modelos cuya seguridad ya fue demostrada. La concesión de licencias es habitual en los contextos donde la seguridad es de vital importancia y en otros de alto riesgo, como los viajes aéreos, la generación de energía, la producción de fármacos y las actividades bancarias. A los beneficiarios de las licencias se les podría exigir que evalúen los riesgos antes de la implementación y que adopten medidas de seguridad de avanzada. De hecho, muchas de las prácticas de rendición de cuentas que considerará la NTIA podrían consistir en solicitar las licencias pertinentes. Exigirles a los proveedores informáticos que cuenten con una licencia también podría resultar de suma eficacia para aplicar las normas.

Aún quedan muchas preguntas sin responder en lo que respecta a la creación de mecanismos de registro y concesión de licencias para que se rindan cuentas sobre la IA a medida que se desarrolla. Esperamos colaborar con las autoridades responsables para ocuparnos de estas cuestiones.