Comentario sobre la política de responsabilidad de la IA de la NTIA

En OpenAI, nos complace responder a la solicitud de comentarios de la Administración Nacional de Telecomunicaciones e Información (NTIA) del 13 de abril de 2023 sobre la política de responsabilidad de la IA.

En este comentario, describimos nuestra forma de pensar sobre la responsabilidad de la IA en función de las prácticas de seguridad que aplicamos a los servicios que prestamos a día de hoy, y las prácticas que tenemos previsto aplicar a los servicios que ofreceremos en el futuro. Así mismo, aplaudimos la decisión de la NTIA de enmarcar este debate en términos de un «ecosistema» de responsabilidad de la IA. Tal y como señala la solicitud de comentarios, las partes interesadas en las políticas están explorando una «variedad de objetivos y contextos de despliegue de sistemas de IA fiables».¹ Por ello, las políticas y prácticas de responsabilidad variarán en consecuencia. De igual forma, las medidas específicas de responsabilidad tendrán que coexistir entre sí y lo más importante será el impacto que tengan en conjunto.

Creemos que un ecosistema consolidado para la responsabilidad de la IA deberá incluir elementos tanto horizontales como verticales. Es decir, esperamos que haya algunos elementos que se apliquen a determinados sistemas de IA en todos los sectores en los que se puedan aplicar, así como algunos elementos que estén adaptados a sectores concretos. Nosotros nos dedicamos al desarrollo y despliegue de modelos fundacionales con altas capacidades, modelos que aprenden de una gran cantidad de datos para poder llevar a cabo una gran variedad de tareas. Nuestra opinión es que los desarrolladores de IA como nosotros deben actuar con responsabilidad y adoptar un enfoque cauteloso y centrado en la seguridad para el desarrollo y despliegue de las capacidades más avanzadas. Esto debe ser así independientemente de los sectores concretos en los que puedan utilizarse esos modelos.

Ya existe una amplia variedad de leyes que se aplican a la IA, incluidos nuestros productos, y el marco legal está evolucionando rápidamente con iniciativas legislativas en el Congreso, la Ley de IA que está desarrollándose en Europa y las iniciativas legislativas y de políticas que se están aplicando en todo el mundo. Además, ya se están interpretando y adaptando conjuntos de leyes, reglamentos y otras expectativas establecidas desde hace tiempo en sectores como la medicina, la educación y el empleo, de manera que determinarán el papel de la IA en esos sectores. Creemos que estos esfuerzos específicos de cada sector, basados en una amplia experiencia en la materia, son una parte fundamental del ámbito de la responsabilidad sobre la IA.

En OpenAI, apoyamos con firmeza los esfuerzos para coordinar las expectativas de responsabilidad emergentes para la IA, incluidos los esfuerzos del marco de gestión de riesgos de la IA del NIST, el Consejo UE-EE. UU. de Comercio y Tecnología, así como otras iniciativas globales. Mientras estos esfuerzos sigan avanzando, e incluso antes de que se apliquen plenamente las nuevas leyes, consideramos que nosotros mismos y otras empresas debemos asumir unos compromisos voluntarios en cuestiones como las pruebas previas al despliegue, la procedencia de los contenidos y la confianza y seguridad.

Nuestro enfoque de ingeniería actual requiere una escala única de recursos informáticos y consideramos esto como una base prometedora para definir las expectativas de responsabilidad adicionales y distintivas que se aplicarían a actores como nosotros. Igualmente, somos partidarios de definir cuidadosamente cualquier normativa nueva para los modelos fundacionales con altas capacidades con el objetivo de preservar la habilidad de todos los actores para competir e innovar de forma justa.

La responsabilidad desempeña un gran papel durante todo el ciclo de vida de la tecnología. De hecho, nuestros esfuerzos por hacer que nuestros modelos sean seguros y fiables empiezan antes de que se inicie el desarrollo, continúan durante el despliegue y el uso de nuestros modelos y están dirigidos tanto a los creadores como a los usuarios de los modelos fundacionales de altas capacidades. Les ofrecemos a los desarrolladores capacidades de vanguardia para sus aplicaciones. Y, a los millones de personas que usan ChatGPT y nuestros otros servicios, les proporcionamos capacidades potentes cada día. Nuestras políticas de uso se aplican a todos los usuarios de nuestros modelos, herramientas y servicios.² Así mismo, cumplimos con la legislación vigente y exigimos que nuestros desarrolladores y usuarios también la cumplan cuando usan nuestros servicios.

En el resto del comentario, nos centraremos en nuestros enfoques actuales sobre la responsabilidad de la IA y describiremos las áreas de mayor importancia en las que nosotros y otros trabajamos para fortalecer el ecosistema. Somos conscientes de que los responsables políticos de los Estados Unidos y el resto del mundo están considerando una amplia variedad de políticas y medidas para asegurar la responsabilidad de la IA, lo que incluye la legislación, los reglamentos, los acuerdos internacionales, los programas de autorregulación y las normas técnicas y estándares aplicables de otros tipos. Apreciamos estos esfuerzos y estamos dispuestos a colaborar con otras partes interesadas para desarrollar y aplicar enfoques eficaces de responsabilidad en materia de IA.

A la par que evoluciona el debate público, nosotros seguimos perfeccionando nuestras prácticas. Aquí detallamos varios de los aspectos de nuestro enfoque.

La transparencia es un elemento vital para crear sistemas de IA responsables. Una parte importante de nuestro enfoque de responsabilidad consiste en publicar un documento, que actualmente denominamos «tarjeta del sistema», para todos los sistemas de IA que desplegamos. Nuestro enfoque se inspira en anteriores trabajos de investigación sobre tarjetas del sistema y del modelo. ³ Hasta la fecha, hemos publicado dos tarjetas del sistema, la de GPT‑4 y la de DALL·E 2.⁴

Consideramos que, en la mayoría de los casos, es importante que estos documentos analicen y describan el impacto de un sistema en vez de centrarse solo en el modelo en sí, ya que el impacto que pueda llegar a tener el sistema depende, en parte, de factores ajenos al modelo, como el uso, el contexto y las interacciones en el mundo real. De igual forma, el impacto de un sistema de IA depende de las mitigaciones de riesgos, como las políticas de uso, el control del acceso y la detección de abusos. Creemos que es razonable que las partes externas interesadas quieran información sobre esos temas y tengan la oportunidad de entender nuestro enfoque.

El objetivo de nuestras tarjetas del sistema es informar a los lectores sobre los factores clave que influyen en el comportamiento del sistema, especialmente en áreas relacionadas con el uso responsable. Hemos comprobado que el valor de las tarjetas del sistema y documentos similares no solo radica en la visión general que ofrecen de los problemas de rendimiento de los modelos, sino también en los ejemplos ilustrativos que ofrecen. Estos ejemplos permiten a los usuarios y desarrolladores comprender mejor el funcionamiento y los riesgos del sistema, así como las medidas que adoptamos para poder mitigarlos. Además, la preparación de estos documentos también contribuye a dar forma a nuestras prácticas internas y a ilustrarlas para que otros que busquen formas de poner en práctica enfoques responsables de la IA también puedan hacerlo.

La tarea del equipo rojo es probar de forma cualitativa nuestros modelos y sistemas en diferentes sectores para crear una visión más multidisciplinar del perfil de seguridad de nuestros modelos. Como parte del desarrollo de nuestros modelos, llevamos a cabo pruebas de equipo rojo con nuestro propio personal, así como con personas que trabajan de forma ajena al equipo que crea el sistema que se está probando. Además de sondear las capacidades y la resistencia a los ataques de nuestra organización, el equipo rojo también utiliza métodos de pruebas de estrés y de límites. Ambas se centran en sacar a la luz casos límite y otros posibles modos de fallo con potencial para ser perjudiciales.

El equipo rojo sirve como complemento para las evaluaciones automatizadas y cualitativas de las capacidades y los riesgos de los modelos que también llevamos a cabo. Hablamos de ellas en la siguiente sección. De hecho, puede revelar riesgos que aún no son cuantificables o para los que aún no se han desarrollado evaluaciones más estandarizadas. Nuestros trabajos anteriores con el equipo rojo están descritos en la tarjeta del sistema DALL·E 2 y en la tarjeta del sistema GPT‑4.

Por norma general, llevamos a cabo nuestras pruebas y las del equipo rojo durante la fase de desarrollo de un nuevo modelo o sistema. Además de nuestras propias pruebas internas, reclutamos a testers ajenos a OpenAI y les proporcionamos acceso anticipado a un sistema que esté bajo desarrollo. Seleccionamos a los testers en función de su trabajo previo en sectores de interés (investigación o experiencia práctica). Generalmente, son una combinación de investigadores académicos y profesionales del sector (por ejemplo, personas con experiencia en el ámbito de confianza y seguridad). Evaluamos y validamos los resultados de estas pruebas y tomamos medidas para hacer ajustes y desplegar mitigaciones de seguridad cuando procede.

En OpenAI, nos comprometemos a tomar medidas para mejorar la calidad, diversidad y experiencia de los testers externos tanto para las evaluaciones en curso como futuras.

Además del equipo rojo cualitativo descrito anteriormente, hemos creado evaluaciones cuantitativas automatizadas para comprobar las diversas capacidades y riesgos para la seguridad, incluidos aquellos que encontramos a través de métodos como el equipo rojo. Gracias a estas evaluaciones, podemos comparar diferentes versiones de nuestros modelos entre sí, iterar sobre metodologías de investigación que mejoren la seguridad y, por último, contribuir a la toma de decisiones sobre las versiones de los modelos que decidimos desplegar. Las evaluaciones existentes incluyen temas como el contenido erótico, el que incita al odio o el relacionado con autolesiones, entre otros. De igual forma, miden la propensión de estos modelos a generar este tipo de contenidos.

OpenAI prohíbe el uso de nuestros modelos y herramientas para determinadas actividades y contenido, tal y como se describe en nuestras políticas de uso.⁵ Estas políticas están diseñadas para prohibir el uso de nuestros modelos y herramientas de manera que causen daños, tanto a los individuos como a la sociedad. Además, actualizamos estas políticas en respuesta a los nuevos riesgos y la información actualizada que recibimos sobre el uso de nuestros modelos. El acceso a nuestros modelos y su uso también están sujetos a los términos de uso de OpenAI que, entre otros aspectos, prohíben el uso de nuestros servicios para perjudicar los derechos de las personas y no permiten presentar los datos de salida de nuestros servicios como generados por humanos cuando no lo están.⁶

Entre las medidas que tomamos para limitar el uso de nuestros modelos para actividades perjudiciales, les enseñamos a negarse a responder a determinados tipos de solicitudes que puedan dar lugar a respuestas potencialmente perniciosas. Así mismo, utilizamos una combinación de revisores y sistemas automatizados para identificar y tomar medidas contra el uso indebido de nuestros modelos. Nuestros sistemas automatizados incluyen un conjunto de detecciones de aprendizaje automático y clasificadores basados en reglas diseñados para identificar contenidos que podrían infringir nuestras políticas. Cuando un usuario usa prompts con contenido que infringe las políticas repetidamente en nuestros modelos, tomamos acciones como mandar una advertencia, suspender temporalmente al usuario o, en casos graves, lo expulsamos.

Como indicamos en la solicitud de comentarios, existen muchas cuestiones importantes relacionadas con la responsabilidad de la IA que todavía no se han resuelto. En las secciones que encontrarás a continuación, ofrecemos una perspectiva adicional sobre varias de estas cuestiones.

Los modelos fundacionales con altas capacidades tienen tanto capacidades beneficiosas como potencial para ser perjudiciales. A medida que estas capacidades se vuelven más avanzadas, también evolucionan la escala y la gravedad de los riesgos que puedan plantear. Especialmente, si están bajo la dirección de un actor malicioso o si el modelo no está debidamente alineado con los valores humanos.

Para evaluar y gestionar los riesgos de manera eficaz, es fundamental medir rigurosamente los avances en las capacidades potencialmente peligrosas. Con este fin, estudiamos y creamos evaluaciones de las capacidades potencialmente peligrosas que van desde herramientas sencillas, escalables y automatizadas hasta evaluaciones a medida e intensivas llevadas a cabo por humanos expertos. Así mismo, colaboramos con expertos del mundo académico y del sector y, como objetivo, nuestra intención es contribuir al desarrollo de un conjunto diverso de evaluaciones que puedan ayudar a la formación de las mejores prácticas para evaluar los riesgos emergentes en modelos fundacionales con altas capacidades. Consideramos que las evaluaciones de las capacidades peligrosas son un elemento cada vez más importante para la responsabilidad y la gobernanza en el desarrollo de la IA de frontera.

A medida que las capacidades de los modelos sigan aumentando, las evaluaciones independientes de los modelos y sistemas, incluso por parte de terceros, pueden ser cada vez más valiosas. Esto se debe a que estas evaluaciones pueden reforzar la responsabilidad y la transparencia de los comportamientos y riesgos de los sistemas de IA.

Algunas formas de evaluación pueden producirse dentro de una misma organización, como cuando un equipo evalúa su propio trabajo o cuando un equipo o parte de la organización produce un modelo y otro lo prueba de forma independiente. Otro enfoque consiste en encargar la evaluación a un tercero. Como describimos anteriormente, a día de hoy, confiamos en una combinación de evaluaciones internas y externas para nuestros modelos.

Las evaluaciones de terceros pueden centrarse, por ejemplo, en despliegues específicos, en un modelo o sistema en un momento dado, en prácticas de gobernanza organizativa y gestión de riesgos, en las aplicaciones específicas de un modelo o sistema, o en una combinación de todo lo anterior. El planteamiento y los marcos potenciales que se usarán en esas evaluaciones siguen evolucionando con celeridad, al mismo tiempo que supervisamos y consideramos nuestro propio enfoque de las evaluaciones.

En cuanto a las evaluaciones de terceros, convendría una mayor claridad en el proceso de selección de los auditores o evaluadores con la experiencia y conocimientos necesarios, así como en el sistema de incentivos. Es más, seleccionar las expectativas adecuadas para evaluar las organizaciones o los modelos es un área que todavía se está explorando y que requiere las aportaciones de las distintas partes interesadas. Para finalizar, será importante que las evaluaciones tengan en cuenta la posible evolución de los sistemas a lo largo del tiempo y la incorporen al proceso de evaluación o auditoría.

En OpenAI, estamos a favor del registro y la obtención de licencias para las futuras generaciones de modelos fundacionales de mayores capacidades. Hay que considerar que estos modelos pueden tener capacidades lo suficientemente peligrosas como para plantear riesgos significativos para la seguridad pública. Por ello, creemos que deberían estar sujetos a los requisitos de responsabilidad correspondientes.

Así pues, parece pertinente considerar la divulgación y el registro de los procesos de entrenamiento que se utilicen para crear modelos fundacionales de altas capacidades. Dicha divulgación podría ayudar a los responsables políticos a disponer de la visibilidad que necesitan para diseñar soluciones de regulación eficaces, así como para poder adelantarse a las tendencias de la vanguardia del progreso de la IA. Es fundamental que cualquier régimen de este tipo le dé prioridad a la seguridad de la información que se divulga.

Los desarrolladores de IA podrían estar obligados a obtener una licencia para crear modelos fundacionales de altas capacidades que, probablemente, resulten más capaces que los modelos que previamente habían demostrado ser seguros. La concesión de licencias es algo común en contextos críticos para la seguridad y otros de alto riesgo, como el transporte aéreo, la generación de energía, la fabricación de medicamentos o el sector bancario. Igualmente, los titulares de licencias podrían estar obligados a llevar a cabo evaluaciones de riesgos previas al despliegue y a adoptar medidas de seguridad y despliegue de última generación. De hecho, muchas de las prácticas de responsabilidad que considerará la NTIA podrían ser requisitos apropiados para conceder licencias. Es más, la obligación de obtener una licencia a nivel de proveedor informático también podría ser una poderosa herramienta complementaria para garantizar el cumplimiento de la ley.

En definitiva, quedan muchas cuestiones abiertas en el diseño de mecanismos de registro y concesión de licencias para ofrecer la responsabilidad adecuada en la vanguardia del desarrollo de la IA. Desde OpenAI, esperamos poder colaborar con los responsables políticos para abordar estas cuestiones.