Aportaciones democráticas a la IA

OpenAI, Inc., nuestra organización sin ánimo de lucro, va a lanzar un programa para conceder diez subvenciones de 100 000 dólares con el objetivo de financiar experimentos para establecer un proceso democrático que decida qué reglas deben seguir los sistemas de IA dentro de los límites legales.

Es innegable que la IA tendrá repercusiones importantes y trascendentales tanto en la economía como en la sociedad. La tecnología determina la vida de la gente, cómo interactuamos entre nosotros y cómo evoluciona la sociedad en conjunto. Por ello, creemos que las decisiones sobre cómo se comporta la IA deben reflejar las diversas perspectivas y los intereses del público. 

​Las leyes establecen los valores y las normas que regulan el comportamiento. No obstante, más allá del marco legal, al igual que ocurre en la sociedad, la IA necesita unas directrices más complejas y adaptables para regular su conducta. Por ejemplo, ¿bajo qué condiciones los sistema de IA deberían condenar o criticar a personajes públicos si tenemos en cuenta las diferentes opiniones de los distintos grupos con respecto a esos personajes? ¿Cómo deberían representarse los puntos de vista controvertidos en los resultados de la IA? ¿La IA debería reflejar por defecto la personalidad de una persona media a nivel global, el país del usuario, el grupo demográfico del usuario o algo completamente distinto? Ninguna persona, empresa o, incluso, país debería dictar esas decisiones. 

La IAG⁠ debe beneficiar a toda la humanidad y diseñarse para ser lo más inclusiva posible. Vamos a lanzar un programa de subvenciones para dar un primer paso en esta dirección. Por ello, buscamos equipos de todo el mundo que sean capaces de desarrollar pruebas de concepto para obtener un proceso democrático que pueda responder a preguntas sobre las reglas que deberían seguir los sistemas de IA. Nuestro propósito es aprender de estos experimentos y usarlos como la base de un proceso más global y ambicioso de cara al futuro. Aunque no pretendemos que estos experimentos iniciales sea vinculantes para las decisiones, al menos por ahora, tenemos la esperanza de que exploren cuestiones relevantes para la toma de decisiones y creen herramientas democráticas innovadoras que puedan aportar información más directa a las decisiones en el futuro.

La gobernanza de los sistemas más potentes⁠, así como las decisiones que conciernen a su despliegue, deben estar sometidas a una fuerte supervisión pública. Esta subvención supone dar un paso adelante a la hora de establecer procesos democráticos para supervisar la IAG y, a la larga, la superinteligencia. La organización sin ánimo de lucro de OpenAI se encargará de concederla y todos los resultados serán de libre acceso.

Con «proceso democrático», nos referimos al proceso en el que un grupo ampliamente representativo de personas^A intercambia opiniones, participa en debates^B y, al final, decide un resultado mediante un proceso transparente de toma de decisiones.^C Hay varias formas de estructurar un proceso de este tipo, así que animamos a los participantes a que innoven a partir de tecnologías ya conocidas y a que propongan enfoques totalmente novedosos. Entre los ejemplos de enfoques creativos que nos han inspirado, se encuentran Wikipedia⁠(se abre en una ventana nueva), las Notas de la comunidad en Twitter⁠(se abre en una ventana nueva), DemocracyNext⁠(se abre en una ventana nueva), Platform Assemblies⁠(se abre en una ventana nueva), MetaGov⁠(se abre en una ventana nueva), RadicalxChange⁠(se abre en una ventana nueva), People Powered⁠(se abre en una ventana nueva), Collective Response Systems⁠(se abre en una ventana nueva) y pol.is⁠(se abre en una ventana nueva). Otro notable esfuerzo que está en marcha es el de Collective Intelligence Project⁠(se abre en una ventana nueva) (CIP), con quienes estamos colaborando en la aportación pública a la IA y contribuyendo para sus próximas Alignment Assemblies⁠(se abre en una ventana nueva). Además, animamos a los participantes a que visualicen cómo la IA podría mejorar⁠(se abre en una ventana nueva) el proceso democrático. Por ejemplo, la IA podría posibilitar⁠(se abre en una ventana nueva) una comunicación más eficiente entre un gran número de personas.

No obstante, existen varios problemas que pueden afectar a los procesos democráticos, como la falta de una representación adecuada de los grupos minoritarios o mayoritarios, la manipulación por parte de grupos con intereses especiales, participantes que no estén lo suficientemente informados o el blanqueo⁠(se abre en una ventana nueva) de la participación⁠(se abre en una ventana nueva). Por lo tanto, buscamos equipos que hagan frente a estos modos de fallo de forma proactiva y que demuestren que son conscientes de los posibles defectos y desventajas de los distintos enfoques. A fin de cuentas, diseñar un proceso que sea verdaderamente democrático es una tarea muy complicada, así que consideramos nuestros esfuerzos complementos, no sustitutos, de la regulación de la IA por parte de los gobiernos. Este programa fomenta los procesos basados en el espíritu democrático y en el máximo esfuerzo que impliquen deliberación y una amplia participación del público como punto de partida.

Para solicitar una subvención, envíanos los materiales requeridos para la solicitud antes del 24 de junio de 2023 a las 21:00 (PT). Puedes acceder al portal de solicitudes aquí⁠(se abre en una ventana nueva). En él, te pedirán que respondas a una serie de preguntas sobre la experiencia de tu equipo, vuestra elección de preguntas, detalles de alto nivel de la herramienta que vais a presentar y vuestro plan para ejecutar y evaluar el proceso democrático con estos factores⁠ presentes. Nos gustaría que diseñases tu enfoque con el objetivo de abordar una o más de las cuestiones políticas que te proporcionamos en esta lista⁠. Cualquiera, ya sean particulares y organizaciones, puede solicitar esta subvención, sin importar su experiencia en ciencias sociales o IA.

Al cerrar el proceso de solicitud, nos gustaría seleccionar a diez beneficiarios de la subvención. Los beneficiarios pueden ser particulares, equipos u organizaciones. Cada uno de ellos recibirá una subvención de 100 000 dólares para llevar a cabo su propuesta tal y como la describieron en los materiales aportados en el proceso de solicitud. Los beneficiarios deberán implementar una prueba de concepto o prototipo que tenga un mínimo de quinientos participantes. Además, deberán publicar un informe público sobre sus resultados antes del 20 de octubre de 2023. De igual manera, como parte de programa de subvenciones, deberán poner a disposición del público con licencia de código abierto cualquier código o propiedad intelectual que se desarrolle para el proyecto. Todas las condiciones que se aplican a los beneficiarios están especificadas en las Condiciones de la subvención y en cualquier otro acuerdo relacionado con este programa que los beneficiarios tengan que formalizar con nosotros.

Empieza el proceso de solicitud de la subvención⁠(se abre en una ventana nueva).

• 24 de junio de 2023, 21:00 (PT): fecha límite para presentar la solicitud a la subvención
• 14 de julio de 2023: se selecciona a los beneficiarios y se les envía una notificación
• 20 de octubre de 2023: informe público completo del prototipo operativo y los resultados

Para participar, los equipos deben elegir una o más preguntas de la lista que hemos proporcionado para mostrar el enfoque que quieren proponer. Igualmente, si lo desean, también pueden crear sus propias preguntas. Es importante que los equipos tengan en cuenta preguntas para las que una respuesta simple de «sí» o «no» no sería adecuada, por lo sería necesaria una propuesta de políticas con más matices.

Esta subvención se centra en las cuestiones de políticas relativas al comportamiento del modelo, puesto que permite hacer pruebas A/B con un comportamiento modificado del modelo en función de las recomendaciones de las políticas. Aun así, somos conscientes de las limitaciones de esta subvención y reconocemos que existen numerosas cuestiones relacionadas con la IA que podrían abordarse mediante el proceso democrático y extenderse no solo al comportamiento del modelo, sino a las directrices para el uso de la IA en diferentes contextos, al impacto económico o a la distribución de los beneficios, entre otras muchas cosas.

• ¿Hasta dónde crees que debería llegar la personalización de los asistentes de IA como ChatGPT para adaptarse a los gustos y las preferencias del usuario? ¿Qué límites deberían existir en este proceso, si es que debiese haber alguno?
• ¿Cómo deberían responder a preguntas sobre las opiniones de los personajes públicos los asistentes de IA? ¿Deberían ser neutrales? ¿Deberían negarse a responder? ¿Deberían proporcionar algún tipo de recurso?
• Si las hubiera, ¿bajo qué condiciones debería permitirse que los asistentes de IA ofrezcan asesoramiento médico, financiero o jurídico?
• ¿En qué casos, si los hubiera, los asistentes de IA deberían ofrecer apoyo emocional a las personas?
• ¿Debería permitirse que los modelos que usan visión y lenguaje identifiquen el genero, la raza, las emociones, la identidad o el nombre de las personas a partir de las imágenes? ¿Por qué sí o por qué no?
• Cuando los modelos generativos crean imágenes para prompts poco específicos, como «CEO», «policía» o «chef», tienen el potencial de generar resultados diversos u homogéneos. ¿De qué forma deberían equilibrar estas posibilidades los modelos de IA? ¿A qué factores se les debe dar prioridad a la hora de decidir la representación de personas en estos casos?
• ¿Qué principios debe seguir la IA a la hora de tratar temas que afecten tanto a los derechos humanos como a las diferencias culturales o jurídicas locales, como los derechos del colectivo LGTBIQ+ y los derechos de la mujer? ¿Las respuestas de la IA deberían cambiar en función del lugar o la cultura en la que se esté utilizando?
• ¿En qué categorías de contenidos, si las hay, crees que deberían centrarse los creadores de modelos de IA para limitarlas o evitarlas? ¿Qué criterios deberían usarse para determinar estas restricciones?

El objetivo principal de esta subvención es fomentar la innovación en los procesos, puesto que necesitamos métodos democráticos mejorados para gobernar el comportamiento de la IA. Las respuestas concretas a las preguntas mencionadas anteriormente son menos importantes que los avances que se realicen en el propio proceso.

• Colin Megill, cofundador de pol.is⁠(se abre en una ventana nueva)
• Hélène Landemore, profesora de Ciencias Políticas en Yale⁠(se abre en una ventana nueva)
• Aviv Ovadya, Berkman Klein Center⁠(se abre en una ventana nueva)

• Evaluación: animamos a los participantes a que establezcan métricas para evaluar la calidad de sus métodos. Por ejemplo, la satisfacción de los participantes, los cambios en la polarización, la escalabilidad u otros indicadores relevantes. Asimismo, los animamos a que inventen nuevas métricas para ofrecer un proceso democrático saludable. 
• Fiabilidad: medidas para prevenir o hacer frente a comportamientos inadecuados, como trolear o las cuentas falsas.
• Inclusividad y representación: estrategias para incluir a personas de diversos orígenes y niveles de familiaridad con los sistemas de IA en el proceso democrático.
• Empoderamiento de las opiniones minoritarias: garantizar que se escuchen las opiniones minoritarias o menos populares y ofrecer a los grupos más pequeños la oportunidad de influir en asuntos que les afecten significativamente.
• Moderación eficaz: afrontar los desafíos que supone la moderación. Por ejemplo, garantizar la diversidad de puntos de vista, distinguir las contribuciones útiles de aquellas que se desvían del tema y evitar que los prejuicios de los moderadores influyan en el proceso.
• Escalabilidad: preferimos los procesos escalables que se puedan llevar a cabo de manera virtual por encima de aquellos que se llevan a cabo en persona. No obstante, somos conscientes de que este enfoque supone renunciar a algunas de las ventajas asociadas a los debates en persona y entendemos que algunos aspectos podrían perderse dentro de un entorno virtual.
• Viabilidad: el grado de viabilidad de la información obtenida en el proceso de deliberación.
• Legibilidad: la facilidad para entender el proceso y confiar en él.