Aportes democráticos a la IA

Nuestra organización sin ánimos de lucro, OpenAI, Inc., está lanzando un programa que otorgará diez subvenciones de 100 000 USD a experimentos que permitan configurar un proceso democrático para decidir qué reglas deben seguir los sistemas de IA, dentro de los límites establecidos por la ley.

La IA tendrá un impacto significativo y de largo alcance en la economía y la sociedad. La tecnología determina la vida de las personas, cómo interactuamos unos con otros y cómo evoluciona la sociedad en su conjunto. Creemos que las decisiones sobre el comportamiento de la IA deben basarse en distintas perspectivas que reflejen el interés público. 

​Las leyes codifican los valores y las normas para controlar el comportamiento. Más allá del marco legal, la IA, al igual que la sociedad, necesita pautas más complejas y adaptables para su conducta. Por ejemplo, ¿en qué condiciones los sistemas de IA pueden condenar o criticar a figuras públicas, si hay grupos con distintas opiniones sobre ellas? ¿Cómo se deben representar las visiones opuestas en los resultados de IA? ¿Debe la IA reflejar de forma predeterminada a una persona promedio del mundo, el país del usuario, el grupo demográfico del usuario o algo completamente distinto? Ninguna persona, empresa ni país por sí solo debe tomar estas decisiones. 

La AGI⁠ debe beneficiar a toda la humanidad y ser lo más inclusiva posible. El programa de subvenciones es un primer paso hacia esa dirección. Buscamos equipos de todo el mundo para desarrollar prototipos para un proceso democrático que podría responder preguntas sobre cuáles reglas deben seguir los sistemas de IA. Deseamos aprender de estos experimentos y utilizarlos como base para un proceso más global y ambicioso en el futuro. Aunque el propósito de estos experimentos iniciales no es (al menos por ahora) tomar decisiones vinculantes, esperamos que exploren preguntas relevantes para tales decisiones y creen nuevas herramientas democráticas que influyan de manera más directa las decisiones en el futuro.

La gestión de los sistemas más poderosos⁠, así como las decisiones sobre su implementación, deben estar bajo una fuerte supervisión pública. Esta subvención es un paso adelante en el establecimiento de procesos democráticos para supervisar AGI y, a la larga, la superinteligencia. La organización sin ánimos de lucro OpenAI entregará la subvención y se podrá acceder libremente a los resultados de los estudios.

Definimos “proceso democrático” como un proceso en que un grupo representativo y amplio de personas^A intercambian opiniones, deliberan^B y finalmente deciden un resultado a través de un proceso transparente de toma de decisiones.^C Hay muchas maneras de estructurar este proceso, por lo que alentamos a los postulantes a que sean innovadores, se basen en metodologías conocidas y desarrollen enfoques totalmente nuevos. Algunos ejemplos de enfoques creativos que nos han inspirado son Wikipedia⁠(se abre en una nueva ventana), Twitter Community Notes⁠(se abre en una nueva ventana), DemocracyNext⁠(se abre en una nueva ventana), Platform Assemblies⁠(se abre en una nueva ventana), MetaGov⁠(se abre en una nueva ventana), RadicalxChange⁠(se abre en una nueva ventana), People Powered⁠(se abre en una nueva ventana), Collective Response Systems⁠(se abre en una nueva ventana) y pol.is⁠(se abre en una nueva ventana). Otra iniciativa actual notable es la que lidera Collective Intelligence Project⁠(se abre en una nueva ventana) (CIP), con quienes estamos asociados en el tema del aporte público a la IA, lo que contribuye así a su próxima Alignment Assemblies⁠(se abre en una nueva ventana). También instamos a los postulantes a visualizar cómo la IA podría mejorar⁠(se abre en una nueva ventana) el proceso democrático. Por ejemplo, la IA podría propiciar⁠(se abre en una nueva ventana) una comunicación más eficaz entre muchas personas.

Hay varios problemas que pueden entorpecer los procesos democráticos, como la falta de representación adecuada de los grupos minoritarios o mayoritarios, la manipulación de grupos con intereses especiales, la información insuficiente de los participantes o la apariencia de participación o “participation⁠(se abre en una nueva ventana) washing⁠(se abre en una nueva ventana)”. Buscamos equipos que aborden de forma proactiva estos asuntos y estén conscientes de las posibles fallas y desventajas de los diversos enfoques. A la larga, diseñar procesos realmente democráticos es un objetivo muy alto y consideramos nuestro esfuerzo como un complemento más que un sustituto para la reglamentación sobre IA de los gobiernos. Este programa impulsa procesos creados con el mayor esfuerzo y espíritu democrático, cuya base son la deliberación y el aporte público amplio.

Para solicitar la subvención, te invitamos a enviar el material de postulación antes del 24 de junio de 2023, 9:00 p. m., hora del Pacífico. Puedes acceder al portal de postulación aquí⁠(se abre en una nueva ventana). Tendrás que responder una serie de preguntas sobre los antecedentes de tu equipo, tu elección de preguntas, una descripción con alto nivel de detalle de la herramienta que propones y tu plan para realizar y evaluar el proceso democrático al tener en cuenta estos factores⁠. Nos gustaría que diseñaras tu enfoque para tratar una o más de las preguntas de políticas que aparecen en la lista proporcionada⁠. Cualquier persona u organización puede postularse a esta oportunidad, sin importar su experiencia en ciencias sociales o IA.

Cuando cierre el período de postulación, esperamos seleccionar a diez exitosos destinatarios de la subvención. Estos destinatarios pueden ser personas, equipos u organizaciones. Cada destinatario recibirá una subvención de 100 000 USD para hacer un piloto de su propuesta, tal como se describió en los materiales de postulación. Se espera que los destinatarios de las subvenciones implementen un prototipo que tenga al menos 500 participantes, y que publiquen un informe público con sus resultados el 20 de octubre de 2023. Además, como parte del programa de subvención, cualquier código u otra propiedad intelectual que se desarrolle para el proyecto deberá estar públicamente disponible, conforme a una licencia de código abierto. Los términos que se aplican a los destinatarios de las subvenciones se especifican en Términos de la subvención y en cualquier otro acuerdo relacionado con el programa que deban celebrar los destinatarios de las subvenciones con nosotros.

Postula y comienza el proceso de presentación⁠(se abre en una nueva ventana).

• 24 de junio de 2023, 9:00 p. m., hora del Pacífico: Plazo para presentar la postulación a la subvención
• 14 de julio de 2023: Selección y notificación a los postulantes que hayan tenido éxito
• 20 de octubre de 2023: Informe público del prototipo funcional y sus resultados

Para participar, los equipos deben elegir una o más preguntas de la lista proporcionada para mostrar el enfoque que proponen. También pueden formular sus propias preguntas, si así lo desean. Es importante que los equipos consideren las preguntas que sería inadecuado responder con un simple “sí” o “no” y que necesitan una propuesta de política más matizada.

El alcance de esta subvención corresponde a preguntas de políticas sobre el comportamiento del modelo y permite pruebas A/B con comportamiento modificado del modelo, según las recomendaciones de las políticas. Entendemos las limitaciones de esta subvención y reconocemos que muchos problemas de IA se podrían manejar a través del proceso democrático, más allá del comportamiento del modelo, para incluir temas como pautas para el uso de IA en distintos contextos, el impacto económico, la distribución de beneficios y otros.

• ¿Qué tan lejos crees que debe ir la personalización de asistentes de IA como ChatGPT para alinearse con los gustos y preferencias de un usuario? ¿Qué límites deben existir en este proceso, si los hubiera?
• ¿Cómo deberían responder los asistentes de IA a preguntas sobre puntos de vista de figuras públicas? Por ejemplo, ¿deberían ser imparciales? ¿Deberían negarse a contestar? ¿Deberían proporcionar fuentes de algún tipo?
• ¿En qué condiciones, si hubiera, los asistentes de IA tendrían permitido dar consejos médicos, financieros o legales?
• ¿En qué casos, si hubiera, los asistentes de IA deberían ofrecer apoyo emocional a las personas?
• ¿Los modelos de lenguaje visual tendrán permitido identificar el género, la raza, la emoción y la identidad o el nombre de las personas a partir de imágenes? ¿Por qué o por qué no?
• Cuando los modelos generativos crean imágenes para indicaciones poco específicas, como “CEO”, “policía” o “chef”, pueden producir resultados diversos u homogéneos. ¿Cómo deben equilibrar los modelos de IA estas posibilidades? ¿Qué factores se deben priorizar al momento de decidir la representación de personas en esos casos?
• ¿Qué principios deben guiar a la IA para tratar temas relacionados con los derechos humanos y las diferencias locales en el ámbito cultural o legal, como los derechos de las personas LGBTQ y las mujeres? ¿Deben cambiar las respuestas de IA según la ubicación o cultura en que se use?
• ¿Qué categorías de contenido, si hubiera, consideras que los creadores de modelos de IA deben enfocarse en limitar o rechazar? ¿Qué criterios se deben utilizar para determinar estas restricciones?

El principal objetivo de esta subvención es fomentar la innovación en los procesos, ya que necesitamos mejores métodos democráticos para regular el comportamiento de la IA. Las respuestas específicas a las preguntas importan menos que los avances en el proceso en sí.

• Colin Megill, cofundador de pol.is⁠(se abre en una nueva ventana)
• Hélène Landemore, profesora de Ciencias Políticas en Yale⁠(se abre en una nueva ventana)
• Aviv Ovadya, Berkman Klein Center⁠(se abre en una nueva ventana)

• Evaluación: Alentamos a los participantes a establecer métricas para evaluar la calidad de sus métodos, como la satisfacción del participante, cambios en la polarización, escalabilidad u otros indicadores importantes, y a inventar nuevas métricas para lograr un proceso democrático saludable. 
• Solidez: Medidas para evitar o manejar el comportamiento inapropiado, como el acoso (trolling) o cuentas falsas.
• Inclusividad y representatividad: Estrategias para incluir a personas de distintos orígenes y niveles de familiaridad con los sistemas de IA en el proceso democrático.
• Empoderamiento de las opiniones de minorías: Asegurarse de que las opiniones no populares o de minorías sean escuchadas y proporcionar a los grupos más pequeños la oportunidad de influir en temas significativos para ellos.
• Moderación eficaz: Enfrentar los desafíos que impone la moderación, como asegurar la representación de puntos de vista diversos, distinguir las contribuciones valiosas de los comentarios fuera del tema y evitar que sesgos del moderador afecten el proceso.
• Escalabilidad: Hacemos énfasis en los procesos escalables que se pueden realizar virtualmente, más que a través de la interacción en persona. Sabemos que este enfoque podría sacrificar algunos beneficios relacionados con los debates en persona y que se pueden perder algunos aspectos en un entorno virtual.
• Accionabilidad: El grado de accionabilidad de la información obtenida en el proceso de deliberación.
• Legibilidad: Facilidad para comprender y confiar en el proceso.