Aportacions democràtiques a la IA

La nostra organització sense ànim de lucre, OpenAI, Inc., posa en marxa un programa per concedir deu subvencions de 100.000 $ per finançar experiments per establir un procés democràtic per decidir quines regles han de seguir els sistemes d’IA, dins dels límits definits per la llei.

La IA tindrà impactes econòmics i socials significatius i de gran abast. La tecnologia dona forma a la vida de les persones, a com interactuem entre nosaltres i a com evoluciona la societat en conjunt. Creiem que les decisions sobre com s’ha de comportar la IA han d’estar modelades per perspectives diverses que reflecteixin l’interès públic. 

​​Les lleis codifiquen valors i normes per regular el comportament. Més enllà d’un marc legal, la IA, igual que la societat, necessita directrius més complexes i adaptatives per a la seva conducta. Per exemple: en quines condicions haurien de condemnar o criticar els sistemes d’IA les figures públiques, tenint en compte les diferents opinions entre grups sobre aquestes figures? Com s’haurien de representar les visions controvertides en les sortides de la IA? Per defecte, la IA hauria de reflectir la persona d’un individu mitjà al món, del país de l’usuari, del grup demogràfic de l’usuari, o d’alguna cosa completament diferent? Cap individu, empresa ni tan sols país no hauria de dictar aquestes decisions. 

AGI⁠ hauria de beneficiar tota la humanitat i configurar-se perquè sigui tan inclusiva com sigui possible. Llancem aquest programa de subvencions per fer un primer pas en aquesta direcció. Busquem equips d’arreu del món per desenvolupar proves de concepte d’un procés democràtic que pugui respondre preguntes sobre quines regles haurien de seguir els sistemes d’IA. Volem aprendre d’aquests experiments i fer-los servir com a base d’un procés futur més global i més ambiciós. Tot i que aquests experiments inicials no estan pensats (almenys de moment) per ser vinculants per a les decisions, esperem que exploren qüestions rellevants per a la presa de decisions i construeixin eines democràtiques noves que puguin informar més directament les decisions en el futur.

La governança dels sistemes més potents⁠, així com les decisions relatives al seu desplegament, han de tenir una supervisió pública sòlida. Aquesta subvenció representa un pas per establir processos democràtics de supervisió de l’AGI i, en última instància, de la superintel·ligència. La proporcionarà l’organització sense ànim de lucre OpenAI, i els resultats dels estudis seran d’accés lliure.

Per «procés democràtic», entenem un procés en què un grup de persones àmpliament representatiu^A intercanvia opinions, participa en discussions deliberatives^B i, finalment, decideix un resultat mitjançant un procés de presa de decisions transparent.^C Hi ha moltes maneres d’estructurar aquest procés: animem les persones sol·licitants a ser innovadores, a basar-se en metodologies conegudes i a idear enfocaments completament nous. Exemples d’enfocaments creatius que ens inspiren inclouen Wikipedia⁠(s'obre en una finestra nova), Notes de la comunitat de Twitter⁠(s'obre en una finestra nova), DemocracyNext⁠(s'obre en una finestra nova), Assemblees de plataforma⁠(s'obre en una finestra nova), MetaGov⁠(s'obre en una finestra nova), RadicalxChange⁠(s'obre en una finestra nova), People Powered⁠(s'obre en una finestra nova), Sistemes de resposta col·lectiva⁠(s'obre en una finestra nova) i pol.is⁠(s'obre en una finestra nova). Un altre esforç destacat en curs està liderat pel Collective Intelligence Project⁠(s'obre en una finestra nova) (CIP), amb qui col·laborem en aportacions públiques a la IA, contribuint a les seves properes Alignment Assemblies⁠(s'obre en una finestra nova). També animem les persones sol·licitants a imaginar com la IA podria millorar⁠(s'obre en una finestra nova) el procés democràtic. Per exemple, la IA podria permetre⁠(s'obre en una finestra nova) una comunicació més eficient entre moltes persones.

Diversos problemes poden perjudicar els processos democràtics, com ara no representar adequadament grups minoritaris o majoritaris, la manipulació per part de grups d’interès especial, participants insuficientment informats o el rentat⁠(s'obre en una finestra nova) de la participació⁠(s'obre en una finestra nova). Busquem equips que abordin de manera proactiva aquests modes de fallida i demostrin consciència dels possibles defectes i inconvenients de diversos enfocaments. En última instància, dissenyar processos veritablement democràtics és un nivell d’exigència molt alt, i considerem els nostres esforços com a complementaris, i no substitutius, de la regulació de la IA per part dels governs; aquest programa fomenta processos fets amb la millor voluntat possible, d’esperit democràtic, amb deliberació i una àmplia aportació pública com a esglaons previs.

Per sol·licitar una subvenció, us convidem a presentar el material de sol·licitud requerit abans de les 21:00 h PDT del 24 de juny de 2023. Podeu accedir al portal de sol·licituds aquí⁠(s'obre en una finestra nova). Se us demanarà que respongueu una sèrie de preguntes sobre els antecedents del vostre equip, la vostra tria de preguntes, els detalls generals de l’eina proposada, així com el vostre pla per dur a terme i avaluar el procés democràtic tenint en compte aquests factors⁠. Voldríem que dissenyéssiu el vostre enfocament per abordar una o més de les preguntes de política de la llista proporcionada⁠. Qualsevol persona (individus o organitzacions) pot sol·licitar aquesta oportunitat, independentment de la seva experiència en ciències socials o IA.

Un cop es tanqui el període de sol·licitud, esperem seleccionar deu beneficiaris de subvenció. Els beneficiaris poden ser persones, equips o organitzacions. Cada beneficiari rebrà una subvenció de 100.000 $ per pilotar la seva proposta tal com es descriu als materials de la seva sol·licitud. S’espera que els beneficiaris implementin una prova de concepte/prototip, involucrant almenys 500 participants, i hauran de publicar un informe públic sobre les seves conclusions abans del 20 d’octubre de 2023. A més, com a part del programa de subvencions, caldrà que qualsevol codi o altra propietat intel·lectual desenvolupada per al projecte es faci pública d’acord amb una llicència de codi obert. Les condicions aplicables als beneficiaris de la subvenció s’especifiquen als Termes de la Subvenció i a qualsevol altre acord que se’ls pugui demanar que subscriguin amb nosaltres en relació amb aquest programa.

Sol·liciteu-la i inicieu el procés de presentació⁠(s'obre en una finestra nova).

• 24 de juny de 2023, 21:00 h, hora del Pacífic: termini per presentar la sol·licitud de subvenció
• 14 de juliol de 2023: se seleccionaran i es notificaran els sol·licitants acceptats
• 20 d’octubre de 2023: informe públic complet del prototip operatiu i dels resultats

Per participar, els equips haurien de triar una o més preguntes de la llista proporcionada per mostrar el seu enfocament proposat. Si ho desitgen, també poden crear les seves pròpies preguntes. És important que animem els equips a considerar preguntes per a les quals una resposta simple de «sí» o «no» seria inadequada i que, en canvi, exigeixin una proposta de política matisada.

L’abast d’aquesta subvenció es refereix a qüestions de política sobre el comportament del model, ja que permet proves A/B amb un comportament del model modificat segons les recomanacions de política. Reconeixem les limitacions d’aquesta subvenció i que molts problemes d’IA es podrien abordar mitjançant el procés democràtic, més enllà del comportament del model, incloent àmbits com les directrius per a l’ús de la IA en diversos contextos, l’impacte econòmic, la distribució dels beneficis i més.

• Fins a quin punt creieu que hauria d’arribar la personalització d’assistents d’IA com ChatGPT perquè s’alineïn amb els gustos i preferències d’un usuari? Quins límits, si n’hi ha, haurien d’existir en aquest procés?
• Com haurien de respondre els assistents d’IA a preguntes sobre els punts de vista de figures públiques? Per exemple, haurien de ser neutrals? Haurien de negar-se a respondre? Haurien de proporcionar algun tipus de fonts?
• En quines condicions, si n’hi ha, s’hauria de permetre als assistents d’IA oferir assessorament mèdic/financer/legal?
• En quins casos, si n’hi ha, haurien d’oferir suport emocional els assistents d’IA a les persones?
• S’hauria de permetre als models conjunts de visió-llenguatge identificar el gènere, la raça, l’emoció i la identitat/nom de les persones a partir de les seves imatges? Per què sí o per què no?
• Quan els models generatius creen imatges per a indicacions poc específiques com «un director general», «un metge» o «una infermera», tenen el potencial de produir resultats diversos o homogenis. Com haurien d’equilibrar els models d’IA aquestes possibilitats? Quins factors s’haurien de prioritzar a l’hora de decidir la representació de les persones en aquests casos?
• Quins principis haurien de guiar la IA quan tracti temes que impliquen tant drets humans com diferències culturals o legals locals, com ara els drets LGBTQ i els drets de les dones? Haurien de canviar les respostes de la IA segons el lloc o la cultura on s’utilitza?
• Quines categories de contingut, si n’hi ha, creieu que els creadors de models d’IA haurien de centrar-se a limitar o denegar? Quins criteris s’haurien d’utilitzar per determinar aquestes restriccions?

L’objectiu principal d’aquesta subvenció és fomentar la innovació en els processos: necessitem millors mètodes democràtics per governar el comportament de la IA. Les respostes específiques a les preguntes importen menys que els avenços aconseguits en el procés mateix.

• Colin Megill, cofundador de pol.is⁠(s'obre en una finestra nova)
• Hélène Landemore, professora de ciència política a Yale⁠(s'obre en una finestra nova)
• Aviv Ovadya, Berkman Klein Center⁠(s'obre en una finestra nova)

• Avaluació: animem els participants a establir mètriques per avaluar la qualitat dels seus mètodes, com ara la satisfacció dels participants, els canvis en la polarització, l’escalabilitat o altres indicadors rellevants, i a inventar noves mètriques per a un procés democràtic saludable. 
• Robustesa: mesures per prevenir o abordar comportaments inadequats, com ara el trolling i els comptes falsos.
• Inclusivitat i representativitat: estratègies per incloure persones de diversos orígens i amb diferents nivells de familiaritat amb els sistemes d’IA en el procés democràtic.
• Empoderament de les opinions minoritàries: garantir que s’escoltin les opinions impopulars o minoritàries i oferir als grups més petits l’oportunitat d’influir en qüestions que els afecten de manera significativa.
• Moderació efectiva: abordar els reptes de la moderació, incloent-hi garantir una representació diversa de punts de vista, distingir les contribucions valuoses dels comentaris «fora de tema» i evitar que els biaixos dels moderadors influeixin en el procés.
• Escalabilitat: posem èmfasi en processos escalables que es puguin dur a terme virtualment, en lloc de fer-ho de manera presencial. Som conscients que aquest enfocament pot sacrificar alguns beneficis associats a les discussions en persona, i reconeixem que es poden perdre certs aspectes en un entorn virtual.
• Aplicabilitat: el grau d’aplicabilitat de la informació obtinguda pel procés deliberatiu.
• Claredat: com de fàcil és entendre i confiar en el procés.