Xarxa d'equip vermell d'OpenAI

Obrim una convocatòria per formar part de la xarxa d'equip vermell d'OpenAI i convidem especialistes de diversos àmbits interessats a millorar la seguretat dels models d'OpenAI a sumar-se als nostres esforços. Busquem especialistes de diversos àmbits per col·laborar amb nosaltres en l'avaluació rigorosa dels nostres models d'IA i en les proves d'equip vermell.

Les proves d'equip vermell^A són una part integral del nostre procés de desplegament iteratiu⁠. Els darrers anys, les nostres tasques d'equip vermell han passat de centrar-se en proves adversàries internes a OpenAI a incloure la col·laboració amb un grup d'especialistes externs^B, que ens ajuden a desenvolupar taxonomies de riscos específiques per a cada àmbit i a avaluar capacitats potencialment perjudicials en sistemes nous. Pots llegir més sobre les nostres tasques anteriors d'equip vermell, inclosa la col·laboració amb especialistes externs, en models com DALL·E 2⁠(s'obre en una finestra nova) i GPT‑4⁠(s'obre en una finestra nova).^C

Avui posem en marxa una iniciativa més formal per consolidar aquesta base i aprofundir i ampliar la col·laboració amb especialistes externs, amb l'objectiu de fer que els nostres models siguin més segurs. Col·laborar amb especialistes a títol individual, institucions de recerca i organitzacions de la societat civil és una part important del nostre procés. Entenem aquesta feina com un complement de les pràctiques de governança definides externament, com ara les auditories de tercers.

La xarxa d'equip vermell d'OpenAI és una comunitat d'especialistes de confiança i amb experiència que pot aportar coneixements a les nostres tasques d'avaluació i mitigació de riscos d'una manera més àmplia, en lloc de limitar-se a col·laboracions puntuals i processos de selecció previs als grans desplegaments de models. Recorrerem als membres de la xarxa segons la seva especialització perquè ajudin a fer proves d'equip vermell en diverses etapes del cicle de desenvolupament dels models i productes. No tots els membres participaran en cada model o producte nou. La dedicació s'acordarà amb cadascun d'ells i podria ser de només entre 5 i 10 hores l'any.

Més enllà de les campanyes d'equip vermell encarregades per OpenAI, els membres tindran l'oportunitat d'intercanviar pràctiques i conclusions generals sobre les tasques d'equip vermell. L'objectiu és facilitar aportacions més diverses i continuades, i fer que les tasques d'equip vermell esdevinguin un procés més iteratiu. Aquesta xarxa complementa altres oportunitats de col·laboració en la seguretat de la IA, com ara el nostre programa d'accés per a investigadors⁠ i les avaluacions de codi obert⁠(s'obre en una finestra nova).

Aquesta xarxa ofereix una oportunitat única d'influir en el desenvolupament de tecnologies i polítiques d'IA més segures, així com en l'impacte que la IA pot tenir en la nostra manera de viure, treballar i relacionar-nos. Si t'uneixes a aquesta xarxa, formaràs part del nostre grup d'especialistes, a qui podem recórrer per avaluar els nostres models i sistemes en diverses etapes del desplegament.

Avaluar els sistemes d'IA requereix comprendre una gran varietat d'àmbits, perspectives diverses i experiències viscudes. Convidem especialistes d'arreu del món a presentar la seva sol·licitud i, en el procés de selecció, prioritzem tant la diversitat geogràfica com la d'àmbits d'especialització. 

Alguns dels àmbits que ens interessen són els següents, entre d'altres:

No cal tenir experiència prèvia amb sistemes d'IA o models de llenguatge, però pot ser útil. El que més valorem és la teva disposició a participar i aportar el teu punt de vista sobre com avaluem els impactes dels sistemes d'IA.

Tots els membres de la xarxa d'equip vermell d'OpenAI rebran una remuneració per les seves contribucions quan participin en un projecte d'equip vermell. Tot i que formar part d'aquesta xarxa no t'impedirà publicar la teva recerca ni explorar altres oportunitats, has de tenir en compte que la participació en projectes d'equip vermell i d'altres tipus sovint està subjecta a acords de confidencialitat (NDA) o ha de mantenir-se confidencial durant un període indefinit.

El termini de presentació de sol·licituds ja s'ha tancat.

P: Què implica unir-se a la xarxa?

R: Formar part de la xarxa vol dir que podem contactar amb tu per oferir-te l'oportunitat de provar un model nou o de fer proves en una àrea d'interès d'un model ja desplegat. La feina feta en el marc de la xarxa està subjecta a un acord de confidencialitat (NDA), tot i que fins ara hem publicat moltes de les conclusions de les proves d'equip vermell en fitxes del sistema i articles al blog. Rebràs una remuneració pel temps dedicat als projectes d'equip vermell.

P: Quina dedicació de temps s'espera dels membres de la xarxa? 

R: Pots ajustar el temps que decideixis dedicar-hi segons la teva disponibilitat. Tingues en compte que no es contactarà amb tots els membres de la xarxa per a cada oportunitat. OpenAI seleccionarà les persones més adequades per a cada projecte d'equip vermell i donarà prioritat a noves perspectives en les campanyes posteriors. Fins i tot una dedicació de només 5 hores l'any ens seria valuosa, així que no dubtis a presentar la sol·licitud si t'interessa però disposes de poc temps.

P: Quan es notificarà l'acceptació de les candidatures?

R: OpenAI seleccionarà els membres de la xarxa de manera continuada i pots presentar la sol·licitud fins a l'1 de desembre de 2023. Un cop finalitzat aquest termini, valorarem si obrim noves convocatòries.

P: Formar part de la xarxa vol dir que em demanareu que faci proves d'equip vermell de cada model nou?

R: No. OpenAI seleccionarà les persones més adequades per a cada projecte d'equip vermell, i no has d'esperar provar tots els models nous.

P: Quins criteris teniu en compte a l'hora de seleccionar membres de la xarxa?

R: Alguns dels criteris que tenim en compte són:

• Coneixements especialitzats o experiència demostrada en un àmbit rellevant per a les tasques d'equip vermell

• Passió per millorar la seguretat de la IA

• Absència de conflictes d'interessos

• Diversitat de perfils i presència de grups tradicionalment infrarepresentats

• Diversitat geogràfica 

• Domini de més d'una llengua

• Competències tècniques (no obligatòries)

P: Quines altres oportunitats hi ha per col·laborar en la seguretat de la IA?

R: A més d'unir-te a la xarxa, hi ha altres oportunitats de col·laboració per contribuir a la seguretat de la IA. Per exemple, una opció és dissenyar o dur a terme avaluacions de seguretat de sistemes d'IA i analitzar-ne els resultats.

El repositori de codi obert Evals⁠(s'obre en una finestra nova) d'OpenAI (publicat amb el llançament de GPT‑4⁠) ofereix plantilles fàcils d'utilitzar i exemples de mètodes per posar en marxa aquest procés.

Les avaluacions poden anar des de proves senzilles de preguntes i respostes fins a simulacions més complexes. Aquests són alguns exemples concrets d'avaluacions desenvolupades per OpenAI per analitzar el comportament de la IA des de diversos angles:

Persuasió

• MakeMeSay⁠(s'obre en una finestra nova): Fins a quin punt un sistema d'IA pot enganyar un altre sistema d'IA perquè digui una paraula secreta?

• MakeMePay⁠(s'obre en una finestra nova): Fins a quin punt un sistema d'IA pot convèncer un altre sistema d'IA perquè faci una donació de diners?

• Proposta de votació⁠(s'obre en una finestra nova): Fins a quin punt un sistema d'IA pot influir en el suport d'un altre sistema d'IA a una proposta política?

Esteganografia (missatges ocults)

• Esteganografia⁠(s'obre en una finestra nova): Fins a quin punt un sistema d'IA pot transmetre missatges secrets sense que un altre sistema d'IA ho detecti?

• Compressió de text⁠(s'obre en una finestra nova): Fins a quin punt un sistema d'IA pot comprimir i descomprimir missatges per poder-hi amagar missatges secrets?

• Punt de Schelling⁠(s'obre en una finestra nova): Fins a quin punt un sistema d'IA pot coordinar-se amb un altre sistema d'IA sense comunicació directa?

Fomentem la creativitat i l'experimentació en l'avaluació dels sistemes d'IA. Un cop hagis completat l'avaluació, et convidem a compartir-la al repositori de codi obert Evals⁠(s'obre en una finestra nova) perquè tota la comunitat d'IA la pugui utilitzar.

També pots sol·licitar l'accés al nostre programa d'accés per a investigadors⁠, que ofereix crèdits per donar suport als investigadors que utilitzen els nostres productes per estudiar àrees relacionades amb el desplegament responsable de la IA i la mitigació dels riscos associats.