Red de red teaming de OpenAI

Abrimos una convocatoria para la red de red teaming de OpenAI e invitamos a expertos de distintos ámbitos interesados en mejorar la seguridad de los modelos de OpenAI a sumarse a nuestros esfuerzos. Buscamos expertos de distintos ámbitos que colaboren con nosotros en la evaluación rigurosa de nuestros modelos de IA y en las pruebas de red teaming.

El red teaming^A es una parte esencial de nuestro proceso de despliegue iterativo⁠. En los últimos años, nuestras iniciativas de red teaming han pasado de centrarse en pruebas adversariales internas en OpenAI a incluir la colaboración con un grupo de expertos externos^B para ayudar a desarrollar taxonomías de riesgos específicas de cada ámbito y evaluar capacidades potencialmente dañinas en nuevos sistemas. Puedes consultar más información sobre nuestras iniciativas anteriores de red teaming, incluida nuestra colaboración con expertos externos, en modelos como DALL·E 2⁠(se abre en una ventana nueva) y GPT‑4⁠(se abre en una ventana nueva).^C

Hoy ponemos en marcha una iniciativa más estructurada para seguir avanzando sobre estas bases y ampliar y profundizar nuestras colaboraciones con expertos externos, con el fin de hacer que nuestros modelos sean más seguros. La colaboración con expertos a título individual, instituciones de investigación y organizaciones de la sociedad civil es una parte importante de nuestro proceso. Consideramos que este trabajo complementa las prácticas de gobernanza definidas externamente, como las auditorías de terceros.

La red de red teaming de OpenAI es una comunidad de expertos de confianza y con experiencia que pueden orientar de forma más amplia nuestras iniciativas de evaluación y mitigación de riesgos, en lugar de limitarse a colaboraciones puntuales y procesos de selección previos a los principales despliegues de modelos. Recurriremos a los miembros de la red en función de su especialidad para que colaboren en las pruebas de red teaming en distintas etapas del ciclo de desarrollo de modelos y productos. No todos los miembros participarán en cada nuevo modelo o producto, y el tiempo de dedicación se acordará con cada persona: podría ser de tan solo 5–10 horas al año.

Además de las campañas de red teaming encargadas por OpenAI, los miembros tendrán la oportunidad de intercambiar prácticas y hallazgos generales sobre red teaming. El objetivo es propiciar aportaciones más diversas y continuas, y convertir el red teaming en un proceso más iterativo. Esta red complementa otras oportunidades de colaboración en materia de seguridad de la IA, como nuestro Programa de acceso para investigadores⁠ y las evaluaciones de código abierto⁠(se abre en una ventana nueva).

Esta red ofrece una oportunidad única para orientar el desarrollo de tecnologías y políticas de IA más seguras, así como el impacto que la IA puede tener en nuestra forma de vivir, trabajar y relacionarnos. Al unirte a esta red, formarás parte de nuestro grupo de especialistas a los que podemos recurrir para evaluar nuestros modelos y sistemas en distintas fases de su despliegue.

Evaluar los sistemas de IA requiere comprender una amplia variedad de ámbitos, perspectivas diversas y experiencias vitales. Invitamos a expertos de todo el mundo a presentar su solicitud y priorizamos tanto la diversidad geográfica como la de especialidades en nuestro proceso de selección. 

Estos son algunos de los ámbitos que nos interesan, aunque no son los únicos:

No es necesario tener experiencia previa con sistemas de IA o modelos de lenguaje, aunque puede resultar útil. Lo que más valoramos es tu disposición a participar y aportar tu perspectiva a nuestra forma de evaluar el impacto de los sistemas de IA.

Todos los miembros de la red de red teaming de OpenAI recibirán una remuneración por sus aportaciones cuando participen en un proyecto de red teaming. Aunque formar parte de esta red no te impedirá publicar tus investigaciones ni aprovechar otras oportunidades, debes tener en cuenta que la participación en proyectos de red teaming y de otro tipo suele estar sujeta a acuerdos de confidencialidad (NDA) o mantenerse en secreto por tiempo indefinido.

El plazo de solicitud ha finalizado.

P: ¿qué implica unirse a la red?

R: formar parte de la red significa que podemos contactar contigo para ofrecerte la oportunidad de probar un nuevo modelo o evaluar un área de interés en un modelo que ya esté desplegado. El trabajo realizado en el marco de la red está sujeto a un acuerdo de confidencialidad (NDA), aunque hasta ahora hemos publicado muchos de los hallazgos de nuestras pruebas de red teaming en fichas de sistema y artículos del blog. Recibirás una remuneración por el tiempo que dediques a los proyectos de red teaming.

P: ¿cuánto tiempo se espera que dedique como miembro de la red? 

R: puedes ajustar el tiempo que decidas dedicar según tu disponibilidad. Ten en cuenta que no contactaremos con todos los miembros de la red para cada oportunidad. OpenAI seleccionará a quienes mejor encajen en cada proyecto de red teaming y dará prioridad a nuevas perspectivas en las siguientes campañas. Incluso 5 horas al año nos resultarían valiosas, así que no dudes en presentar tu solicitud si te interesa, aunque dispongas de poco tiempo.

P: ¿cuándo se notificará a los solicitantes si han sido aceptados?

R: OpenAI seleccionará a los miembros de la red de forma continua y puedes presentar tu solicitud hasta el 1 de diciembre de 2023. Una vez finalizado este plazo, valoraremos la posibilidad de abrir nuevas convocatorias.

P: ¿formar parte de la red significa que me pedirán que realice pruebas de red teaming en cada nuevo modelo?

R: no, OpenAI seleccionará a quienes mejor encajen en cada proyecto de red teaming, por lo que no debes contar con probar todos los modelos nuevos.

P: ¿qué criterios se buscan en los miembros de la red?

R: algunos de los criterios que valoramos son:

• Conocimientos o experiencia demostrables en un ámbito relevante para el red teaming

• Pasión por mejorar la seguridad de la IA

• Ausencia de conflictos de intereses

• Diversidad de perfiles y presencia de grupos tradicionalmente infrarrepresentados

• Diversidad geográfica 

• Dominio de más de un idioma

• Competencias técnicas (no imprescindibles)

P: ¿qué otras oportunidades hay para colaborar en materia de seguridad?

R: además de unirte a la red, existen otras oportunidades de colaboración para contribuir a la seguridad de la IA. Por ejemplo, una opción es diseñar o realizar evaluaciones de seguridad de sistemas de IA y analizar los resultados.

El repositorio de código abierto Evals⁠(se abre en una ventana nueva) de OpenAI (publicado como parte del lanzamiento de GPT‑4⁠) ofrece plantillas fáciles de usar y ejemplos de métodos para dar los primeros pasos en este proceso.

Las evaluaciones pueden ir desde simples pruebas de preguntas y respuestas hasta simulaciones más complejas. Estos son algunos ejemplos concretos de evaluaciones desarrolladas por OpenAI para analizar el comportamiento de la IA desde distintas perspectivas:

Persuasión

• MakeMeSay⁠(se abre en una ventana nueva): ¿hasta qué punto puede un sistema de IA engañar a otro para que diga una palabra secreta?

• MakeMePay⁠(se abre en una ventana nueva): ¿hasta qué punto puede un sistema de IA convencer a otro para que done dinero?

• Propuesta de votación⁠(se abre en una ventana nueva): ¿hasta qué punto puede un sistema de IA influir en el apoyo de otro a una propuesta política?

Esteganografía (mensajes ocultos)

• Esteganografía⁠(se abre en una ventana nueva): ¿hasta qué punto puede un sistema de IA transmitir mensajes secretos sin que otro lo detecte?

• Compresión de texto⁠(se abre en una ventana nueva): ¿hasta qué punto puede un sistema de IA comprimir y descomprimir mensajes para permitir la ocultación de mensajes secretos?

• Punto de Schelling⁠(se abre en una ventana nueva): ¿hasta qué punto puede un sistema de IA coordinarse con otro sin comunicación directa?

Fomentamos la creatividad y la experimentación a la hora de evaluar sistemas de IA. Una vez que hayas completado tu evaluación, te invitamos a aportarla al repositorio de código abierto Evals⁠(se abre en una ventana nueva) para que toda la comunidad de IA pueda utilizarla.

También puedes solicitar participar en nuestro Programa de acceso para investigadores⁠, que ofrece Créditos para apoyar a quienes utilizan nuestros productos para investigar áreas relacionadas con el despliegue responsable de la IA y la mitigación de los riesgos asociados.