Red de red teaming de OpenAI

Anunciamos una convocatoria abierta para la red de red teaming de OpenAI e invitamos a especialistas de distintas áreas interesados en mejorar la seguridad de los modelos de OpenAI a sumarse a nuestros esfuerzos. Buscamos especialistas de diversas áreas que colaboren con nosotros para evaluar rigurosamente nuestros modelos de IA y someterlos a pruebas de red teaming.

El red teaming^A es una parte integral de nuestro proceso de implementación iterativa⁠. En los últimos años, nuestros esfuerzos de red teaming pasaron de centrarse en pruebas adversariales internas en OpenAI a incluir la colaboración con un grupo de especialistas externos^B para ayudar a desarrollar taxonomías de riesgo específicas de cada área y evaluar capacidades potencialmente dañinas en nuevos sistemas. Puedes leer más sobre nuestros esfuerzos anteriores de red teaming, incluido nuestro trabajo con especialistas externos, en modelos como DALL·E 2⁠(se abre en una nueva ventana) y GPT‑4⁠(se abre en una nueva ventana).^C

Hoy ponemos en marcha una iniciativa más formal para aprovechar esas bases y profundizar y ampliar nuestra colaboración con especialistas externos, con el fin de hacer que nuestros modelos sean más seguros. Trabajar con especialistas independientes, instituciones de investigación y organizaciones de la sociedad civil es una parte importante de nuestro proceso. Consideramos que este trabajo complementa las prácticas de gobernanza establecidas por entidades externas, como las auditorías de terceros.

La red de red teaming de OpenAI es una comunidad de especialistas confiables y experimentados que pueden orientar de forma más amplia nuestros esfuerzos de evaluación y mitigación de riesgos, en lugar de recurrir a colaboraciones puntuales y procesos de selección antes de las principales implementaciones de modelos. Se convocará a los miembros de la red según su especialidad para que ayuden a realizar pruebas de red teaming en distintas etapas del ciclo de desarrollo de modelos y productos. No todos los miembros participarán en cada modelo o producto nuevo. El tiempo de dedicación se acordará con cada persona y podría ser de tan solo 5 a 10 horas al año.

Además de las campañas de red teaming encargadas por OpenAI, los miembros tendrán la oportunidad de intercambiar experiencias sobre prácticas y hallazgos generales de red teaming. El objetivo es recibir aportes más diversos y continuos, y hacer del red teaming un proceso más iterativo. Esta red complementa otras oportunidades de colaboración en seguridad de la IA, como nuestro Programa de acceso para investigadores⁠ y las evaluaciones de código abierto⁠(se abre en una nueva ventana).

Esta red ofrece una oportunidad única para orientar el desarrollo de tecnologías y políticas de IA más seguras, así como el impacto que la IA puede tener en nuestra forma de vivir, trabajar y relacionarnos. Al unirte a esta red, formarás parte de nuestro grupo de especialistas, a quienes podremos recurrir para evaluar nuestros modelos y sistemas en distintas etapas de su implementación.

Evaluar los sistemas de IA requiere comprender una amplia variedad de áreas, perspectivas diversas y experiencias de vida. Invitamos a especialistas de todo el mundo a postularse y priorizamos tanto la diversidad geográfica como la de áreas de especialización en nuestro proceso de selección. 

Estas son algunas de las áreas que nos interesan, aunque no son las únicas:

No se requiere experiencia previa con sistemas de IA o modelos de lenguaje, pero puede ser útil. Lo que más valoramos es tu disposición a participar y aportar tu perspectiva a la forma en que evaluamos los impactos de los sistemas de IA.

Todos los miembros de la red de red teaming de OpenAI recibirán una compensación por sus contribuciones cuando participen en un proyecto de red teaming. Si bien pertenecer a esta red no te impedirá publicar tus investigaciones ni buscar otras oportunidades, debes tener en cuenta que la participación en proyectos de red teaming y otros proyectos suele estar sujeta a acuerdos de confidencialidad (NDA) o debe mantenerse en reserva por tiempo indefinido.

El plazo de postulación ya cerró.

P: ¿qué implica unirse a la red?

R: ser parte de la red significa que podríamos contactarte para ofrecerte oportunidades de probar un modelo nuevo o un área de interés en un modelo ya implementado. El trabajo realizado como parte de la red está sujeto a un acuerdo de confidencialidad (NDA), aunque a lo largo del tiempo hemos publicado muchos de nuestros hallazgos de red teaming en fichas de sistema y publicaciones de blog. Recibirás una compensación por el tiempo dedicado a los proyectos de red teaming.

P: ¿cuánto tiempo se espera que dedique como miembro de la red? 

R: el tiempo que decidas dedicar puede ajustarse según tu disponibilidad. Ten en cuenta que no se contactará a todos los miembros de la red para cada oportunidad. OpenAI seleccionará a quienes mejor se ajusten a cada proyecto de red teaming y dará prioridad a nuevas perspectivas en las campañas posteriores. Incluso tan solo 5 horas al año serían valiosas para nosotros, así que no dudes en postularte si te interesa, aunque tengas poco tiempo.

P: ¿cuándo se notificará a quienes sean aceptados?

R: OpenAI seleccionará a los miembros de la red de forma continua y puedes postularte hasta el 1 de diciembre de 2023. Una vez cerrado este período de postulación, volveremos a evaluar la posibilidad de abrir nuevas convocatorias.

P: ¿ser parte de la red significa que me pedirán hacer pruebas de red teaming en cada modelo nuevo?

R: no, OpenAI seleccionará a quienes mejor se ajusten a cada proyecto de red teaming, por lo que no debes esperar probar todos los modelos nuevos.

P: ¿qué criterios se buscan en los miembros de la red?

R: estos son algunos de los criterios que buscamos:

• Conocimientos o experiencia demostrados en un área relevante para el red teaming

• Pasión por mejorar la seguridad de la IA

• Ausencia de conflictos de interés

• Diversidad de trayectorias y representación de grupos tradicionalmente subrepresentados

• Representación geográfica diversa 

• Dominio de más de un idioma

• Habilidades técnicas (no obligatorias)

P: ¿qué otras oportunidades hay para colaborar en materia de seguridad?

R: además de unirte a la red, hay otras oportunidades de colaboración para contribuir a la seguridad de la IA. Por ejemplo, una opción es crear o realizar evaluaciones de seguridad de sistemas de IA y analizar los resultados.

El repositorio de código abierto Evals⁠(se abre en una nueva ventana) de OpenAI (publicado como parte del lanzamiento de GPT‑4⁠) ofrece plantillas fáciles de usar y ejemplos de métodos para poner en marcha este proceso.

Las evaluaciones pueden ir desde pruebas sencillas de preguntas y respuestas hasta simulaciones más complejas. Como ejemplos concretos, estas son algunas evaluaciones desarrolladas por OpenAI para analizar el comportamiento de la IA desde distintos ángulos:

Persuasión

• MakeMeSay⁠(se abre en una nueva ventana): ¿qué tan bien puede un sistema de IA engañar a otro para que diga una palabra secreta?

• MakeMePay⁠(se abre en una nueva ventana): ¿qué tan bien puede un sistema de IA convencer a otro de donar dinero?

• Propuesta de votación⁠(se abre en una nueva ventana): ¿qué tan bien puede un sistema de IA influir en el apoyo que otro sistema de IA brinda a una propuesta política?

Esteganografía (mensajes ocultos)

• Esteganografía⁠(se abre en una nueva ventana): ¿qué tan bien puede un sistema de IA transmitir mensajes secretos sin que otro sistema de IA lo detecte?

• Compresión de texto⁠(se abre en una nueva ventana): ¿qué tan bien puede un sistema de IA comprimir y descomprimir mensajes para permitir que se oculten mensajes secretos?

• Punto de Schelling⁠(se abre en una nueva ventana): ¿qué tan bien puede un sistema de IA coordinarse con otro sin comunicación directa?

Fomentamos la creatividad y la experimentación al evaluar los sistemas de IA. Una vez que completes tu evaluación, te invitamos a compartirla en el repositorio de código abierto Evals⁠(se abre en una nueva ventana) para que toda la comunidad de IA pueda usarla.

También puedes postularte a nuestro Programa de acceso para investigadores⁠, que ofrece créditos para apoyar a quienes usan nuestros productos para investigar áreas relacionadas con la implementación responsable de la IA y la mitigación de los riesgos asociados.