Réseau de red teaming d’OpenAI

Nous lançons un appel à candidatures pour le réseau de red teaming d’OpenAI et invitons les experts souhaitant améliorer la sécurité des modèles d’OpenAI à se joindre à nos efforts. Nous recherchons des experts de divers domaines pour collaborer avec nous à l’évaluation rigoureuse de nos modèles d’IA et à leur mise à l’épreuve par le red teaming.

Le red teaming^A fait partie intégrante de notre processus de déploiement itératif⁠. Ces dernières années, nos efforts de red teaming, initialement centrés sur des tests contradictoires internes à OpenAI, se sont étendus à une collaboration avec un groupe d’experts externes^B pour élaborer des taxonomies des risques propres à chaque domaine et évaluer les capacités potentiellement nuisibles des nouveaux systèmes. Vous pouvez en savoir plus sur nos précédents travaux de red teaming, notamment nos collaborations avec des experts externes, concernant des modèles tels que DALL·E 2⁠(ouverture dans une nouvelle fenêtre) et GPT‑4⁠(ouverture dans une nouvelle fenêtre).^C

Aujourd’hui, nous lançons une démarche plus structurée pour nous appuyer sur ces premières bases, approfondir et élargir nos collaborations avec des experts externes afin de rendre nos modèles plus sûrs. La collaboration avec des experts individuels, des établissements de recherche et des organisations de la société civile occupe une place importante dans notre démarche. Nous considérons ce travail comme un complément aux pratiques de gouvernance définies à l’extérieur, telles que les audits réalisés par des tiers.

Le réseau de red teaming d’OpenAI est une communauté d’experts de confiance et expérimentés qui peut éclairer plus largement nos efforts d’évaluation et d’atténuation des risques, au-delà des collaborations ponctuelles et des processus de sélection précédant les déploiements majeurs de modèles. Les membres du réseau seront sollicités selon leur expertise pour contribuer au red teaming à différentes étapes du cycle de développement des modèles et des produits. Tous les membres ne participeront pas à chaque nouveau modèle ou produit. Le temps consacré sera défini avec chacun et pourra se limiter à 5 à 10 heures par an.

En dehors des campagnes de red teaming commanditées par OpenAI, les membres pourront échanger entre eux sur les pratiques et les résultats du red teaming en général. L’objectif est de permettre des contributions plus diverses et continues, et de faire du red teaming un processus plus itératif. Ce réseau complète d’autres possibilités de collaboration en matière de sécurité de l’IA, notamment notre programme d’accès pour les chercheurs⁠ et nos évaluations open source⁠(ouverture dans une nouvelle fenêtre).

Ce réseau offre une occasion unique de façonner le développement de technologies et de politiques d’IA plus sûres, ainsi que l’influence de l’IA sur notre façon de vivre, de travailler et d’interagir. En rejoignant ce réseau, vous intégrerez notre vivier d’experts qui pourront être sollicités pour évaluer nos modèles et nos systèmes à différentes étapes de leur déploiement.

L’évaluation des systèmes d’IA nécessite une compréhension de domaines très variés, de points de vue divers et d’expériences vécues. Nous invitons les experts du monde entier à postuler et privilégions la diversité géographique ainsi que celle des domaines d’expertise dans notre processus de sélection. 

Voici quelques-uns des domaines qui nous intéressent, sans que cette liste soit exhaustive :

Une expérience préalable des systèmes d’IA ou des modèles de langage n’est pas requise, mais peut être utile. Ce qui compte le plus pour nous, c’est votre volonté de vous investir et d’apporter votre point de vue sur notre manière d’évaluer les effets des systèmes d’IA.

Tous les membres du réseau de red teaming d’OpenAI seront rémunérés pour leurs contributions lorsqu’ils participeront à un projet de red teaming. L’appartenance à ce réseau ne vous empêchera pas de publier vos recherches ni de saisir d’autres opportunités. Sachez toutefois que toute participation à des projets de red teaming ou à d’autres projets est souvent soumise à des accords de confidentialité (NDA) ou reste confidentielle pour une durée indéterminée.

Les candidatures sont désormais closes.

Q : Qu’implique l’adhésion au réseau ?

R : En tant que membre du réseau, vous pourrez être contacté pour tester un nouveau modèle ou explorer un domaine d’intérêt sur un modèle déjà déployé. Les travaux menés dans le cadre du réseau sont soumis à un accord de confidentialité (NDA), même si nous avons déjà publié nombre de nos résultats de red teaming dans des fiches système et des articles de blog. Vous serez rémunéré pour le temps consacré aux projets de red teaming.

Q : Combien de temps faut-il consacrer au réseau ? 

R : Le temps que vous décidez d’y consacrer peut être adapté à votre emploi du temps. Tous les membres du réseau ne seront pas sollicités pour chaque opportunité. OpenAI sélectionnera les profils les plus adaptés à chaque projet de red teaming et privilégiera de nouveaux points de vue lors des campagnes suivantes. Même 5 heures par an nous seraient précieuses. N’hésitez donc pas à postuler si vous êtes intéressé, même si votre temps est limité.

Q : Quand les candidats seront-ils informés de leur admission ?

R : OpenAI sélectionnera les membres du réseau au fil des candidatures, et vous pouvez postuler jusqu’au 1er décembre 2023. À l’issue de cette période, nous réévaluerons la possibilité d’ouvrir de nouvelles sessions de candidature.

Q : En tant que membre du réseau, serai-je sollicité pour le red teaming de chaque nouveau modèle ?

R : Non, OpenAI sélectionnera les profils les plus adaptés à chaque projet de red teaming. Vous ne devez donc pas vous attendre à tester chaque nouveau modèle.

Q : Quels critères recherchez-vous chez les membres du réseau ?

R : Voici quelques-uns de nos critères :

• Expertise ou expérience avérée dans un domaine pertinent pour le red teaming

• Passion pour l’amélioration de la sécurité de l’IA

• Absence de conflits d’intérêts

• Diversité des parcours et représentation de groupes traditionnellement sous-représentés

• Diversité géographique 

• Maîtrise de plusieurs langues

• Compétences techniques (facultatives)

Q : Quelles sont les autres possibilités de collaboration en matière de sécurité ?

R : Outre l’adhésion au réseau, il existe d’autres possibilités de collaboration pour contribuer à la sécurité de l’IA. Vous pouvez par exemple concevoir ou réaliser des évaluations de la sécurité des systèmes d’IA et en analyser les résultats.

Le dépôt open source Evals⁠(ouverture dans une nouvelle fenêtre) d’OpenAI (publié lors du lancement de GPT‑4⁠) propose des modèles faciles à utiliser et des exemples de méthodes pour amorcer cette démarche.

Les évaluations peuvent aller de simples tests de questions-réponses à des simulations plus complexes. Voici quelques exemples concrets d’évaluations développées par OpenAI pour étudier les comportements de l’IA sous différents angles :

Persuasion

• MakeMeSay⁠(ouverture dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il piéger un autre système d’IA pour lui faire dire un mot secret ?

• MakeMePay⁠(ouverture dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il convaincre un autre système d’IA de faire un don d’argent ?

• Proposition soumise au vote⁠(ouverture dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il influencer le soutien d’un autre système d’IA à une proposition politique ?

Stéganographie (messages cachés)

• Stéganographie⁠(ouverture dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il transmettre des messages secrets sans être détecté par un autre système d’IA ?

• Compression de texte⁠(ouverture dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il compresser et décompresser des messages pour permettre de dissimuler des messages secrets ?

• Point de Schelling⁠(ouverture dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il se coordonner avec un autre système d’IA sans communication directe ?

Nous encourageons la créativité et l’expérimentation dans l’évaluation des systèmes d’IA. Une fois votre évaluation terminée, nous vous invitons à la partager dans le dépôt open source Evals⁠(ouverture dans une nouvelle fenêtre) afin que l’ensemble de la communauté de l’IA puisse en bénéficier.

Vous pouvez également postuler à notre programme d’accès pour les chercheurs⁠, qui fournit des crédits aux chercheurs utilisant nos produits pour étudier des sujets liés au déploiement responsable de l’IA et à l’atténuation des risques associés.