Réseau d’équipes rouges d’OpenAI

Nous lançons un appel à candidatures pour le réseau d’équipes rouges d’OpenAI et invitons les experts de divers domaines qui souhaitent améliorer la sécurité des modèles d’OpenAI à se joindre à nos efforts. Nous recherchons des experts de divers domaines pour collaborer avec nous à l’évaluation rigoureuse de nos modèles d’IA et à leur mise à l’épreuve en équipe rouge.

Les tests en équipe rouge^A font partie intégrante de notre processus de déploiement itératif⁠. Au cours des dernières années, nos activités d’équipe rouge, initialement axées sur des tests adversariaux internes chez OpenAI, se sont élargies à une collaboration avec un groupe d’experts externes^B pour aider à élaborer des taxonomies des risques propres à chaque domaine et à évaluer les capacités potentiellement dangereuses des nouveaux systèmes. Vous pouvez en apprendre davantage sur nos précédentes activités d’équipe rouge, y compris nos travaux avec des experts externes, portant sur des modèles comme DALL·E 2⁠(s'ouvre dans une nouvelle fenêtre) et GPT‑4⁠(s'ouvre dans une nouvelle fenêtre).^C

Aujourd’hui, nous lançons une démarche plus structurée pour nous appuyer sur ces acquis et approfondir et élargir nos collaborations avec des experts externes afin de rendre nos modèles plus sûrs. La collaboration avec des experts individuels, des établissements de recherche et des organisations de la société civile est un élément important de notre processus. Nous considérons ce travail comme un complément aux pratiques de gouvernance définies à l’externe, comme les audits réalisés par des tiers.

Le réseau d’équipes rouges d’OpenAI est une communauté d’experts expérimentés et de confiance qui peut éclairer plus largement nos efforts d’évaluation et d’atténuation des risques, plutôt que de recourir à des collaborations ponctuelles et à des processus de sélection avant les déploiements majeurs de modèles. Les membres du réseau seront sollicités selon leur expertise pour contribuer aux tests en équipe rouge à différentes étapes du cycle de développement des modèles et des produits. Tous les membres ne participeront pas à chaque nouveau modèle ou produit. Le temps consacré sera déterminé avec chaque membre et pourrait se limiter à 5 à 10 heures par année.

En dehors des campagnes d’équipe rouge commandées par OpenAI, les membres auront l’occasion d’échanger entre eux sur les pratiques et les résultats généraux des activités d’équipe rouge. L’objectif est de favoriser des contributions plus diversifiées et continues, et de rendre les activités d’équipe rouge plus itératives. Ce réseau complète d’autres possibilités de collaboration en matière de sécurité de l’IA, notamment notre programme d’accès pour les chercheurs⁠ et nos évaluations à code source ouvert⁠(s'ouvre dans une nouvelle fenêtre).

Ce réseau offre une occasion unique de façonner le développement de technologies et de politiques d’IA plus sûres, ainsi que l’impact que l’IA peut avoir sur notre façon de vivre, de travailler et d’interagir. En rejoignant ce réseau, vous ferez partie de notre groupe d’experts de domaine qui pourront être sollicités pour évaluer nos modèles et nos systèmes à plusieurs étapes de leur déploiement.

L’évaluation des systèmes d’IA exige une compréhension d’une grande variété de domaines, de perspectives diverses et d’expériences vécues. Nous invitons les experts du monde entier à poser leur candidature et accordons la priorité à la diversité géographique et des domaines d’expertise dans notre processus de sélection. 

Voici quelques-uns des domaines qui nous intéressent, sans toutefois nous y limiter :

Une expérience préalable des systèmes d’IA ou des modèles de langage n’est pas requise, mais peut être utile. Ce qui compte le plus pour nous, c’est votre volonté de participer et d’apporter votre perspective à notre façon d’évaluer les impacts des systèmes d’IA.

Tous les membres du réseau d’équipes rouges d’OpenAI seront rémunérés pour leurs contributions lorsqu’ils participeront à un projet d’équipe rouge. Bien que votre appartenance à ce réseau ne vous empêche pas de publier vos recherches ou de saisir d’autres occasions, vous devez tenir compte du fait que toute participation à des projets d’équipe rouge ou à d’autres projets est souvent soumise à des ententes de non-divulgation ou demeure confidentielle pour une durée indéterminée.

La période de candidature est maintenant terminée.

Q : Qu’implique l’adhésion au réseau?

R : En tant que membre du réseau, vous pourriez être contacté pour tester un nouveau modèle ou explorer un domaine d’intérêt avec un modèle déjà déployé. Les travaux réalisés dans le cadre du réseau sont soumis à une entente de non-divulgation, bien que nous ayons déjà publié de nombreux résultats de nos tests en équipe rouge dans des fiches système et des billets de blogue. Vous serez rémunéré pour le temps consacré aux projets d’équipe rouge.

Q : Quel est l’engagement en temps attendu des membres du réseau? 

R : Le temps que vous décidez d’y consacrer peut être adapté à votre horaire. Veuillez noter que tous les membres du réseau ne seront pas contactés pour chaque occasion. OpenAI sélectionnera les personnes dont le profil convient à chaque projet d’équipe rouge et privilégiera de nouvelles perspectives lors des campagnes d’équipe rouge suivantes. Même une contribution de seulement 5 heures par année nous serait précieuse. N’hésitez donc pas à poser votre candidature si cela vous intéresse, même si votre temps est limité.

Q : Quand les candidats seront-ils informés de leur acceptation?

R : OpenAI sélectionnera les membres du réseau au fur et à mesure, et vous pouvez poser votre candidature jusqu’au 1er décembre 2023. Après cette période de candidature, nous réévaluerons la possibilité d’ouvrir de nouvelles périodes de candidature.

Q : En faisant partie du réseau, serai-je invité à tester chaque nouveau modèle en équipe rouge?

R : Non, OpenAI sélectionnera les personnes dont le profil convient à chaque projet d’équipe rouge. Vous ne devez donc pas vous attendre à tester chaque nouveau modèle.

Q : Quels sont certains des critères recherchés chez les membres du réseau?

R : Voici certains des critères que nous recherchons :

• Expertise ou expérience démontrée dans un domaine pertinent pour les activités d’équipe rouge

• Passion pour l’amélioration de la sécurité de l’IA

• Absence de conflits d’intérêts

• Parcours variés et appartenance à des groupes traditionnellement sous-représentés

• Représentation géographique diversifiée 

• Maîtrise de plus d’une langue

• Compétences techniques (non requises)

Q : Quelles sont les autres possibilités de collaboration en matière de sécurité?

R : En plus de rejoindre le réseau, il existe d’autres possibilités de collaboration pour contribuer à la sécurité de l’IA. Par exemple, vous pouvez concevoir ou réaliser des évaluations de sécurité des systèmes d’IA et en analyser les résultats.

Le dépôt à code source ouvert Evals⁠(s'ouvre dans une nouvelle fenêtre) d’OpenAI (publié lors du lancement de GPT‑4⁠) propose des gabarits faciles à utiliser et des exemples de méthodes pour amorcer ce processus.

Les évaluations peuvent aller de simples tests de questions-réponses à des simulations plus complexes. À titre d’exemples concrets, voici des évaluations conçues par OpenAI pour examiner les comportements de l’IA sous plusieurs angles :

Persuasion

• MakeMeSay⁠(s'ouvre dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il amener un autre système d’IA à dire un mot secret par la ruse?

• MakeMePay⁠(s'ouvre dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il convaincre un autre système d’IA de faire un don d’argent?

• Proposition soumise au vote⁠(s'ouvre dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il influencer le soutien d’un autre système d’IA à une proposition politique?

Stéganographie (messages cachés)

• Stéganographie⁠(s'ouvre dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il transmettre des messages secrets sans être détecté par un autre système d’IA?

• Compression de texte⁠(s'ouvre dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il compresser et décompresser des messages pour permettre de dissimuler des messages secrets?

• Point de Schelling⁠(s'ouvre dans une nouvelle fenêtre) : Dans quelle mesure un système d’IA peut-il se coordonner avec un autre système d’IA sans communication directe?

Nous encourageons la créativité et l’expérimentation dans l’évaluation des systèmes d’IA. Une fois votre évaluation terminée, nous vous invitons à l’ajouter au dépôt à code source ouvert Evals⁠(s'ouvre dans une nouvelle fenêtre) pour que l’ensemble de la communauté de l’IA puisse l’utiliser.

Vous pouvez aussi poser votre candidature à notre programme d’accès pour les chercheurs⁠, qui offre des crédits pour soutenir les chercheurs utilisant nos produits afin d’étudier des domaines liés au déploiement responsable de l’IA et à l’atténuation des risques associés.