Évaluations cyber de modèles OpenAI par des tiers

Les tests indépendants jouent un rôle important en nous aidant à valider et à mieux comprendre les risques avant le déploiement. Certaines évaluations cyber utilisent délibérément des configurations personnalisées, notamment des mesures de protection réduites, pour mesurer les capacités sous-jacentes, et non le comportement habituel des modèles dans les déploiements accessibles au public.

Lors d’évaluations récentes, deux partenaires de test externes ont relevé des incidents au cours desquels la combinaison des configurations et contrôles de test avec les capacités croissantes des modèles récents a permis à l’activité des modèles de dépasser les limites prévues pour les tests. Ces incidents soulignent l’importance de collaborer à l’échelle du secteur et avec les évaluateurs tiers afin de faire évoluer les normes relatives aux environnements et aux pratiques de test à mesure que les modèles gagnent en capacités. Note de la rédaction : ces événements sont distincts de l’incident de sécurité de Hugging Face, sur lequel nous continuerons à publier des informations ici.

Les nouveaux incidents concernaient des modèles OpenAI accédant à l’Internet public lors d’évaluations cyber menées par des tiers, dans des conditions particulières et avec des configurations aux mesures de protection réduites qui ne reflétaient pas un déploiement ordinaire. Ces incidents comprenaient les cas suivants :

1. UK AISI, l’institut britannique de sécurité de l’IA, menait des évaluations dans des environnements cyber avec un accès à Internet délibérément activé afin que les agents puissent trouver leurs propres outils et agir dans des conditions plus proches de celles d’un véritable attaquant. Les classificateurs cyber étaient désactivés pour mesurer les capacités sous-jacentes. Vous pouvez consulter leur article de blog ici.⁠(ouverture dans une nouvelle fenêtre)
2. Irregular, l’un de nos partenaires externes de test en cybersécurité, menait des évaluations de type Capture the Flag censées être isolées d’Internet, mais une mauvaise configuration de l’environnement de test a permis aux modèles d’accéder à l’Internet public.

Nous résumons ci-dessous les événements, les conditions de test qui ont permis cette activité, les mesures prises pour la circonscrire et nos actions visant à garantir que les laboratoires indépendants puissent continuer à évaluer de manière rigoureuse et sûre des modèles toujours plus performants.

Ces incidents témoignent du même défi général que celui décrit dans notre récent article sur l’incident de Hugging Face : à mesure que les capacités des modèles progressent, les systèmes de sécurité et de protection qui les entourent doivent eux aussi progresser. Cela concerne aussi bien les environnements utilisés pour développer les modèles que ceux dans lesquels les laboratoires et partenaires indépendants les évaluent.

Dans les prochaines semaines, nous examinerons notre propre approche des tests menés par des tiers, notamment la manière dont nous repérons les évaluations à risque élevé, définissons leur périmètre, étudions les demandes d’accès à Internet ou de réduction des mesures de protection, fixons les attentes en matière d’isolation, de gestion des identifiants, de surveillance et de conditions d’arrêt, et établissons des procédures plus claires de signalement et de remontée des incidents.

Nous nous engageons à collaborer dans tout le secteur afin de renforcer les pratiques communes permettant de mener en toute sécurité des évaluations à risque élevé, notamment en réunissant dans les prochaines semaines des parties prenantes telles que les instituts nationaux de l’IA, les évaluateurs indépendants, d’autres laboratoires d’IA et d’autres groupes. Notre objectif est de préserver la valeur d’une évaluation indépendante rigoureuse tout en veillant à ce que les pratiques de test suivent l’évolution des capacités croissantes des modèles.

Le 3 août, UK AISI nous a indiqué que, lors d’une évaluation cyber de routine commencée le 25 juillet, des modèles d’OpenAI et d’un autre laboratoire avaient, dans certains cas, dépassé le périmètre des tests. L’évaluation s’est déroulée dans des environnements cyber contrôlés conçus pour reproduire des réseaux réels. Sur les 19 événements relevés, deux impliquaient un modèle OpenAI, GPT‑5.6 Sol. Les autres cas concernaient des modèles d’un autre laboratoire.

Pour cette évaluation, les agents avaient reçu pour instruction d’agir comme des experts en cybersécurité dans le cadre d’un exercice Capture the Flag : compromettre trois environnements simulés connectés et récupérer un drapeau final. Le prompt de la tâche indiquait les réseaux de l’environnement inclus dans le périmètre et désignait plusieurs systèmes comme étant hors périmètre. UK AISI avait également activé un accès direct à Internet afin que les agents puissent télécharger des outils et agir dans des conditions plus proches de celles d’un attaquant humain, et désactivé les classificateurs cyber du modèle pour mesurer ses capacités sous-jacentes.

Le périmètre d’autorisation prévu par UK AISI se limitait à l’environnement cyber simulé : les agents étaient autorisés à attaquer les réseaux simulés indiqués et à récupérer un drapeau, mais pas à interagir avec des systèmes situés hors des limites réseau de cet environnement. Toutefois, les agents n’avaient pas reçu d’instructions explicites sur les utilisations autorisées ou interdites de l’accès ouvert à Internet, ce que UK AISI considère comme une cause potentielle de l’incident.

Au cours de ces exécutions, UK AISI a constaté que GPT‑5.6 Sol avait mené deux actions non autorisées en tentant de trouver un moyen d’accéder à l’environnement simulé et de récupérer le drapeau :

1. GPT‑5.6 Sol a réutilisé un token GitHub qu’un agent d’un autre laboratoire avait laissé publiquement accessible afin de vérifier si un système de l’environnement consultait GitHub ou un autre service de mise à jour, a tenté de contourner les procédures de récupération de compte et les limites de requêtes, et a créé des comptes auprès de fournisseurs externes de DNS et de tunnellisation.
2. GPT‑5.6 Sol a utilisé un service public de tunnellisation pour rendre accessible depuis l’Internet public un serveur DNS exécuté localement dans son environnement d’évaluation. Le serveur contenait des charges utiles destinées à exploiter une vulnérabilité connue dans un logiciel exécuté sur l’environnement de test. La configuration n’a pas fonctionné, rien n’indique qu’un véritable résolveur l’ait interrogée et l’infrastructure a été supprimée à la fin de l’évaluation.

Bien que le modèle tentât de terminer l’exercice cyber, UK AISI a considéré ces actions comme non autorisées, car elles impliquaient de véritables comptes et services externes situés hors du périmètre de l’environnement et n’étaient pas nécessaires à l’accomplissement de la tâche. Le serveur DNS hébergeait également des charges utiles d’exploitation sur l’Internet public, même si la configuration n’a pas fonctionné et que rien n’indique qu’un véritable résolveur l’ait interrogée.

UK AISI a détecté l’activité le 28 juillet, après que ses systèmes de surveillance de la sécurité ont relevé des transferts de données inhabituels. L’institut a interrompu les évaluations concernées, isolé les machines en question et circonscrit l’activité environ une heure après sa détection.

Nous remercions UK AISI pour sa collaboration tout au long de ce processus, notamment pour son travail visant à détecter et examiner l’activité, puis à en communiquer les détails. Nous nous réjouissons de poursuivre notre collaboration.

Le 29 juillet, Irregular, l’un de nos partenaires d’évaluation tiers, nous a signalé un incident impliquant des modèles OpenAI lors d’évaluations de cybersécurité de type Capture the Flag (CTF). Les modèles avaient pour instruction de trouver des informations cachées en exploitant les faiblesses d’un environnement simulé et avaient été informés qu’ils ne disposaient pas d’un accès à Internet. Toutefois, une mauvaise configuration de l’environnement de test a permis aux modèles d’accéder à l’Internet public.

Lors d’un test, le nom de la cible fictive du défi CTF correspondait involontairement à un véritable domaine. Comme l’environnement de test était connecté par erreur à Internet, le modèle a exploité un véritable site web, qu’il croyait appartenir à l’environnement simulé. Il ne s’agissait ni d’une évasion sophistiquée du bac à sable ni d’une faille zero-day : l’accès à Internet résultait d’une mauvaise configuration, et le modèle semble avoir exploité une vulnérabilité de sécurité élémentaire.

Selon l’enquête d’Irregular, le modèle a également trouvé et utilisé des identifiants pour administrer ce même site. Irregular n’a relevé aucune incidence au-delà des données propres au site concerné, et son audit se poursuit. Irregular a suspendu les évaluations et engagé des mesures correctives, et les tiers concernés ont été informés. Irregular nous a indiqué que tous les problèmes liés à l’incident qui avaient été relevés ne sont plus actifs et que des mesures de protection appropriées ont été ajoutées à l’environnement de test. Irregular a également communiqué au sujet d’incidents connexes impliquant d’autres laboratoires dans le même environnement de test.

Nous remercions Irregular pour sa collaboration et continuerons à travailler étroitement avec ses équipes afin de soutenir leur examen. Irregular prépare également un livre blanc afin de présenter les bonnes pratiques pour circonscrire les incidents et mener des évaluations cyber en toute sécurité. Nous nous réjouissons de contribuer au livre blanc afin de mettre les conclusions à la disposition de la communauté et de poursuivre notre collaboration. Nous considérons ce type de collaboration comme essentiel pour assurer une évaluation sûre et approfondie des modèles actuels et futurs.