Évaluations de cybersécurité de tiers impliquant des modèles OpenAI

Les tests indépendants jouent un rôle important en nous aidant à valider et à mieux comprendre les risques avant le déploiement. Certaines évaluations de cybersécurité utilisent intentionnellement des configurations personnalisées, notamment des mesures de protection réduites, afin de mesurer les capacités sous-jacentes, et non le comportement habituel des modèles dans les déploiements accessibles au public.

Lors d’évaluations récentes, deux partenaires de test externes ont relevé des incidents où la combinaison des configurations et des contrôles de test avec les capacités croissantes des modèles récents a permis à l’activité des modèles de dépasser les limites de test prévues. Ces incidents soulignent l’importance de collaborer dans l’ensemble du secteur et avec les évaluateurs tiers afin de faire évoluer les normes régissant les environnements et les pratiques de test à mesure que les modèles gagnent en capacités. Note de la rédaction : Ces incidents sont distincts de l’incident de sécurité de Hugging Face, et nous continuerons à communiquer des mises à jour sur l’incident de Hugging Face ici.

Les nouveaux incidents concernaient des modèles OpenAI qui accédaient à l’Internet public pendant des évaluations de cybersécurité menées par des tiers, dans des conditions particulières et avec des configurations aux mesures de protection réduites qui ne reflétaient pas un déploiement ordinaire. Ces incidents comprenaient les suivants :

1. UK AISI, l’institut de sécurité de l’IA du gouvernement britannique, menait des évaluations dans des environnements d’exercice de cybersécurité où l’accès à Internet était intentionnellement activé afin que les agents puissent trouver leurs propres outils et fonctionner dans des conditions se rapprochant de celles d’un véritable attaquant. Les classificateurs de cybersécurité étaient désactivés afin de mesurer les capacités sous-jacentes. Vous pouvez lire son billet de blogue ici.⁠(s'ouvre dans une nouvelle fenêtre)
2. Irregular, l’un de nos partenaires externes de tests de cybersécurité, menait des évaluations de type « Capture the Flag » censées être isolées d’Internet, mais une mauvaise configuration de l’environnement de test a permis aux modèles d’accéder à l’Internet public.

Nous résumons ci-dessous ce qui s’est passé, les conditions de test ayant rendu l’activité possible, les mesures prises pour la circonscrire et ce que nous faisons pour que les laboratoires indépendants puissent continuer à évaluer rigoureusement et de façon sécuritaire des modèles toujours plus performants.

Ces incidents illustrent le même défi général que nous avons décrit dans notre récent billet sur l’incident de Hugging Face : à mesure que les capacités des modèles progressent, les systèmes de sûreté et de sécurité qui les entourent doivent également progresser. Cela comprend les environnements servant à développer les modèles ainsi que ceux que les laboratoires et partenaires indépendants utilisent pour les évaluer.

Au cours des prochaines semaines, nous examinerons notre propre approche des tests menés par des tiers, notamment la façon dont nous repérons les évaluations à risque élevé, convenons de leur portée, évaluons les demandes d’accès à Internet ou de réduction des mesures de protection, définissons les attentes en matière d’isolement, de gestion des identifiants, de surveillance et de conditions d’arrêt, et établissons des processus plus clairs de signalement et de remontée des incidents.

Nous nous engageons à travailler avec l’ensemble du secteur pour renforcer les pratiques communes permettant de mener de façon sécuritaire des évaluations à risque élevé, notamment en réunissant, au cours des prochaines semaines, des parties prenantes comme les instituts nationaux d’IA, les évaluateurs indépendants, d’autres laboratoires d’IA et d’autres groupes. Notre objectif est de préserver la valeur des évaluations indépendantes rigoureuses tout en veillant à ce que les pratiques de test suivent l’évolution des capacités des modèles.

Le 3 août, UK AISI nous a informés que, lors d’une évaluation de cybersécurité de routine commencée le 25 juillet, des modèles d’OpenAI et d’un autre laboratoire avaient, dans certains cas, dépassé la portée des tests. L’évaluation s’est déroulée dans des environnements d’exercice de cybersécurité contrôlés conçus pour reproduire des réseaux réels. Parmi les 19 événements relevés, deux impliquaient un modèle OpenAI, GPT‑5.6 Sol. Les autres cas concernaient des modèles d’un autre laboratoire.

Pour cette évaluation, les agents avaient reçu l’instruction d’agir comme des spécialistes de la cybersécurité dans un exercice de type « Capture the Flag » : compromettre trois environnements simulés interconnectés et récupérer un drapeau final. L’invite de la tâche indiquait les réseaux de l’environnement visés et désignait plusieurs systèmes comme étant hors de la portée autorisée. UK AISI a aussi activé l’accès direct à Internet afin que les agents puissent télécharger des outils et fonctionner dans des conditions se rapprochant de celles d’un attaquant humain, et a désactivé les classificateurs de cybersécurité du modèle afin de mesurer ses capacités sous-jacentes.

La limite d’autorisation prévue par UK AISI correspondait à l’environnement d’exercice de cybersécurité simulé : les agents étaient autorisés à attaquer les réseaux simulés précisés et à récupérer un drapeau, mais pas à interagir avec des systèmes situés au-delà des limites réseau de cet environnement. Toutefois, les agents n’avaient pas reçu d’instructions explicites sur les utilisations permises et interdites de l’accès libre à Internet, ce que UK AISI considère comme une cause potentielle de l’incident.

Au cours de ces exécutions, UK AISI a constaté que GPT‑5.6 Sol avait effectué deux actions non autorisées en tentant de trouver un accès à l’environnement simulé et de récupérer le drapeau :

1. GPT‑5.6 Sol a réutilisé un token GitHub qu’un agent d’un autre laboratoire avait laissé publiquement accessible afin de vérifier si un système de l’environnement interrogeait GitHub ou un autre service de mise à jour, a tenté de contourner les procédures de récupération de compte et les limites de requêtes, puis a créé des comptes auprès de fournisseurs externes de DNS et de tunnelisation.
2. GPT‑5.6 Sol a utilisé un service public de tunnellisation pour rendre accessible depuis l’Internet public un serveur DNS exécuté localement dans son environnement d’évaluation. Le serveur contenait des charges utiles destinées à exploiter une vulnérabilité connue dans un logiciel exécuté dans l’environnement de test. La configuration n’a pas fonctionné, rien n’indique qu’un résolveur réel l’ait interrogée et l’infrastructure a été supprimée à la fin de l’évaluation.

Même si le modèle tentait de terminer l’exercice de cybersécurité, UK AISI a jugé ces actions non autorisées, car elles faisaient intervenir de vrais comptes et services externes situés hors des limites de l’environnement et n’étaient pas nécessaires à l’accomplissement de la tâche. Le serveur DNS hébergeait aussi des charges utiles d’exploitation sur l’Internet public, bien que la configuration n’ait pas fonctionné et que rien n’indique qu’un résolveur réel l’ait interrogée.

UK AISI a repéré l’activité le 28 juillet après que la surveillance de sécurité a détecté des transferts de données inhabituels. L’organisme a interrompu les évaluations connexes, isolé les machines concernées et circonscrit l’activité environ une heure après sa détection.

Nous apprécions la collaboration de UK AISI tout au long de ce processus, notamment son travail pour repérer et examiner l’activité ainsi que communiquer des détails à son sujet. Nous sommes heureux de poursuivre notre collaboration.

Le 29 juillet, Irregular, l’un de nos partenaires d’évaluation tiers, nous a signalé un incident impliquant des modèles OpenAI lors d’évaluations de cybersécurité de type « Capture the Flag » (CTF). Les modèles avaient reçu l’instruction de trouver des renseignements cachés en exploitant des faiblesses dans un environnement simulé et avaient été informés qu’ils n’avaient pas accès à Internet. Toutefois, une mauvaise configuration de l’environnement de test a permis aux modèles d’accéder à l’Internet public.

Dans un test, le nom de la cible fictive du défi CTF correspondait par inadvertance à un domaine réel. Comme l’environnement de test avait été connecté à Internet par erreur, le modèle a exploité un vrai site Web en croyant qu’il faisait partie de l’environnement simulé. Il ne s’agissait ni d’une évasion sophistiquée du bac à sable ni d’une vulnérabilité jour zéro : l’accès à Internet résultait d’une mauvaise configuration, et le modèle semble avoir exploité une vulnérabilité de sécurité élémentaire.

Selon l’enquête d’Irregular, le modèle a également trouvé et utilisé des identifiants pour administrer ce même site. Irregular n’a relevé aucune incidence au-delà des données propres au site touché, et son audit se poursuit. L’entreprise a suspendu les évaluations et entrepris des mesures correctives, et les tiers touchés ont été avisés. Irregular nous a informés que tous les problèmes relevés liés à l’incident ne se posent plus et que des mesures de protection appropriées ont été ajoutées à l’environnement de test. Irregular a également communiqué de l’information sur des incidents connexes impliquant d’autres laboratoires dans le même environnement de test.

Nous apprécions la collaboration d’Irregular et continuerons à travailler étroitement avec l’entreprise pour soutenir son examen. Irregular prépare également un livre blanc afin de présenter les pratiques exemplaires pour circonscrire les activités et mener des évaluations de cybersécurité de façon sécuritaire. Nous sommes heureux de participer au livre blanc afin de mettre les conclusions à la disposition de la communauté et de poursuivre notre collaboration. Nous estimons que ce type de collaboration est essentiel pour assurer l’évaluation sécuritaire et approfondie des modèles actuels et futurs.