Comment nous ferons mieux pour l’Australie
En juin, lors d’entraînements et d’évaluations internes, nos modèles ont accédé à des sites web gouvernementaux australiens par des moyens non autorisés. Nous aurions également dû mieux gérer notre réponse. Nous en sommes désolés et nous nous employons à faire mieux à l’avenir.
Dans cet article, nous présentons ce que nous savons, ce que nous avons changé et ce que nous ferons pour rétablir la confiance des Australiens. Il s’agit d’un nouveau type de cyberincident, qui représente un défi émergent à l’échelle mondiale. Pour assumer notre responsabilité face à cette situation, nous entendons notamment collaborer activement avec l’Australie afin d’aider à élaborer des approches concrètes permettant aux développeurs d’IA et aux gouvernements de détecter et de divulguer les comportements de l’IA dans le cyberespace, qu’ils soient malveillants ou involontaires, et d’y répondre.
Après l’incident Hugging Face en juillet, nous avons commencé à examiner les activités antérieures d’entraînement et d’évaluation afin d’identifier d’autres organisations touchées. À la mi-août, cet examen a révélé des activités affectant les sites web gouvernementaux australiens ci-dessous.
Voici ce que nous savons d’après les éléments disponibles :
Services Australia : un modèle d’OpenAI a découvert un moyen d’obtenir un accès non public au service. Il a exécuté des commandes, récupéré des fichiers internes, des identifiants et des statistiques agrégées, et écrit des fichiers. Toutefois, aucun dossier individuel de patient ou d’usager n’a été consulté. Nous détaillons cet incident plus bas.
Bureau des statistiques et de la recherche sur la criminalité de Nouvelle-Galles du Sud (BOCSAR) : un modèle d’OpenAI a accédé à l’outil public de cartographie de la criminalité du BOCSAR pour rechercher des statistiques publiques sur la criminalité (nous expliquons plus bas pourquoi les modèles effectuent diverses tâches de recherche d’informations). Le modèle a envoyé des requêtes d’API et de métadonnées de site web via l’outil public du BOCSAR, qui fournit des identifiants pour les requêtes d’API depuis le navigateur. Le système du BOCSAR a renvoyé la configuration de l’application, des tâches et journaux opérationnels, ainsi que des métadonnées du site web. Aucun dossier pénal individuel n’a été consulté.
Ministère de la Santé de l’État de Victoria : des agents d’OpenAI ont découvert une clé d’accès exposée permettant d’interroger le système de rapports de l’agence d’information sur la santé de l’État de Victoria (VAHI) et de récupérer la configuration des rapports ainsi que des statistiques d’enquête agrégées. Il reste difficile de déterminer dans quelle mesure ces informations auraient dû être accessibles, ce qui dépend des politiques d’accès de la VAHI. Aucun dossier médical individuel ni aucune réponse d’enquête permettant d’identifier une personne n’ont été consultés.
Institut australien de la santé et du bien-être (AIHW) : des agents d’OpenAI ont récupéré des statistiques agrégées à l’aide de services tiers de navigation et de téléchargement, notamment sur le site web de l’AIHW, et ont interrogé directement les données des graphiques. Des tentatives distinctes de contournement des contrôles d’accès ont échoué. Les contenus téléchargés semblent avoir été accessibles au public. Le système n’a pas été compromis. Aucun dossier médical individuel n’a été consulté.
Nous avons ouvert des enquêtes sur ces activités dès que nous en avons pris connaissance, à la mi-août. Nous avons informé Services Australia et le ministère de la Santé de l’État de Victoria le 10 septembre, puis le Bureau des statistiques et de la recherche sur la criminalité de Nouvelle-Galles du Sud le 18 septembre. L’activité liée à l’Institut australien de la santé et du bien-être ne remplissait pas nos critères de divulgation, car les modalités d’accès semblaient conformes à un accès public. Nous l’avons néanmoins informé le 24 septembre pour lui communiquer nos conclusions et lui proposer un échange détaillé.
Notre objectif était de fournir aux organismes touchés un compte rendu détaillé une fois notre enquête terminée. Nous aurions toutefois dû communiquer nos conclusions préliminaires plus tôt et tenir les organismes australiens informés à mesure que de nouveaux faits apparaissaient.
Depuis, nous travaillons en étroite collaboration avec les organismes gouvernementaux australiens pour leur communiquer ce que nous avons appris à ce jour. Si nous identifions d’autres organismes touchés, nous les informerons rapidement et directement, en leur transmettant les informations disponibles, puis des mises à jour à mesure que de nouveaux faits apparaîtront.
Lors d’entraînements et d’évaluations internes en juin, nous utilisions un modèle expérimental d’OpenAI réservé à un usage interne, qui n’était pas destiné à être rendu public et ne disposait pas de l’ensemble des protections utilisées dans nos produits accessibles au public. Au cours de cet entraînement et de cette évaluation, il a accédé au Medicare Statistics Reporting Service de Services Australia. À ce jour, notre examen n’a révélé aucun élément indiquant qu’un dossier médical individuel ait été consulté.
Lorsque nous entraînons et évaluons nos modèles en interne, nous leur confions des tâches issues d’un vaste ensemble de questions de recherche couvrant de nombreux sujets, qui reflètent les types de questions détaillées que les utilisateurs pourraient poser. Cela entraîne le modèle à trouver, interpréter et analyser des informations accessibles au public, afin qu’il puisse être plus utile. Nos modèles sont censés répondre à ces questions à l’aide de statistiques publiées et accessibles au public.
Dans ce cas, l’une des tâches confiées au modèle consistait à rechercher les dépenses publiques par habitant consacrées aux médicaments contre les affections cutanées dans les communautés de l’État de Victoria. Le modèle a eu du mal à obtenir ces informations et a entrepris des actions que nous ne l’avions pas autorisé à effectuer. En recherchant ces informations auprès du Medicare Statistics Reporting Service de Services Australia, il a découvert un moyen d’obtenir un accès non public au service. Il a ensuite utilisé cet accès pour consulter des informations techniques sur le système et du code source lié au service, toujours dans le but de trouver les informations qu’il recherchait initialement. Nous n’avions pas prévu cette activité, et ni cet accès au service ni les actions qui ont suivi n’auraient dû avoir lieu.
À la suite de l’incident Hugging Face, nous avons renforcé nos mesures de protection pour la recherche, notamment en ajoutant des restrictions réseau et en élargissant la surveillance. Nous avons mis en place des contrôles pour bloquer l’accès direct à Internet dans ces environnements de recherche, l’accès au Web reposant sur des contenus mis en cache. Comme couche de sécurité supplémentaire, nos systèmes de surveillance actuels auraient détecté cette activité et alerté notre équipe pour un examen humain urgent. Par exemple, lorsqu’un modèle a obtenu un accès direct à Internet lors d’une récente session d’entraînement(ouverture dans une nouvelle fenêtre), notre dispositif de surveillance a détecté l’activité et alerté une personne chargée de l’examiner, puis nous avons arrêté la session. Nous continuons à tester ces protections et à corriger leurs lacunes. L’incident Hugging Face reste le plus grave que nous ayons observé.
Le public veut savoir que l’IA est développée en toute sécurité, et cela commence par les actions que des entreprises comme la nôtre entreprennent elles-mêmes. Nous avons récemment annoncé(ouverture dans une nouvelle fenêtre) avoir suspendu l’entraînement et l’évaluation impliquant l’utilisation d’outils pour nos modèles les plus performants. Nous ne reprendrons leur entraînement que lorsque nous aurons la certitude d’avoir mis en place des protections supplémentaires, sur lesquelles nous travaillons actuellement.
À mesure que les systèmes d’IA gagnent globalement en capacités, nous constatons aussi que le temps dont nous disposons pour aider les organisations à repérer et à corriger leurs faiblesses se réduit. Cela exige une action collective avec les acteurs de la cyberdéfense du monde entier.
Nous nous sommes joints à des organisations des secteurs de la technologie, de la cybersécurité et des infrastructures critiques dans un appel à une action collective en matière de cyberdéfense. Cet appel commence par nos propres responsabilités, notamment des protections renforcées, une divulgation rapide et un soutien concret aux organisations touchées. Il appelle aussi à investir dans les équipes qui protègent les services essentiels, afin qu’elles puissent détecter les vulnérabilités, vérifier les correctifs et partager les solutions efficaces.
En Australie, nous mobilisons des ressources et notre expertise pour soutenir les organismes touchés et aider les acteurs de la cyberdéfense à appliquer ces principes, notamment par les mesures suivantes :
Un soutien dédié aux organismes touchés. Nous mobiliserons les ressources nécessaires pour aider les organismes touchés à comprendre ce qui s’est passé et à en évaluer les conséquences. Cela comprend le partage des conclusions techniques pertinentes et l’organisation d’échanges avec nos équipes d’intervention dans un cadre approprié de partage d’informations.
Des financements et un soutien pour renforcer la cyberdéfense. Nous soutiendrons les gouvernements et le secteur privé australiens par des crédits issus de notre fonds Daybreak for Frontline Defenders, doté d’un milliard de dollars, et par une assistance technique destinée à renforcer la cyberdéfense des infrastructures critiques et d’autres environnements sensibles. S’appuyant sur nos échanges avec les gouvernements et les opérateurs d’infrastructures critiques, ce travail aidera les organisations à mieux comprendre et détecter les risques liés à des agents d’IA toujours plus performants, et à y répondre.
Un groupe de travail australien. Nous créerons un groupe de travail faisant appel à une expertise australienne indépendante pour élaborer des recommandations concrètes de politique publique sur la gestion des risques liés à des agents d’IA toujours plus performants. Tirant les leçons de ces incidents, il se concentrera sur l’amélioration des procédures de notification, le renforcement de la coordination entre les développeurs d’IA et les pouvoirs publics, ainsi que sur l’identification de mesures visant à mieux protéger les systèmes gouvernementaux. Les recommandations du groupe de travail guideront l’approche d’OpenAI et soutiendront les travaux des gouvernements australiens sur la sécurité de l’IA et la cybersécurité. Le groupe de travail, qui devrait achever ses travaux d’ici la fin de l’année, recommandera également des mesures concrètes que les entreprises d’IA pourront prendre pour réduire le risque d’incidents similaires.
Les gouvernements, les industries et les citoyens australiens sont et ont toujours été des partenaires précieux pour OpenAI. Nous ne tenons pas ce partenariat pour acquis et nous entendons remédier à la situation.
Jason Kwon, directeur de la stratégie d’OpenAI, se rendra depuis le siège américain d’OpenAI à Sydney pour être entendu par la commission parlementaire mixte spéciale sur l’intelligence artificielle le mardi 6 octobre. Il répondra aux questions sur ce que nous savons, notre réaction, les mesures prises et la manière dont nous ferons mieux à l’avenir.
Nous continuerons à communiquer les conclusions vérifiées aux organismes touchés et aux gouvernements concernés. Nous publierons des mises à jour sur notre examen en cours et sur les progrès réalisés au regard de ces engagements. Nous savons qu’il nous reste beaucoup à faire pour rétablir la confiance, et qu’il nous incombe de montrer aux Australiens que nous apportons des changements significatifs et tenons nos promesses.
