Comment nous ferons mieux pour l’Australie
En juin, lors d’activités internes d’entraînement et d’évaluation, nos modèles ont accédé à des sites Web gouvernementaux australiens par des moyens non autorisés. Nous aurions aussi dû mieux gérer notre réponse. Nous en sommes désolés et nous travaillons à faire mieux à l’avenir.
Dans ce billet, nous présentons ce que nous savons, ce que nous avons changé et ce que nous ferons pour rétablir la confiance de la population australienne. Il s’agit d’un nouveau type de cyberincident qui représente un défi émergent à l’échelle mondiale. Pour assumer notre responsabilité dans cette situation, nous entendons notamment collaborer de façon concertée avec l’Australie à l’élaboration d’approches concrètes permettant aux développeurs d’IA et aux gouvernements de repérer et de divulguer les comportements de l’IA dans le cyberespace, qu’ils soient malveillants ou involontaires, et d’y répondre.
Après l’incident Hugging Face en juillet, nous avons commencé à examiner les activités antérieures d’entraînement et d’évaluation pour repérer d’autres organisations touchées. À la mi-août, cet examen a permis de repérer des activités touchant les sites Web gouvernementaux australiens ci-dessous.
Voici ce que nous savons d’après les éléments de preuve :
Services Australia : Un modèle d’OpenAI a découvert un moyen d’obtenir un accès non public au service, puis a exécuté des commandes, récupéré des fichiers internes, des identifiants et des statistiques agrégées, et écrit des fichiers. Toutefois, aucun dossier individuel de patient ou de client n’a été consulté. Nous abordons cet incident plus en détail ci-dessous.
Bureau des statistiques et de la recherche sur la criminalité de la Nouvelle-Galles du Sud (BOCSAR) : Un modèle d’OpenAI a accédé à l’outil public de cartographie de la criminalité du BOCSAR pour rechercher des statistiques publiques sur la criminalité (nous expliquons plus loin pourquoi les modèles effectuent diverses tâches de recherche d’information). Le modèle a effectué des requêtes d’API et de métadonnées de site Web au moyen de l’outil public du BOCSAR, qui fournit des identifiants pour les requêtes d’API effectuées à partir du navigateur. Le système du BOCSAR a renvoyé la configuration de l’application, des tâches et des journaux opérationnels, ainsi que des métadonnées du site Web. Aucun dossier criminel individuel n’a été consulté.
Ministère de la Santé de l’État de Victoria : Des agents d’OpenAI ont découvert une clé d’accès exposée permettant d’interroger le système de rapports de l’Agence d’information sur la santé de l’État de Victoria (VAHI) et d’en récupérer la configuration des rapports ainsi que des statistiques agrégées de sondages. La mesure dans laquelle ces renseignements auraient dû être accessibles n’est pas claire et dépend des politiques d’accès de la VAHI. Aucun dossier médical individuel ni aucune réponse à un sondage permettant d’identifier une personne n’ont été consultés.
Institut australien de la santé et du bien-être (AIHW) : Des agents d’OpenAI ont récupéré des statistiques agrégées à l’aide de services tiers de navigation et de téléchargement, notamment sur le site Web de l’AIHW, et ont interrogé directement les données de graphiques. Des tentatives distinctes de contournement des contrôles d’accès ont échoué. Le contenu téléchargé semble avoir été accessible au public. Aucun système n’a été compromis. Aucun dossier médical individuel n’a été consulté.
Nous avons lancé des enquêtes sur ces activités dès que nous en avons pris connaissance à la mi-août. Nous avons avisé Services Australia et le ministère de la Santé de l’État de Victoria le 10 septembre, puis le Bureau des statistiques et de la recherche sur la criminalité de la Nouvelle-Galles du Sud le 18 septembre. L’activité liée à l’Institut australien de la santé et du bien-être n’atteignait pas nos seuils de divulgation, car le mode d’accès semblait conforme à un accès public. Nous l’avons toutefois avisé le 24 septembre afin de lui communiquer nos conclusions et de lui proposer une séance d’information.
Notre objectif était de fournir aux organismes touchés un compte rendu détaillé une fois notre enquête terminée. Toutefois, nous aurions dû communiquer nos conclusions préliminaires plus tôt et tenir les organismes australiens informés à mesure que de nouveaux faits étaient établis.
Depuis, nous collaborons étroitement avec les organismes gouvernementaux australiens pour leur communiquer ce que nous avons appris à ce jour. Si nous repérons d’autres organismes touchés, nous les aviserons rapidement et directement en leur transmettant les renseignements disponibles, puis nous leur fournirons des mises à jour à mesure que de nouveaux faits seront établis.
Lors d’activités internes d’entraînement et d’évaluation en juin, nous utilisions un modèle expérimental d’OpenAI réservé à l’usage interne, qui n’était pas destiné à être rendu public et ne disposait pas de l’ensemble des mesures de protection utilisées dans nos produits accessibles au public. Au cours de cet entraînement et de cette évaluation, il a accédé au service de rapports statistiques de Medicare de Services Australia. À ce jour, notre examen n’a révélé aucun élément indiquant que des dossiers médicaux individuels auraient été consultés.
Lorsque nous procédons à l’entraînement et à l’évaluation de nos modèles à l’interne, nous leur confions des tâches tirées d’un vaste ensemble de questions de recherche couvrant de nombreux sujets, qui reflètent les types de questions détaillées que les utilisateurs pourraient poser. Cela entraîne un modèle à trouver, à interpréter et à analyser des renseignements accessibles au public afin qu’il puisse être plus utile aux gens. Nos modèles sont censés répondre à ces questions à l’aide de statistiques publiées et accessibles au public.
Dans ce cas, l’une des tâches confiées au modèle consistait à rechercher les dépenses publiques par personne consacrées aux médicaments contre les affections cutanées dans les collectivités de l’État de Victoria. Le modèle a eu du mal à obtenir cette information et a entrepris des actions que nous ne l’avions pas autorisé à effectuer. En cherchant cette information auprès du service de rapports statistiques de Medicare de Services Australia, il a découvert un moyen d’obtenir un accès non public au service. Il a ensuite utilisé cet accès pour consulter des renseignements techniques sur le système et du code source liés au service, toujours dans le but de trouver l’information recherchée au départ. Cette activité n’était pas prévue, et ni l’accès au service ni les activités qui ont suivi n’auraient dû avoir lieu.
À la suite de l’incident Hugging Face, nous avons renforcé nos mesures de protection pour la recherche, notamment en ajoutant des restrictions réseau et en élargissant la surveillance. Nous avons mis en place des contrôles pour bloquer l’accès en direct à Internet dans ces environnements de recherche, l’accès au Web étant assuré par du contenu mis en cache. À titre de mesure de sécurité supplémentaire, nos systèmes de surveillance actuels auraient détecté cette activité et alerté notre équipe pour qu’elle procède d’urgence à un examen humain. Par exemple, lorsqu’un modèle a obtenu un accès en direct à Internet pendant une récente session d’entraînement(s'ouvre dans une nouvelle fenêtre), notre système de surveillance a détecté l’activité et alerté une personne chargée de l’examen, et nous avons interrompu la session. Nous continuons à tester ces protections et à combler les lacunes. L’incident Hugging Face demeure le plus grave que nous ayons observé.
Les gens veulent savoir que l’IA est développée de façon sûre, et cela commence par les actions que des entreprises comme la nôtre prennent elles-mêmes. Nous avons récemment annoncé(s'ouvre dans une nouvelle fenêtre) que nous avions suspendu l’entraînement et l’évaluation impliquant l’utilisation d’outils pour nos modèles les plus performants. Nous ne reprendrons leur entraînement que lorsque nous aurons la certitude d’avoir mis en place des mesures de protection supplémentaires, auxquelles nous travaillons actuellement.
À mesure que les systèmes d’IA gagnent globalement en capacités, nous constatons aussi que le temps dont nous disposons pour aider les organisations à trouver et à corriger leurs faiblesses se réduit. Cela exige une action collective en collaboration avec les équipes de cyberdéfense du monde entier.
Nous nous sommes joints à des organisations des secteurs de la technologie, de la cybersécurité et des infrastructures essentielles pour lancer un appel à l’action collective en matière de cyberdéfense. Cet appel commence par nos propres responsabilités, notamment des mesures de protection renforcées, une divulgation rapide et un soutien concret aux organisations touchées. Il préconise aussi des investissements dans les équipes qui protègent les services essentiels, afin qu’elles puissent repérer les vulnérabilités, vérifier les correctifs et partager les pratiques efficaces.
En Australie, nous nous engageons à fournir des ressources et de l’expertise pour soutenir les organismes touchés et aider les équipes de cyberdéfense à mettre ces principes en pratique, notamment par les mesures suivantes :
Un soutien dédié aux organismes touchés. Nous consacrerons les ressources nécessaires pour aider les organismes touchés à comprendre ce qui s’est passé et à en évaluer les répercussions. Cela comprend le partage des conclusions techniques pertinentes et l’organisation d’échanges avec nos équipes d’intervention dans le cadre d’ententes appropriées de partage de renseignements.
Du financement et du soutien pour renforcer les cyberdéfenses. Nous soutiendrons les gouvernements et l’industrie australiens au moyen de crédits provenant de notre fonds Daybreak for Frontline Defenders d’un milliard de dollars et d’une assistance technique pour renforcer les cyberdéfenses des infrastructures essentielles et d’autres environnements sensibles. S’appuyant sur notre collaboration avec les gouvernements et les exploitants d’infrastructures essentielles, ce travail aidera les organisations à mieux comprendre et détecter les risques liés à des agents d’IA de plus en plus performants, ainsi qu’à y répondre.
Un groupe de travail australien. Nous créerons un groupe de travail s’appuyant sur une expertise australienne indépendante afin d’élaborer des recommandations concrètes en matière de politiques pour gérer les risques liés à des agents d’IA de plus en plus performants. En tirant les leçons de ces incidents, il se concentrera sur l’amélioration des processus de notification, le renforcement de la coordination entre les développeurs d’IA et le gouvernement, et la définition de mesures visant à mieux protéger les systèmes gouvernementaux. Les recommandations du groupe de travail orienteront l’approche d’OpenAI et appuieront les travaux des gouvernements australiens en matière de sécurité de l’IA et de cybersécurité. Le groupe de travail, qui devrait terminer ses travaux d’ici la fin de l’année, recommandera aussi des mesures concrètes que les entreprises d’IA peuvent prendre pour réduire le risque d’incidents similaires.
Les gouvernements, les industries et les citoyens de l’Australie sont et ont toujours été des partenaires inestimables pour OpenAI. Nous ne tenons pas ce partenariat pour acquis et nous comptons remédier à la situation.
Le directeur de la stratégie d’OpenAI, Jason Kwon, se rendra du siège social d’OpenAI aux États-Unis à Sydney pour comparaître devant le comité mixte spécial sur l’intelligence artificielle le mardi 6 octobre. Il répondra aux questions sur ce que nous savons, la façon dont nous avons réagi, les mesures que nous avons prises et la manière dont nous ferons mieux à l’avenir.
Nous continuerons à communiquer nos conclusions vérifiées aux organismes touchés et aux gouvernements concernés. Nous publierons des mises à jour sur notre examen en cours et sur les progrès réalisés dans le respect de ces engagements. Nous savons qu’il nous reste beaucoup de travail pour rétablir la confiance et qu’il nous incombe de montrer aux Australiens que nous apportons des changements significatifs et que nous tenons nos promesses.
