Rythmer le développement des modèles à l’ère des capacités critiques en cybersécurité

Ces dernières semaines, deux évolutions ont souligné les risques croissants associés à des systèmes d’IA toujours plus performants : l’incident OpenAI-Hugging Face et, séparément, des éléments préliminaires indiquant que l’un de nos prochains modèles, Astra, pourrait atteindre le seuil de capacité critique en cybersécurité défini par notre cadre de préparation. Ensemble, ces évolutions, combinées aux progrès rapides de nos recherches internes, ont rendu plus urgents nos travaux visant à renforcer les mesures de protection liées au suivi, à l’alignement et au confinement à toutes les étapes du processus d’entraînement.

À mesure que les modèles gagnent en capacités, les risques liés à leur développement et à leur mise à l’essai en interne augmentent également. Nos normes de suivi, d’alignement et de sécurité doivent conserver une longueur d’avance sur ces risques. Nous voulions prendre le temps nécessaire pour respecter ces normes ; nous avons donc temporairement ralenti la montée en puissance de nos modèles. Cela a notamment pris la forme d’une pause de deux semaines dans l’entraînement par apprentissage par renforcement (RL) de nos modèles les plus récents destinés au déploiement, pendant que nous renforcions et soumettions à des tests contradictoires nos environnements de recherche, tout en élargissant la couverture de nos systèmes de suivi. Notre plus grande session prévue d’entraînement de modèles de pointe par apprentissage par renforcement reste suspendue tandis que nous menons des entraînements et des évaluations à plus petite échelle afin d’étudier le comportement du modèle, de valider nos mesures de protection et de recueillir davantage de preuves d’alignement avant de poursuivre.

L’alignement — qui consiste à faire en sorte que les systèmes d’IA se comportent comme prévu et restent soumis au contrôle humain — est depuis longtemps au cœur de notre programme de recherche. Nous exigeons désormais des preuves plus solides de comportements alignés tout au long de l’entraînement, en nous appuyant sur les recherches et évaluations déjà en cours. Maintenir l’alignement de systèmes toujours plus performants est un défi auquel l’ensemble du secteur devra répondre. Les signaux que nous observons dans les progrès des prochains modèles montrent clairement qu’une approche plus large est nécessaire, fondée sur le cadre de préparation actuel, mais allant au-delà.

Nous estimons important de faire preuve de transparence sur l’évolution de notre approche. Nous décrivons ci-dessous les changements déjà apportés à nos processus et infrastructures de recherche, ainsi que les travaux encore en cours.

Notre approche du développement de modèles plus performants repose sur trois mesures de protection qui se renforcent mutuellement :

1. Le suivi, qui détecte les comportements préoccupants et nous permet d’y répondre.
2. L’alignement, qui réduit la probabilité d’actions nuisibles ou non autorisées.
3. Les mesures de sécurité, qui limitent les ressources auxquelles les systèmes d’IA peuvent accéder ou sur lesquelles ils peuvent agir.

Nous nous attendons à ce que les modèles prennent bientôt en charge l’essentiel du travail de sécurité, notamment la défense contre d’autres modèles. Cela permettra aux trois mesures de protection de s’adapter aux capacités des modèles, ce qui nous paraît crucial.

Nous appliquons ces mesures de protection à la recherche comme au déploiement, en les adaptant aux capacités, à l’environnement opérationnel et au niveau de risque de chaque modèle.

À mesure que les modèles de pointe acquièrent de meilleures capacités en cybersécurité, nous relevons les normes de sécurité des environnements dans lesquels nous les entraînons et les évaluons. Le respect de ces normes a nécessité un important travail d’ingénierie et entraîné des coûts et des retards considérables pour la recherche de pointe. Immédiatement après l’incident OpenAI-Hugging Face*, nous avons suspendu l’inférence des modèles de pointe dans les clusters de recherche pour les sessions susceptibles d’exécuter du code ou d’utiliser des outils pouvant accéder à Internet. Nous avons assez rapidement rétabli une voie plus limitée et sécurisée pour l’exécution de code, puis examiné chaque charge de travail séparément afin de déterminer si elle pouvait reprendre sans risque. Certaines charges de travail de recherche ont repris avec ces nouveaux contrôles, tandis que d’autres ont nécessité des modifications supplémentaires.

Au cours des semaines suivantes, nous avons défini et commencé à mettre en œuvre des exigences de sécurité renforcées pour les charges de travail de recherche de pointe. Par exemple :

• Isolement des charges de travail : nous exigeons désormais un isolement renforcé (« bacs à sable ») pour les charges de travail qui exécutent du code généré par un modèle ou tout autre code non fiable. Cela s’applique également aux logiciels susceptibles d’être compromis lors du traitement des sorties d’un modèle.
• Isolement du réseau : nous avons mis en place davantage de contrôles pour isoler d’Internet les charges de travail à haut risque et non fiables. Nous avons conçu ces contrôles afin que la compromission d’une seule charge de travail ou d’un service sous-jacent ne permette pas, à elle seule, un accès non autorisé à Internet ou à d’autres réseaux internes.
• Tests de sécurité continus : nous avons reconfiguré notre environnement pour supprimer les services partagés potentiellement vulnérables, réduire les privilèges permanents et améliorer les périmètres de sécurité et de confiance. Nous améliorons également notre capacité à recueillir et surveiller les journaux de sécurité. Enfin, nous investissons dans l’automatisation en utilisant nos modèles pour tester continuellement ces périmètres face à des attaques simulées.

Ensemble, ces contrôles assurent une défense en profondeur et contribuent à protéger notre environnement de recherche contre les attaques. Aujourd’hui, nous exigeons le niveau le plus strict de mesures de sécurité pour les charges de travail impliquant Astra ou des modèles spécialisés en cybersécurité, car nous avons déterminé que les modèles Astra pourraient présenter un niveau critique de capacités en cybersécurité. Ces mesures de protection s’appliquent également à toutes les autres charges de travail liées au domaine cyber.

Bien que certains entraînements et certaines évaluations d’Astra répondent à ces exigences, un nombre important de charges de travail restent suspendues jusqu’à leur migration complète et leur renforcement afin de respecter le nouveau niveau de sécurité requis. Nous donnons la priorité à la migration des charges de travail de sûreté et d’alignement vers ces nouveaux environnements.

Le suivi constitue depuis longtemps une part importante de notre processus de développement des modèles, notamment le suivi des agents de programmation internes et des sessions de longue durée. Nos efforts de suivi portaient tout particulièrement sur les déploiements internes de modèles de pointe et les sessions d’entraînement de modèles de pointe par apprentissage par renforcement, que nous considérions comme les charges de travail les plus risquées, car elles peuvent associer les capacités avancées d’un modèle à l’accès à des outils, à des systèmes sensibles et à des réseaux internes ou externes. Ils n’étaient pas appliqués à toutes les sessions d’inférence et d’entraînement utilisant des outils. Nous avons revu et élargi notre approche grâce à notre nouveau dispositif de suivi.

Ce nouveau dispositif de suivi comporte plusieurs étapes. Il commence par des classificateurs d’activation — des détecteurs qui examinent l’activité interne d’un modèle — exécutés à chaque token échantillonné, puis transmet les problèmes potentiels à des enquêteurs automatisés toujours plus sophistiqués et mobilisant davantage de calcul. Ces systèmes examinent les actions des outils, le raisonnement disponible et la séquence complète des activités afin de détecter les accès non autorisés, les vols de données, les comportements destructeurs et les tentatives de contournement des mesures de protection. Notre objectif est d’émettre une alerte dans les 30 minutes suivant la détection d’une activité préoccupante par notre système de suivi. Si le système de suivi détecte une violation probable d’un périmètre de sécurité critique, il génère une alerte de priorité maximale. Dans notre mise en œuvre actuelle, les équipes chargées de la sûreté, de la sécurité et de la recherche sont alertées. Si elles ne peuvent pas établir avec certitude, dans les 30 minutes, qu’il s’agit d’un faux positif, ces équipes doivent suspendre l’activité.

Ce suivi est obligatoire pour tous les entraînements et toutes les évaluations par apprentissage par renforcement impliquant des outils pour les modèles ayant les capacités de Sol ou un niveau supérieur. Après avoir déterminé, le 7 août, qu’Astra pourrait disposer de capacités critiques en cybersécurité, nous avons ajouté une exigence de suivi pour toutes les inférences d’Astra avec des outils, et non plus seulement pour l’entraînement et les évaluations par apprentissage par renforcement.

Ces mesures de protection nécessitent des ressources de calcul importantes. D’après nos estimations actuelles, le surcoût du suivi représente environ 20 % des ressources de calcul de l’inférence surveillée, bien que le coût varie considérablement selon les charges de travail d’entraînement et d’évaluation. Nous communiquerons davantage de détails sur ce système dans un prochain article de blog.

La recherche sur l’alignement est au cœur de notre mission. Notre mission est de veiller à ce que l’intelligence artificielle générale profite à toute l’humanité. À mesure que les modèles acquièrent des capacités avancées, telles que la possibilité de mener des cyberattaques, et fonctionnent dans des environnements plus complexes, les comportements désalignés comme le reward hacking — qui consiste à trouver des moyens d’obtenir des récompenses élevées pendant l’entraînement sans réellement atteindre le résultat visé —, la tromperie ou les accès non autorisés engendreront des risques toujours plus graves.

Pour les sessions d’apprentissage par renforcement sur les modèles les plus performants, nous appliquons désormais nos principales techniques d’alignement à davantage d’étapes du processus d’entraînement. Cela consiste notamment à améliorer les modèles de récompense afin de mieux détecter et décourager les comportements dangereux dans l’ensemble des tâches et environnements ; à entraîner les modèles à être plus honnêtes quant à leurs actions, capacités et limites ; et à réduire les comportements qui exploitent les faiblesses des récompenses, des évaluateurs, des outils ou du contrôle. Nous élargissons également la couverture de l’entraînement pour les comportements susceptibles de causer des dommages lorsque les modèles interagissent avec des systèmes ou ressources externes.

Nous continuons d’investir massivement dans la recherche sur l’alignement, d’élargir la couverture des évaluations et d’utiliser nos enseignements pour orienter l’entraînement et les mesures de protection. Nous prévoyons de communiquer prochainement beaucoup plus d’informations sur nos recherches en matière d’alignement, notamment sur ce que nous apprenons du comportement des modèles et sur les éventuels défis inédits que nous découvrons.

Nous ferons évoluer notre cadre de préparation afin de réunir ces mesures de protection dans l’entraînement et le déploiement, et de mieux refléter les capacités des futurs modèles ainsi que les environnements dans lesquels ils fonctionneront. Le développement de méthodes capables de s’adapter à ces capacités nécessitera des investissements soutenus dans la sécurité assistée par les modèles, un suivi plus efficace et des progrès continus dans la recherche sur l’alignement. Nous comptons associer des organisations externes à nos travaux et partager davantage nos enseignements à mesure que notre approche évolue.

Les capacités des modèles de pointe progressent rapidement. Notre capacité à les comprendre, à les aligner et à les sécuriser doit garder une longueur d’avance.

*Nous publierons dans les prochaines semaines un rapport technique présentant nos enseignements.