Présentation du mode verrouillé et des mentions « Risque élevé » cohérentes dans ChatGPT

À mesure que les systèmes d'IA prennent en charge des tâches plus complexes, en particulier celles qui impliquent le web et les applications connectées, les enjeux en matière de sécurité évoluent.

Un risque émergent est devenu particulièrement préoccupant : l'attaque par injection de prompt⁠. Lors de ces attaques, un tiers tente de tromper un système d'IA conversationnel afin qu'il suive des instructions malveillantes ou révèle des informations sensibles.

Aujourd'hui, nous présentons deux nouvelles protections conçues pour aider les utilisateurs et les entreprises à se prémunir contre les attaques par injection de prompt, avec une visibilité accrue sur les risques et des contrôles renforcés :

• Mode verrouillé dans ChatGPT, un paramètre de sécurité avancé et optionnel pour les utilisateurs à haut risque
• Mentions « Risque élevé » pour certaines capacités pouvant introduire un risque supplémentaire dans ChatGPT, ChatGPT Atlas et Codex

Ces nouveautés viennent compléter les mesures de protection existantes au niveau des modèles, des produits et des systèmes. Cela inclut le sandboxing, les protections contre l'exfiltration de données par URL⁠, la surveillance et les mesures coercitives, ainsi que des contrôles d'entreprise⁠ tels que l'accès basé sur les rôles et les journaux d'audit.

Le mode verrouillé est un paramètre de sécurité avancé facultatif conçu pour un petit groupe d'utilisateurs très soucieux de la sécurité, tels que les cadres supérieurs ou les équipes de sécurité d'organisations de premier plan, qui ont besoin d'une protection renforcée contre les menaces avancées. Il n'est pas nécessaire pour la plupart des utilisateurs. Ce mode limite strictement la capacité de ChatGPT à interagir avec des systèmes externes afin de réduire le risque d'exfiltration de données par injection de prompt.

Le mode verrouillé désactive délibérément certains outils et fonctionnalités de ChatGPT qu'un pirate pourrait tenter d'exploiter pour extraire des données sensibles des conversations des utilisateurs ou des applications connectées via des attaques telles que les injections de prompt.

Par exemple, la navigation sur le Web en mode verrouillé est limitée au contenu mis en cache, de sorte qu'aucune requête réseau en direct ne quitte le réseau contrôlé d'OpenAI. Cette restriction est conçue pour empêcher l'exfiltration de données sensibles par un pirate informatique lors de la navigation. Certaines fonctionnalités sont entièrement désactivées lorsque nous ne pouvons pas fournir de garanties strictes et certaines quant à la sécurité des données.

Les forfaits Business de ChatGPT fournissent déjà une sécurité des données de qualité professionnelle⁠. Le mode verrouillé s'appuie sur ces protections et est disponible pour ChatGPT Enterprise, ChatGPT Edu, ChatGPT for Healthcare et ChatGPT for Teachers. Les administrateurs peuvent l'activer dans les paramètres de l'espace de travail⁠(ouverture dans une nouvelle fenêtre) en créant un nouveau rôle⁠(ouverture dans une nouvelle fenêtre). Lorsqu'il est activé, ce mode impose des restrictions supplémentaires aux paramètres d'administration existants.

Pour en savoir plus sur le mode verrouillé, consultez notre Centre d'aide⁠(ouverture dans une nouvelle fenêtre).

Étant donné que certains flux de travail critiques dépendent d'applications, les administrateurs de l'espace de travail bénéficient de contrôles plus précis. ls peuvent choisir exactement quelles applications, et quelles actions spécifiques au sein de ces applications, sont disponibles pour les utilisateurs en mode verrouillé. De plus, indépendamment de ce mode, la Plateforme de journaux de l’API pour la conformité⁠(ouverture dans une nouvelle fenêtre) offre une visibilité détaillée sur l'utilisation des applications, les données partagées et les sources connectées, aidant les administrateurs à en assurer la supervision.

Nous prévoyons de mettre le mode verrouillé à la disposition des consommateurs dans les prochains mois.

Les produits d'IA peuvent être plus utiles lorsqu'ils sont connectés à vos applications et au Web, et nous avons investi massivement dans la sécurisation des données connectées⁠. Parallèlement, certaines fonctionnalités liées au réseau introduisent de nouveaux risques qui ne sont pas encore entièrement pris en compte par les mesures de sécurité et de sûreté mises en place par le secteur. Certains utilisateurs peuvent être disposés à assumer ces risques, et nous estimons qu'il est important que les utilisateurs aient la possibilité de décider s'ils souhaitent les utiliser et comment, en particulier lorsqu'ils travaillent avec leurs données privées.

Notre approche consiste à fournir des conseils intégrés au produit pour les fonctionnalités susceptibles d'entraîner des risques supplémentaires. Afin de clarifier et d'harmoniser cette approche, nous uniformisons la manière dont nous identifions une liste restreinte de fonctionnalités existantes. Ces fonctionnalités utiliseront désormais un libellé « Risque Élevé » commun dans ChatGPT, ChatGPT Atlas et Codex, afin que les utilisateurs reçoivent les mêmes conseils où qu'ils les rencontrent.

Par exemple, dans Codex, notre assistant de codage, les développeurs peuvent accorder à Codex l'accès au réseau afin qu'il puisse effectuer des actions sur le Web, comme consulter de la documentation. L'écran des paramètres correspondants comprend la mention « Risque élevé », accompagnée d'une explication claire des modifications apportées, des risques potentiels et des cas dans lesquels cet accès est approprié.

Nous continuons à investir dans le renforcement de nos mesures de sécurité et de sûreté, en particulier pour les risques nouveaux, émergents ou croissants. À mesure que nous renforçons les mesures de sécurité pour ces fonctionnalités, nous supprimerons la mention « Risque élevé » dès que nous aurons déterminé que les progrès en matière de sécurité ont suffisamment réduit ces risques afin de permettre une utilisation à grande échelle. Nous continuerons également à mettre à jour les fonctionnalités portant cette mention afin de mieux communiquer les risques aux utilisateurs.