Présentation du mode de verrouillage et des étiquettes de risque élevé uniformes dans ChatGPT

À mesure que les systèmes d’IA assument des tâches plus complexes—surtout celles qui impliquent le Web et des applications connectées—les enjeux de sécurité évoluent.

Un risque émergent est devenu particulièrement important : injection d’invite⁠. Dans ces attaques, un tiers cherche à tromper un système d’IA conversationnelle pour qu’il exécute des instructions malveillantes ou divulgue des informations sensibles.

Aujourd’hui, nous introduisons deux nouvelles protections destinées à aider les utilisateurs et les organisations à atténuer les attaques par injection d’invite, offrant une meilleure visibilité sur les risques et des contrôles renforcés :

• Mode de verrouillage dans ChatGPT, un paramètre de sécurité avancé et optionnel pour les utilisateurs à haut risque
• Étiquettes « risque accru » pour certaines fonctionnalités pouvant introduire un risque supplémentaire dans ChatGPT, ChatGPT Atlas et Codex

Ces ajouts renforcent nos protections existantes aux niveaux du modèle, du produit et du système. Cela inclut le sandboxing, des protections contre l'exfiltration de données par URL⁠, la surveillance et l'application, ainsi que des contrôles d'entreprise⁠ tels que des contrôles d'accès basés sur les rôles et des journaux d'audit.

Le mode de verrouillage est un paramètre de sécurité avancé optionnel, conçu pour un petit groupe d'utilisateurs très soucieux de la sécurité, tels que des cadres ou des équipes de sécurité dans des organisations de premier plan, qui nécessitent une protection accrue contre les menaces avancées. Ce n'est pas nécessaire pour la majorité des utilisateurs. Le mode de verrouillage restreint sévèrement les interactions de ChatGPT avec les systèmes externes pour réduire le risque d'exfiltration de données par injection d'invite.

Le mode de verrouillage désactive de manière déterministe certains outils et capacités dans ChatGPT qu’un adversaire pourrait exploiter pour extraire des données sensibles des conversations des utilisateurs ou des applications connectées via des attaques telles que les « injections d'invite ».

Par exemple, la navigation Web en mode verrouillage est limitée au contenu mis en cache, ce qui empêche toute demande réseau en direct de quitter le réseau contrôlé par OpenAI. Cette restriction vise à empêcher l'exfiltration de données sensibles vers un attaquant via la navigation. Certaines fonctionnalités sont complètement désactivées lorsque nous ne pouvons pas garantir de manière déterministe la sécurité des données.

Les plans d'affaires de ChatGPT offrent déjà une sécurité des données de niveau entreprise⁠. Le mode de verrouillage s'appuie sur ces protections et est disponible pour ChatGPT Enterprise, ChatGPT Edu, ChatGPT pour le secteur de la santé et ChatGPT pour enseignants. Les administrateurs peuvent l’activer dans les paramètres de l’espace de travail⁠(s'ouvre dans une nouvelle fenêtre) en créant un nouveau rôle⁠(s'ouvre dans une nouvelle fenêtre). Lorsqu'il est activé, le mode de verrouillage impose des restrictions supplémentaires aux paramètres d'administration existants.

Pour en savoir plus sur le mode de verrouillage, consultez notre centre d’assistance⁠(s'ouvre dans une nouvelle fenêtre).

Étant donné que certains flux de travail critiques dépendent d'applications, les administrateurs de l'espace de travail conservent des contrôles plus détaillés. Ils peuvent choisir exactement quelles applications — et quelles actions spécifiques au sein de ces applications — sont disponibles pour les utilisateurs en mode de verrouillage. De plus, et indépendamment du mode de verrouillage, la plateforme de journaux de l’API pour la conformité⁠(s'ouvre dans une nouvelle fenêtre) offre une visibilité détaillée sur l’utilisation des applications, les données partagées et les sources connectées, aidant les administrateurs à maintenir une supervision.

Nous prévoyons de rendre le mode de verrouillage accessible aux consommateurs dans les prochains mois.

Les produits d’IA peuvent être plus utiles lorsqu’ils sont connectés à vos applications et au Web, et nous avons investi massivement dans la protection des données connectées⁠. En même temps, certaines capacités liées au réseau introduisent de nouveaux risques qui ne sont pas encore entièrement pris en compte par les mesures de sécurité et de sûreté du secteur. Certains utilisateurs peuvent être à l’aise d’assumer ces risques, et nous croyons qu’il est important que les utilisateurs aient la possibilité de décider s’ils veulent les utiliser et comment, surtout lorsqu’ils travaillent avec leurs données privées.

Notre approche a été de fournir des conseils intégrés au produit pour les fonctionnalités qui pourraient introduire un risque supplémentaire. Pour clarifier et harmoniser, nous uniformisons l'étiquetage d'une brève liste de capacités existantes. Ces fonctionnalités utiliseront désormais une étiquette « risque élevé » cohérente dans ChatGPT, ChatGPT Atlas et Codex, afin que les utilisateurs reçoivent les mêmes conseils partout où ils les rencontrent.

Par exemple, dans Codex, notre assistant de codage, les développeurs peuvent accorder à Codex l'accès au réseau pour qu'il puisse effectuer des actions sur le Web, comme consulter de la documentation. L’écran des paramètres pertinents inclut l’étiquette « Risque élevé », accompagnée d’une explication claire des modifications, des risques potentiels et des moments où cet accès est approprié.

Nous continuons à investir dans le renforcement de nos mesures de protection en matière de sûreté et de sécurité, surtout pour les risques nouveaux, émergents ou croissants. À mesure que nous renforçons les mesures de protection de ces fonctionnalités, nous retirerons l’étiquette « risque élevé » une fois que nous aurons déterminé que les avancées en matière de sécurité ont suffisamment atténué ces risques pour une utilisation générale. Nous continuerons également à mettre à jour les fonctionnalités portant cette étiquette au fil du temps pour mieux communiquer les risques aux utilisateurs.