Agent utilisateur d’ordinateur (CUA)

Nous avons annoncé ce jour la version préliminaire d’Operator⁠(ouverture dans une nouvelle fenêtre), un agent capable de réaliser des tâches sur le Web pour vous. Operator repose sur un nouveau modèle appelé Agent utilisateur d’ordinateur, ou Computer-Using Agent (CUA), qui combine les capacités de vision de GPT‑4o à un raisonnement avancé issu d’un apprentissage par renforcement. CUA a été entraîné pour interagir avec des interfaces graphiques utilisateurs, à savoir les boutons, menus et champs de texte affichés à l’écran, comme le ferait un être humain. Il peut ainsi effectuer diverses tâches numériques sans passer par des API spécifiques à un système d’exploitation ou au Web. 

CUA est l’aboutissement d’années de recherche théorique sur la compréhension multimodale et le raisonnement. Il combine perception avancée des interfaces et résolution structurée des problèmes pour décomposer chaque tâche en plusieurs étapes et s’adapter lorsqu’il rencontre une difficulté. Cette capacité marque une nouvelle étape dans le développement de l’IA en permettant aux modèles d’utiliser les outils auxquels les humains font appel dans leur quotidien, et elle ouvre la voie à une multitude d’applications inédites.

CUA en est encore à ses balbutiements et présente donc des limites, mais ses résultats battent déjà des records. Il a par exemple atteint un taux de réussite de 38,1 % sur OSWorld, une évaluation portant sur les tâches entièrement effectuées par ordinateur, de 58,1 % sur WebArena et de 87 % sur WebVoyager (tâches web). Ces résultats témoignent bien de la capacité de CUA à appréhender des environnements variés pour y accomplir des tâches à l’aide d’un seul ensemble d’actions. 

Nous avons mis au point CUA en nous concentrant avant tout sur sa sécurité, car un agent capable d’accéder au monde numérique pose des défis inédits, comme indiqué dans la fiche système d’Operator. Conformément à notre stratégie de déploiement itératif, nous publions CUA dans une version préliminaire d’Operator, accessible dans un premier temps uniquement sur operator.chatgpt.com⁠(ouverture dans une nouvelle fenêtre) par les utilisateurs d’un forfait Pro⁠(ouverture dans une nouvelle fenêtre) basés aux États-Unis. Les commentaires de nos utilisateurs nous permettront d’affiner nos mesures de sécurité et de déployer des améliorations continues pour préparer un avenir dans lequel les agents numériques seront toujours plus nombreux.

CUA traite les pixels bruts pour comprendre ce qui se passe à l’écran, et utilise une souris et un clavier virtuels pour effectuer des actions. Il est capable de réaliser des tâches en plusieurs étapes, de gérer les erreurs et de s’adapter aux changements imprévus. Il est ainsi opérationnel dans de nombreux types d’environnements numériques et peut remplir des formulaires ou parcourir des sites sans API spécialisées.

À partir d’une instruction donnée par un utilisateur, CUA suit une boucle itérative intégrant perception, raisonnement et action :

• Perception : des captures d’écran de l’ordinateur viennent enrichir le contexte du modèle et lui donnent un instantané de son état actuel. 
• Raisonnement : CUA passe d’une étape à l’autre en raisonnant selon une chaîne de pensée qui prend en compte les captures d’écran et actions actuelles et passées. Ce monologue interne améliore ses performances d’exécution des tâches en lui permettant d’évaluer ses observations, de suivre le déroulement des étapes intermédiaires et de s’adapter dynamiquement.
• Action : il effectue les actions (cliquer, faire défiler l’écran ou saisir du texte) jusqu’à ce qu’il estime que la tâche est terminée ou que l’utilisateur doit intervenir. S’il est capable d’effectuer la plupart des étapes automatiquement, CUA demande la confirmation de l’utilisateur pour les actions sensibles, par exemple la saisie d’identifiants ou la réponse aux CAPTCHA.

CUA bat des records dans les évaluations d’utilisation d’un ordinateur et d’un navigateur, car il se sert de la même interface universelle que les humains : un écran, une souris et un clavier.

Les visualisations suivantes montrent comment CUA exécute diverses tâches standardisées d’OSWorld.

CUA constitue l’un de nos premiers produits agentiques capables d’effectuer des actions directement dans un navigateur. Il présente donc des risques et des défis inédits. Lors de la préparation du déploiement d’Operator, nous avons procédé à des évaluations complètes des risques et mis en place des mesures de correction pour trois catégories de risque majeures : détournement du modèle, erreurs du modèle et risques frontières. Nous pensons qu’il est essentiel d’adopter une stratégie de sécurité à plusieurs niveaux et avons donc mis en place des garde-fous pour l’ensemble du contexte du déploiement : le modèle CUA lui-même, le système Operator et les processus post-déploiement. Notre objectif est d’empiler les mesures de sécurité, chacune réduisant un peu plus le profil de risque.

Le détournement du modèle constitue la première catégorie de risque que nous avons traitée. En plus d’imposer à nos utilisateurs de se conformer à nos Politiques d'utilisation, nous avons conçu les mesures de sécurité suivantes pour réduire le risque de détournement d’Operator. Elles reposent sur les travaux que nous avons déjà menés pour sécuriser GPT‑4o :

• Refus : Le modèle CUA est entraîné pour refuser de nombreuses tâches dangereuses, ainsi que les activités illégales ou réglementées.
• Liste de blocage : Operator ne peut pas consulter les sites web que nous avons bloqués, comme les sites de pari, les sites pour adultes et les sites de ventes de médicaments ou d’armes.
• Modération : les interactions avec les utilisateurs sont vérifiées en temps réel par des outils conçus pour s’assurer qu’elles sont conformes à nos Politiques d'utilisation et capables de générer des avertissements ou de bloquer les activités interdites. 
• Détection hors ligne : nous avons également mis au point des processus de vérification par des systèmes automatisés et par des humains pour détecter les utilisations interdites appartenant à des catégories prioritaires, comme la sécurité des enfants et les activités trompeuses, ce qui nous permet de faire appliquer nos Politiques d'utilisation.

Les erreurs du modèle constituent la deuxième catégorie de risque sur laquelle nous avons travaillé. Il s’agit des cas où le modèle effectue par erreur une action non demandée par l’utilisateur et qui a entraîné des conséquences dommageables pour l’utilisateur ou d’autres personnes. Ces conséquences peuvent être de gravité variable, d’une erreur de saisie dans un e-mail à l’achat du mauvais article en passant par la suppression définitive d’un document important. Pour limiter les dommages potentiels, nous avons déployé les mesures de sécurité suivantes :

• Confirmations de l’utilisateur : le modèle CUA est entraîné pour demander la confirmation de l’utilisateur avant de finaliser les tâches qui ont des conséquences externes, comme le passage d’une commande, l’envoi d’un e-mail, etc. pour que l’utilisateur puisse vérifier le travail du modèle en amont.
• Limites relatives aux tâches : à l’heure actuelle, CUA refuse d’effectuer des tâches à haut risque, comme des transactions bancaires ou d’autres tâches nécessitant une décision sensible.
• Mode surveillance : sur les sites les plus sensibles, Operator demande une supervision active de l’utilisateur pour qu’il puisse repérer et corriger les éventuelles erreurs du modèle.

Parmi les erreurs importantes du modèle, citons les attaques contre les sites web qui poussent CUA à effectuer des actions involontaires, que ce soit par le biais d’injections de prompts, de jailbreaks ou de tentatives de phishing. En plus des mesures déjà mentionnées, nous avons créé plusieurs niveaux de protection contre les risques suivants :

• Navigation prudente : le modèle CUA est pensé pour identifier et ignorer les injections de prompt sur les sites web. Lors d’une session interne menée par une équipe rouge en début de développement, il n’a échoué que sur une seule attaque de ce type.
• Surveillance : nous avons ajouté un modèle supplémentaire à Operator pour surveiller et suspendre l’exécution en cas de détection d’un contenu suspect à l’écran.
• Pipeline de détection : nous appliquons des processus d’examen automatisés et conduits par des êtres humains pour repérer les schémas d’accès suspects qui peuvent alors être signalés et ajoutés rapidement à l’outil de surveillance (en quelques heures seulement).

Enfin, nous avons évalué CUA sur le plan des risques frontières présentés dans notre cadre de préparation⁠(ouverture dans une nouvelle fenêtre), notamment avec des scénarios portant sur la réplication autonome et la facilitation des risques biologiques. Ces évaluations n’ont pas révélé d’augmentation du risque par rapport à GPT‑4o.

Si vous souhaitez plus de détails sur les évaluations et les garde-fous de ce modèle, nous vous encourageons à consulter la fiche système d’Operator, un document mis à jour régulièrement et qui présente de manière transparente notre approche de la sécurité et nos améliorations continues en la matière.

Beaucoup des capacités d’Operator sont inédites, par conséquent, ses risques et nos stratégies de sécurité le sont aussi.  Même si nous avons cherché à mettre en place des mesures de sécurité de pointe, diversifiées et complémentaires, les risques identifiés et notre stratégie évolueront certainement à mesure que nous obtiendrons davantage d’informations. Avec cette version préliminaire, nous allons pouvoir recueillir les commentaires de nos utilisateurs, affiner nos garde-fous et renforcer la sécurité des agents.

CUA est le fruit de plusieurs années de recherche sur la multimodalité, le raisonnement et la sécurité. Nous avons fait des progrès importants en matière de raisonnement approfondi avec les modèles de la série o et en matière de vision avec GPT‑4o. De plus, nous avons mis au point des techniques basées sur l’apprentissage par renforcement et la hiérarchisation des instructions qui renforcent la robustesse de nos modèles. Notre prochain défi ? Étendre l’ensemble d’actions des agents. La flexibilité offerte par l’utilisation d’une interface universelle permet de relever ce déf, car elle ouvre la voie à un agent capable d’utiliser n’importe quel outil logiciel destiné à l’être humain. En allant au-delà des API spécialisées, CUA peut s’adapter à tout environnement informatique et prendre ainsi en charge les derniers cas d’utilisation numériques encore hors de portée de la plupart des modèles d’IA.

Nous cherchons également à rendre CUA disponible via l’API⁠(ouverture dans une nouvelle fenêtre) pour que les développeurs puissent l’utiliser dans leurs propres agents utilisateurs d’ordinateur. Nous avons hâte de voir les nouveaux cas d’utilisation que la communauté imaginera au fil des améliorations que nous apporterons à CUA. Nous prévoyons d’utiliser les commentaires tirés de cette version préliminaire pour améliorer en continu les capacités et mesures de sécurité de CUA et progresser en toute sécurité vers l’aboutissement de notre mission, à savoir faire profiter toute l’humanité des avantages de l’IA.