Nouveaux outils dédiés à la création d’agents
Notre plateforme évolue pour accompagner les développeurs et les entreprises dans la création d’agents performants et fiables.
Nous annonçons aujourd’hui la disponibilité des premiers modules de base permettant aux développeurs et entreprises de créer des agents performants et fiables. Les agents sont des systèmes capables d’accomplir de manière autonome des tâches au nom des utilisateurs. Au cours de l’année passée, nos modèles ont gagné de nouvelles capacités, comme le raisonnement approfondi, les interactions multimodales et de nouvelles techniques de sécurisation. Ces évolutions leur permettent de prendre en charge des tâches complexes en plusieurs étapes, une condition nécessaire à la création d’agents. Toutefois, nos clients nous ont expliqué qu’elles ne permettaient pas de créer facilement des agents prêts pour la production. En effet, ils sont souvent contraints d’affiner longuement leurs prompts et de créer une logique d’orchestration personnalisée sans bénéficier d’une visibilité ou d’une prise en charge intégrée suffisante.
Pour résoudre ces difficultés, nous proposons un nouvel ensemble d’API et d’outils pensés spécifiquement pour simplifier le développement d’applications agentiques :
- La nouvelle API Responses(ouverture dans une nouvelle fenêtre) combine la simplicité de l’API Chat Completions avec les capacités d’utilisation d’outils de l’API Assistants pour vous permettre de créer des agents.
- Des outils intégrés, comme la recherche web(ouverture dans une nouvelle fenêtre), la recherche de fichiers(ouverture dans une nouvelle fenêtre) et l’utilisation d’un ordinateur(ouverture dans une nouvelle fenêtre).
- Le nouveau SDK Agents(ouverture dans une nouvelle fenêtre), qui permet d’orchestrer des workflows à un ou plusieurs agents.
- Des outils d’observabilité(ouverture dans une nouvelle fenêtre) intégrés pour suivre et inspecter l’exécution des workflows des agents.
Ces nouveaux outils simplifient la création de la logique de base des agents, l’orchestration et les interactions et permettent donc aux développeurs de créer des agents bien plus facilement. Au cours des semaines et des mois à venir, nous allons proposer des outils et capacités supplémentaires afin de simplifier et d’accélérer encore la création d’applications agentiques sur notre plateforme.
L’API Responses est notre nouveau primitif d’API permettant d’utiliser les outils intégrés d’OpenAI pour créer des agents. Elle combine la simplicité de l’API Chat Completions avec les capacités d’utilisation des outils de l’API Assistants. Il s’agit d’une solution adaptée à l’évolution des capacités de nos modèles, qui propose une base plus flexible sur laquelle les développeurs peuvent s’appuyer pour créer des applications agentiques. Avec un seul appel à l’API Responses, les développeurs pourront en effet réaliser des tâches toujours plus complexes en exploitant plusieurs outils et réponses du modèle.
Tout d’abord, l’API Responses prendra en charge de nouveaux outils intégrés, comme la recherche web, la recherche de fichiers et l’utilisation d’un ordinateur. Ces outils sont pensés pour travailler en synergie afin d’ancrer les modèles dans le monde réel et les rendre plus efficaces dans l’exécution de tâches. L’API apporte aussi plusieurs améliorations de l’utilisabilité, notamment une conception unifiée basée sur des éléments, un polymorphisme simplifié, des événements de streaming intuitifs et des fonctions prédéfinies dans le SDK comme response.output_text, qui permet d’accéder facilement aux sorties texte du modèle.
L’API Responses est pensée pour les développeurs qui souhaitent combiner facilement les modèles d’OpenAI et les outils intégrés dans leurs applications sans avoir à multiplier les API ou les fournisseurs externes. Elle facilite aussi le stockage des données sur les serveurs OpenAI pour aider les développeurs à évaluer les performances des agents à l’aide de fonctionnalités comme le traçage et les évaluations. Pour rappel, nous n’entraînons pas nos modèles sur les données des entreprises par défaut, même lorsque ces données sont stockées sur nos serveurs. L’API est disponible pour tous les développeurs dès aujourd’hui et n’est pas facturée séparément. Les jetons et outils sont facturés selon nos tarifs standard, que vous pouvez retrouver sur la page de tarification(ouverture dans une nouvelle fenêtre). Consultez le guide de démarrage rapide(ouverture dans une nouvelle fenêtre) de l’API Responses pour en savoir plus.
- API Chat Completions(ouverture dans une nouvelle fenêtre) : Chat Completions reste notre API la plus utilisée et nous comptons la rendre compatible avec nos nouveaux modèles et capacités. Les développeurs qui n’ont pas besoin d’outils intégrés peuvent continuer à l’utiliser. Ils pourront accéder aux nouveaux modèles avec cette API, dans la mesure où les capacités de ces modèles ne dépendent pas d’outils intégrés ou d’appels à plusieurs modèles. Néanmoins, l’API Responses est un superset(ouverture dans une nouvelle fenêtre) de Chat Completions et propose un niveau de performance équivalent. Nous encourageons donc son utilisation pour les nouvelles intégrations.
- API Assistants(ouverture dans une nouvelle fenêtre) : Après analyse des commentaires des développeurs en lien avec la version bêta de l’API Assistants, nous avons décidé d’apporter des modifications importantes à l’API Responses pour la rendre plus flexible, plus rapide et plus simple d’utilisation. Nous travaillons à rendre l'API Responses aussi complète que l'API Assistants, avec la prise en charge d’objets similaires aux assistants et aux fils de discussion, et de l’interpréteur de code. Une fois cette opération terminée, nous annoncerons officiellement l’arrêt de la prise en charge de l’API Assistants pour la mi-2026. En parallèle de cette annonce, nous fournirons un guide de migration clair pour permettre aux développeurs de conserver toutes leurs données et de migrer leurs applications. Tant que nous n’aurons pas annoncé officiellement la fin de sa prise en charge, l’API Assistants pourra accéder à nos nouveaux modèles. Pour conclure, l’API Responses constitue l’option la plus pérenne pour créer des agents basés sur les modèles d’OpenAI.
Les développeurs peuvent désormais obtenir rapidement des réponses à jour, qui indiquent clairement les sources web utilisées. Dans l’API Responses, la recherche web fait partie des outils disponibles avec les modèles gpt-4 et gpt-4o-mini. Elle peut être associée à d’autres outils ou appels de fonction.
Lors de nos tests initiaux, nous avons constaté que les développeurs tiraient parti de la recherche web pour divers cas d’utilisation, notamment la création d’assistant de shopping, d’agents de recherche et d’agents de réservation de voyage. Leur point commun ? Ils nécessitent tous des informations à jour tirées du Web.
Ainsi, Hebbia(ouverture dans une nouvelle fenêtre) utilise l’outil de recherche web pour aider les gestionnaires de patrimoine, les fonds d’investissements, les établissements de crédit et les cabinets d’avocat à extraire rapidement des informations exploitables d’ensembles de donnés publics et privés volumineux. En intégrant la recherche en temps réel dans ses workflows de recherche, Hebbia peut fournir des informations plus riches et contextuelles sur les marchés, et améliorer en continu la précision et la pertinence de ses analyses, avec des résultats dépassant les références actuelles.
La recherche web via l’API repose sur le modèle utilisé pour ChatGPT search. Sur SimpleQA, une évaluation qui juge la précision des LLM sur des questions brèves et factuelles, GPT‑4o search preview et GPT‑4o mini search preview ont obtenu respectivement des scores de 90 % et 88 %.
Précision de SimpleQA (les valeurs les plus hautes sont les meilleures)
Les réponses générées avec la recherche web dans l’API incluent des liens vers les sources utilisées, comme des articles de presse ou de blog, pour aider les utilisateurs à approfondir le sujet qui les intéresse. La mise en évidence de ces sources dans les réponses offre des possibilités d’interaction inédites avec les informations et promet aux propriétaires de contenus de toucher un public plus large.
N’importe quel site web ou éditeur peut choisir d’apparaître(ouverture dans une nouvelle fenêtre) dans la recherche web de l’API.
L’outil de recherche web est accessible en version préliminaire dans l’API Responses pour tous les développeurs. Nous proposons également un accès direct à nos modèles de recherche ajustés via gpt-4o-search-preview et gpt-4o-mini-search-preview dans l’API Chat Completions. Le tarif(ouverture dans une nouvelle fenêtre) de cette fonctionnalité est de 30 $ pour 1 000 requêtes avec GPT‑4o et de 25 $ pour 1 000 requêtes avec 4o-mini. Testez la recherche web dans Playground(ouverture dans une nouvelle fenêtre) et allez plus loin en consultant notre documentation(ouverture dans une nouvelle fenêtre).
Les développeurs peuvent désormais extraire facilement des informations pertinentes d’un grand nombre de documents à l’aide de notre outil de recherche de fichiers amélioré. Il prend en charge de nombreux types de fichiers, l’optimisation des requêtes, le filtrage des métadonnées et le reclassement des informations sur critères personnalisés et peut ainsi générer des résultats rapides et précis. Encore une fois, grâce à l’API Responses, son intégration ne demande que quelques lignes de code.
L’outil de recherche de fichiers peut être utilisé dans divers scénarios concrets, par exemple pour permettre à un agent du service client d’accéder facilement à une FAQ, pour aider les assistants juridiques à retrouver rapidement une jurisprudence ou encore pour aider un agent de codage à faire une recherche dans une documentation technique. Navan(ouverture dans une nouvelle fenêtre) a intégré la recherche de fichiers à ses agents de voyage basés sur l’IA afin de répondre rapidement et précisément aux questions de ses voyageurs en s’appuyant sur les articles de sa base de connaissances (comme sa politique de voyage). Grâce à l’optimisation des requêtes et au reclassement des informations intégrés, l’entreprise a pu mettre en place un pipeline de génération augmentée de récupération (RAG) puissant sans ajustement ou configuration supplémentaire. Avec des magasins de vecteurs dédiés pour chaque groupe d’utilisateurs, Navan peut personnaliser les réponses en fonction des paramètres de comptes et des rôles de chaque utilisateur. Ses clients et son personnel gagnent ainsi du temps, et l’entreprise peut proposer un support à la fois précis et personnalisé.
Cet outil est accessible à tous les développeurs via l’API Responses. Son utilisation est facturée(ouverture dans une nouvelle fenêtre) 2,50 $ pour 1 000 requêtes. Le stockage de fichiers est quant à lui facturé 0,10 $/Go/jour (1er Go offert). L’outil reste disponible dans l’API Assistants. Enfin, nous avons ajouté un nouveau point de terminaison de recherche aux objets de l’API Vector Store. Il est ainsi possible d’interroger directement les données pour les utiliser dans d’autres applications et API. Pour en savoir plus, consultez notre documentation(ouverture dans une nouvelle fenêtre) et faites des tests dans Playground(ouverture dans une nouvelle fenêtre).
Pour créer des agents capables d’exécuter des tâches sur un ordinateur, les développeurs ont désormais accès à l’outil d’utilisation d’un ordinateur dans l’API Responses. Cet outil repose sur le modèle Computer-Using Agent (CUA) qu’utilise déjà Operator. Ce modèle en version préliminaire a atteint un nouveau record avec un score de 38,1 % sur les tâches demandant une utilisation complète d’un ordinateur sur OSWorld(ouverture dans une nouvelle fenêtre), de 58,1 % sur WebArena(ouverture dans une nouvelle fenêtre) et de 87 % sur WebVoyager(ouverture dans une nouvelle fenêtre), une évaluation centrée sur les interactions web.
L’outil capture les actions de la souris et du clavier générées par le modèle, ce qui permet aux développeurs d’automatiser les tâches d’utilisation d’un ordinateur en convertissant directement ces actions en commandes exécutables dans leur environnement.
Les développeurs peuvent s’appuyer sur l’outil pour automatiser les workflows reposant sur un navigateur, par exemple les tâches d’assurance qualité sur des applications web ou la saisie de données sur des systèmes hérités. Unify(ouverture dans une nouvelle fenêtre) propose par exemple des systèmes visant à booster les revenus des entreprises. Elle utilise des agents pour identifier l’intention des prospects, analyser les comptes et interagir avec les acheteurs. À l’aide de l’outil d’utilisation d’un ordinateur d’OpenAI, les agents de Unify peuvent consulter des informations jusque-là inaccessibles via des API. Par exemple, une entreprise de gestion immobilière peut vérifier via une carte en ligne si une entreprise a développé sa présence physique. Cette recherche génère un signal qui déclenche une communication personnalisée : les équipes commerciales peuvent ainsi interagir avec précision avec de nombreux acheteurs.
Luminai(ouverture dans une nouvelle fenêtre) a de son côté intégré l’outil d’utilisation d’un ordinateur pour automatiser des workflows opérationnels complexes de grandes entreprises utilisant des systèmes hérités n’ayant ni API ni données standardisées. Lors d’un récent projet pilote mené avec une grande entreprise de services communautaires, Luminai est parvenue à automatiser le traitement des demandes et l’inscription des utilisateurs en quelques jours. Ce type d’initiative nécessitait des mois d’efforts avec l’automatisation robotisée des processus (RPA) classique, avec des résultats incertains.
Avant de lancer CUA dans Operator l’année passée, nous avions réalisé des tests de sécurité complets et fait intervenir des équipes rouges pour évaluer trois domaines de risque : détournement, erreurs du modèle et risques frontières. Pour éliminer les risques que pose l’extension des capacités d’Operator aux systèmes d’exploitation locaux via CUA dans l’API, nous avons procédé à des évaluations supplémentaires et de nouveau mobilisé des équipes rouges. Nous avons également ajouté des mesures de sécurité pour les développeurs, notamment des contrôles de sécurité permettant d’éviter les injections de prompt, des prompts de confirmation pour les tâches sensibles, des outils permettant d’isoler leurs environnements et une détection améliorée des violations des politiques. Toutes ces mesures permettent de réduire les risques, mais le modèle peut encore faire des erreurs, en particulier hors des navigateurs. Par exemple, CUA atteint actuellement un score de 38,1 % sur OSWorld, une évaluation qui mesure la performance des agent d’IA sur des tâches du monde réel. Ce chiffre montre bien que le modèle n’est pas encore suffisamment fiable pour automatiser des tâches sur des systèmes d’exploitation. Une supervision humaine est recommandée dans ces scénarios. Pour en savoir plus sur les mesures de sécurité que nous avons déployées spécifiquement pour l’API, consultez la fiche système mise à jour.
| Type d’évaluation | Évaluation | Utilisation d’un ordinateur (interface universelle) | Agents de navigation sur le web | Humain | |
|---|---|---|---|---|---|
| OpenAI CUA | État de l’art précédent | État de l’art précédent | |||
| Utilisation d’un ordinateur | OSWorld | 38,1 % | 22,0 % | - | 72,4 % |
| Utilisation du navigateur | WebArena | 58,1 % | 36,2 % | 57,1 % | 78,2 % |
| WebVoyager | 87,0 % | 56,0 % | 87,0 % | - | |
L’outil d’utilisation d’un ordinateur est disponible dès aujourd’hui en version préliminaire dans l’API Responses pour certains développeurs des niveaux d’utilisation 3 à 5(ouverture dans une nouvelle fenêtre). Elle est facturée(ouverture dans une nouvelle fenêtre) 3 $ par million de jetons d’entrée et 12 $ par million de jetons de sortie. Consultez notre documentation(ouverture dans une nouvelle fenêtre) pour en savoir plus et notre exemple d’application(ouverture dans une nouvelle fenêtre) pour comprendre comment utiliser cet outil.
En plus de créer la logique de base des agents et de leurs donner accès aux outils assurant leur utilité, les développeurs doivent orchestrer les workflows agentiques. En réponse à cette problématique, nous proposons le SDK Agents, un SDK open source qui simplifie l’orchestration de workflows à plusieurs agents. Il propose des améliorations notables par rapport à Swarm(ouverture dans une nouvelle fenêtre), un SDK expérimental publié l’année dernière et qui a séduit la communauté des développeurs et de nombreux clients.
Parmi ces améliorations, nous pouvons noter :
- Agents : LLM facilement configurables, avec des instructions claires et des outils intégrés.
- Transferts : transferts intelligents du contrôle d’un agent à l’autre.
- Garde-fous : mécanismes de sécurité configurables pour la validation des saisies et des sorties.
- Traçage et observabilité : consultation des traces d’exécution des agents pour les déboguer et optimiser leurs performances.
Le SDK Agents est adapté à diverses applications concrètes, comme l’automatisation du support client, la recherche en plusieurs étapes, la génération de contenus, la revue de code et la prospection commerciale. Coinbase(ouverture dans une nouvelle fenêtre) a par exemple utilisé le SDK Agents pour créer rapidement un prototype d’AgentKit et le déployer. Ce kit d’outils permet aux agents d’IA d’interagir de manière fluide avec des wallets de cryptomonnaies et d’effectuer diverses activités sur la blockchain. Quelques heures ont suffi à Coinbase pour intégrer des actions personnalisées tirées de son SDK Developer Platform à un agent 100 % fonctionnel. L’architecture simplifiée d’AgentKit permet d’ajouter des nouvelles actions à l’agent plus facilement. Les développeurs peuvent ainsi se concentrer sur des intégrations plus pertinentes sans perdre de temps sur des configurations complexes.
En quelques jours, Box(ouverture dans une nouvelle fenêtre) a pu créer des agents qui utilisent la recherche web et le SDK Agents pour permettre aux entreprises de faire des recherches et d’extraire des informations à partir de données non structurées stockées dans Box et des sources web publiques. Cette approche permet aux clients d’accéder aux informations les plus récentes disponibles, mais aussi de consulter leurs données propriétaires internes de manière sécurisée, dans le respect de leurs autorisations et politiques de sécurité. Une entreprise de services financiers peut ainsi créer un agent personnalisé qui appelle l’agent d’IA Box pour intégrer son analyse de marché interne stockée sur Box à l’actualité en temps réel et à des données économiques tirées du Web afin de donner à ses analystes une vision complète à la lumière de laquelle ils pourront éclairer leurs décisions d’investissement.
Le SDK Agents est compatible avec les API Responses et Chat Completions. Il est également compatible avec les modèles d’autres fournisseurs qui proposent un point de terminaison d’API similaire à Chat Completions. Les développeurs peuvent l’intégrer dès à présent à leurs bases de code Python. La prise en charge de Node.js sera bientôt disponible. Pour en savoir plus, consultez notre documentation(ouverture dans une nouvelle fenêtre).
Lors de la conception du SDK Agents, notre équipe s’est inspirée des excellents travaux de la communauté, notamment des projets Pydantic(ouverture dans une nouvelle fenêtre), Griffe(ouverture dans une nouvelle fenêtre) et MkDocs(ouverture dans une nouvelle fenêtre). Nous nous engageons à continuer à développer le SDK Agents sous licence open source pour que la communauté puisse contribuer à notre travail.
Nous sommes persuadés que les agents deviendront bientôt des employés à part entière et amélioreront considérablement la productivité de divers secteurs. De plus en plus, les entreprises cherchent à réaliser des tâches complexes avec l’IA. Nous voulons leur fournir les bases nécessaires pour créer des systèmes autonomes ayant un impact concret.
Avec ces annonces, nous permettons aux développeurs et aux entreprises de créer, déployer et faire monter en puissance plus facilement des agents d’IA fiables et performants. À mesure que les modèles gagneront en capacités agentiques, nous continuerons d’investir dans des intégrations plus étroites avec nos API et dans de nouveaux outils pour faciliter le déploiement, l’évaluation et l’optimisation des agents en production. Notre objectif est de fournir aux développeurs une plateforme fluide de création d’agents capables de contribuer à diverses tâches dans un grand nombre de secteurs. Nous avons hâte de découvrir les idées des développeurs. Pour vous lancer, consultez notre documentation(ouverture dans une nouvelle fenêtre) et restez à l’affût de nos futures communications.