OpenAI va acquérir Promptfoo
Renforcer les capacités de test et d’évaluation de la sécurité agentique dans les systèmes d’IA de pointe d’OpenAI
Nous faisons l’acquisition de Promptfoo, une plateforme de sécurité de l’IA qui aide les entreprises à identifier et corriger les vulnérabilités dans les systèmes d’IA pendant la phase de développement. Une fois l’acquisition finalisée, nous intégrerons la technologie de Promptfoo directement dans OpenAI Frontier, notre plateforme pour concevoir et faire fonctionner des collaborateurs IA.
Alors que les entreprises déploient des collaborateurs IA dans des workflows réels, l’évaluation, la sécurité et la conformité deviennent des exigences fondamentales. Les entreprises ont besoin de méthodes systématiques pour tester le comportement des agents, détecter les risques avant le déploiement et conserver des traces claires afin de soutenir la supervision, la gouvernance et la responsabilité dans la durée.
L’équipe Promptfoo, dirigée par Ian Webster et Michael D’Angelo, a développé une puissante suite d’outils utilisée par plus de 25 % des entreprises du Fortune 500, ainsi qu’un CLI open source(ouverture dans une nouvelle fenêtre) et une bibliothèque largement adoptés pour l’évaluation et les exercices d'équipe rouge des applications LLM. Ensemble, nous continuerons à développer le projet open source tout en faisant progresser les capacités d’entreprise intégrées dans Frontier.
« Promptfoo apporte une expertise d’ingénierie approfondie dans l’évaluation, la sécurisation et le test des systèmes d’IA à l’échelle de l’entreprise. » Leur travail aide les entreprises à déployer des applications d’IA sécurisées et fiables, et nous sommes ravis d’intégrer ces capacités directement dans Frontier. »
Nous allons nous appuyer sur plusieurs capacités clés pour les entreprises qui développent des agents sur Frontier :
- Tests de sécurité et de sûreté intégrés à la plateforme : Des capacités automatisées de test de sécurité et d'exercices d’équipe rouge deviendront une partie native de la plateforme Frontier, aidant les entreprises à identifier et corriger des risques tels que les attaques par injection de prompt, les jailbreaks, les fuites de données, les usages abusifs des outils et les comportements d’agents non conformes aux politiques.
- Sécurité et évaluation intégrées aux workflows de développement : Frontier s’intégrera étroitement aux workflows nécessaires pour identifier, analyser et corriger les risques liés aux agents plus tôt dans le processus, faisant de la sécurité un élément central du développement et de l’exploitation des systèmes d’IA en entreprise.
- Supervision et responsabilité : Des fonctionnalités intégrées de production de rapports et de traçabilité aideront les organisations à documenter les tests, à suivre les évolutions dans le temps et à répondre aux exigences croissantes en matière de gouvernance, de gestion des risques et de conformité pour l’IA.
« Nous avons créé Promptfoo parce que les développeurs avaient besoin d’un moyen concret de sécuriser les systèmes d’IA. Alors que les agents d’IA se connectent davantage aux données et aux systèmes réels, leur sécurisation et leur validation deviennent plus difficiles et plus importantes que jamais. Rejoindre OpenAI nous permet d’accélérer ce travail pour apporter des capacités renforcées en matière de sécurité, de sûreté et de gouvernance aux équipes qui développent des systèmes d’IA pour des usages réels. »
Nous sommes ravis d’accueillir l’équipe Promptfoo et de continuer à développer les outils dont les entreprises ont besoin pour déployer une IA sécurisée et fiable.
La finalisation de l’acquisition est soumise aux conditions de clôture habituelles.
