OpenAI neemt Promptfoo over
Snellere beveiligingstests en evaluatie voor agents in OpenAI Frontier
We nemen Promptfoo over, een AI-beveiligingsplatform dat ondernemingen helpt kwetsbaarheden in AI-systemen tijdens de ontwikkeling te identificeren en te verhelpen. Zodra de overname is afgerond, integreren we de technologie van Promptfoo rechtstreeks in OpenAI Frontier, ons platform voor het bouwen en inzetten van AI-collega's.
Naarmate ondernemingen AI-collega's implementeren in echte workflows, worden evaluatie, beveiliging en naleving fundamentele vereisten. Ondernemingen hebben systematische manieren nodig om agentgedrag te testen, risico's vóór implementatie te detecteren en duidelijke registraties bij te houden om toezicht, governance en verantwoording in de loop van de tijd te ondersteunen.
Het Promptfoo-team, onder leiding van Ian Webster en Michael D’Angelo, heeft een krachtige suite van tools gebouwd die door meer dan 25 procent van de Fortune 500-bedrijven wordt vertrouwd, samen met een veelgebruikte open-source(opent in een nieuw venster) CLI en bibliotheek voor het evalueren en red teaming van LLM-applicaties. Samen blijven we het open-sourceproject bouwen en tegelijkertijd de geïntegreerde enterprise-mogelijkheden binnen Frontier verder ontwikkelen.
"Promptfoo brengt diepgaande technische expertise in het evalueren, beveiligen en testen van AI-systemen op ondernemingsniveau. Hun werk helpt bedrijven om veilige en betrouwbare AI-applicaties te implementeren, en we kijken ernaar uit om deze mogelijkheden rechtstreeks in Frontier te integreren."
We bouwen voort op verschillende kerncapaciteiten voor ondernemingen die agents bouwen op Frontier:
- Beveiligings- en veiligheidstests ingebouwd in het platform: Geautomatiseerde beveiligingstests en red-teamingmogelijkheden worden een vast onderdeel van het Frontier-platform. Daarmee kunnen bedrijven risico’s zoals prompt-injecties, jailbreaks, datalekken, misbruik van tools en agentgedrag dat buiten het beleid valt identificeren en aanpakken.
- Beveiliging en evaluatie geïntegreerd in ontwikkelworkflows: Frontier wordt diep geïntegreerd met de workflows die nodig zijn om agentrisico’s eerder te identificeren, onderzoeken en verhelpen, waardoor beveiliging een kernonderdeel wordt van hoe AI-systemen voor ondernemingen worden ontwikkeld en beheerd.
- Toezicht en verantwoording: Geïntegreerde rapportage en traceerbaarheid helpen organisaties om tests te documenteren, veranderingen in de loop van de tijd te monitoren en te voldoen aan de groeiende verwachtingen op het gebied van governance, risk en compliance voor AI.
“We zijn Promptfoo begonnen omdat ontwikkelaars een praktische manier nodig hadden om AI-systemen te beveiligen. Naarmate AI-agents meer verbonden raken met echte data en systemen, wordt het beveiligen en valideren ervan uitdagender en belangrijker dan ooit. Door ons aan te sluiten bij OpenAI kunnen we dit werk versnellen en sterkere mogelijkheden op het gebied van beveiliging, veiligheid en governance bieden aan de teams die AI-systemen voor gebruik in de praktijk bouwen.”
We zijn verheugd om het Promptfoo-team te verwelkomen en verder te bouwen aan de tools die ondernemingen nodig hebben om veilige, betrouwbare AI te implementeren.
De afronding van de overname is afhankelijk van gebruikelijke afsluitvoorwaarden.
