OpenAI opkøber Promptfoo
Fremskyndelse af agentbaserede sikkerhedstest- og evalueringskapaciteter i OpenAI Frontier
Vi opkøber Promptfoo, som er en AI-sikkerhedsplatform, der hjælper virksomheder med at identificere og afhjælpe sårbarheder i AI-systemer under udvikling. Når opkøbet er afsluttet, vil vi integrere Promptfoos teknologi direkte i OpenAI Frontier. vores platform til at udvikle og styre AI-medarbejdere.
Efterhånden som virksomheder implementerer AI-medarbejdere i reelle arbejdsgange, bliver evaluering, sikkerhed og overholdelse grundlæggende krav. Virksomheder har brug for systematiske måder til at teste agenters adfærd på, opdage risici før implementering og føre klare optegnelser for at understøtte tilsyn, styring og ansvarlighed over tid.
Promptfoo-teamet, som ledes af Ian Webster og Michael D’Angelo, har bygget en kraftfuld værktøjspakke, som over 25 procent af Fortune 500-virksomheder stoler på, sammen med en udbredt open source(åbner i et nyt vindue) CLI og et bibliotek til evaluering og red-teaming af LLM-applikationer. Sammen vil vi fortsætte med at opbygge open source-projektet, samtidig med at vi udvikler de integrerede virksomhedsfunktioner i Frontier.
"Promptfoo bringer dybdegående ingeniørekspertise inden for evaluering, sikring og test af AI-systemer i virksomhedsskala." Deres arbejde hjælper virksomheder med at implementere sikre og pålidelige AI-applikationer, og vi glæder os til at bringe disse funktioner direkte ind i Frontier.”
Vi vil bygge videre på flere kernekompetencer for virksomheder, der bygger agenter på Frontier:
- Sikkerhedstest indbygget i platformen: Automatiseret sikkerhedstestning og red-teaming-funktioner vil blive en integreret del af Frontier-platformen og hjælpe virksomheder med at identificere og afhjælpe risici som øjeblikkelige injektioner, jailbreaks, datalækager, misbrug af værktøjer og agentadfærd, der ikke overholder politikken.
- Sikkerhed og evaluering integreret i udviklingsworkflows: Frontier vil blive sikkert integreret sammen med de arbejdsgange, der er nødvendige for at identificere, undersøge og afhjælpe agentrisici tidligt, hvilket gør sikkerhed til en central del af, hvordan virksomheds-AI-systemer udvikles og drives.
- Overvågning og ansvarlighed: Integreret rapportering og sporbarhed vil hjælpe organisationer med at dokumentere test, overvåge ændringer over tid og opfylde de voksende forventninger til styring, risiko og overholdelse i forbindelse med AI.
“Vi startede Promptfoo, fordi udviklere havde brug for en praktisk måde at sikre AI-systemer på. Efterhånden som AI-agenter bliver mere forbundet med virkelige data og systemer, bliver det mere udfordrende og vigtigere end nogensinde at sikre og validere dem. Ved at tilslutte os OpenAI kan vi accelerere dette arbejde og give de teams, der bygger AI-systemer i den virkelige verden, stærkere sikkerheds-, trygheds- og styringskapaciteter.”
Vi er begejstrede for at byde Promptfoo-teamet velkommen og fortsætte med at udvikle de værktøjer, som virksomheder har brug for til at implementere sikker og pålidelig AI.
Gennemførelsen af opkøbet er underlagt de sædvanlige afslutningsbetingelser.
