OpenAI kjøper Promptfoo
Akselererer agentiske funksjoner for sikkerhetstesting og evaluering i OpenAI Frontier
Vi kjøper Promptfoo, en AI-sikkerhetsplattform som hjelper bedrifter med å identifisere og utbedre sårbarheter i AI-systemer under utvikling. Når oppkjøpet er fullført, vil vi integrere Promptfoos teknologi direkte i OpenAI Frontier, plattformen vår for å bygge og drifte AI-kolleger.
Når virksomheter implementerer AI-kolleger i reelle arbeidsflyter, blir evaluering, sikkerhet og samsvar grunnleggende krav. Virksomheter trenger systematiske metoder for å teste agentens atferd, oppdage risiko før utrulling og opprettholde tydelige registre for å støtte oversikt, styring og ansvarlighet over tid.
Promptfoo-teamet, ledet av Ian Webster og Michael D’Angelo, har bygget en kraftig verktøypakke som over 25 prosent av Fortune 500-selskaper stoler på, sammen med en mye brukt CLI med åpen kildekode(åpnes i et nytt vindu) og et bibliotek for å evaluere og red-teaming av LLM-applikasjoner. Sammen vil vi fortsette å utvikle prosjektet med åpen kildekode, samtidig som vi videreutvikler de integrerte funksjonene i virksomheten i Frontier.
«Promptfoo har dyp teknisk ekspertise innen evaluering, sikring og testing av AI-systemer på virksomhetsnivå. Arbeidet deres hjelper virksomheter med å implementere sikre og pålitelige AI-applikasjoner, og vi gleder oss til å overføre disse funksjonene direkte i Frontier».
Vi vil videreutvikle flere kjernefunksjoner for virksomheter som bygger agenter i Frontier:
- Sikkerhets- og trygghetstesting innebygd i plattformen: Automatisert sikkerhetstesting og red teaming-funksjoner vil bli en integrert del av Frontier-plattformen, noe som hjelper virksomheter med å identifisere og utbedre risikoer som promptinjeksjon, jailbreaks, datalekkasjer, feil bruk av verktøy og agentatferd som bryter med retningslinjene.
- Sikkerhet og evaluering integrert i utviklingsarbeidsflyter: Frontier vil integreres tett med arbeidsflytene som trengs for å identifisere, undersøke og utbedre agentrisikoer tidligere, og gjøre sikkerhet til en kjernekomponent for hvordan KI-systemer for virksomheter utvikles og betjenes.
- Oversikt og ansvarlighet: Integrert rapportering og sporbarhet vil hjelpe organisasjoner med å dokumentere testing, overvåke endringer over tid og oppfylle økende forventninger til styring, risiko og samsvarsforventninger for AI.
«Vi startet Promptfoo fordi utviklere trengte en praktisk metode for å sikre KI-systemer. Etter hvert som KI-agenter blir mer tilkoblet ekte data og systemer, blir det mer utfordrende og viktigere enn noensinne å sikre og validere dem. Ved å bli en del av OpenAI gjør at vi kan akselerere dette arbeidet og bringe sterkere funksjoner for sikkerhet, trygghet og styring til teamene som bygger AI-systemer i den virkelige verden».
Vi gleder oss til å ønske Promptfoo-teamet velkommen, og fortsette å utvikle verktøyene virksomhetene trenger for å implementere sikker og pålitelig AI.
Gjennomføringen av oppkjøpet er underlagt vanlige betingelser for gjennomføring.
