OpenAI bo prevzel Promptfoo
Pospeševanje agentskega testiranja varnosti in evalvacije v platformi OpenAI Frontier
Prevzemamo Promptfoo, platformo za varnost UI, ki podjetjem pomaga pri razvoju prepoznati in odpraviti ranljivosti v sistemih UI. Po zaključku prevzema bomo tehnologijo Promptfoo neposredno vključili v OpenAI Frontier , našo platformo za razvoj in upravljanje sistemov sodelavcev UI.
Ko podjetja uvajajo digitalne sodelavce, ki temeljijo na UI, v obstoječe delovne tokove, postanejo evalvacija, varnost in skladnost temeljne zahteve. Podjetja potrebujejo sistematične načine za testiranje vedenja agentov, odkrivanje tveganj pred uvedbo in vzdrževanje jasne dokumentacije, ki skozi čas podpira nadzor, upravljanje in odgovornost.
Ekipa Promptfoo pod vodstvom Iana Webstra in Michaela D’Angela je razvila zmogljiv nabor orodij, ki jim zaupa več kot 25 odstotkov podjetij s seznama Fortune 500, skupaj s široko uporabljanim odprtokodnim(odpre se v novem oknu) vmesnikom z ukazno vrstico in programsko knjižnico za evalvacijo ter simulirano iskanje šibkih točk aplikacij velikih jezikovnih modelov. Skupaj bomo nadaljevali razvoj odprtokodnega projekta in hkrati nadgrajevali integrirane zmogljivosti za podjetja znotraj platforme Frontier.
»Promptfoo prinaša poglobljeno inženirsko strokovno znanje na področju evalvacije, varovanja in testiranja sistemov UI na ravni podjetij. Njihovo delo podjetjem pomaga uvajati varne in zanesljive aplikacije UI, zato nas veseli, da bomo te zmogljivosti neposredno vključili v Frontier.«
Gradili bomo na več ključnih zmogljivostih za podjetja, ki na platformi Frontier razvijajo agente:
- Testiranje varnosti in zaščite kot del platforme: Avtomatizirano testiranje varnosti in simulirano iskanje šibkih točk bo postalo vgrajen del platforme Frontier ter bo podjetjem pomagalo prepoznati in odpraviti tveganja, kot so vstavljanje zavajajočega poziva, jailbreaki, uhajanje podatkov, zloraba orodij in vedenja agentov, ki niso skladna s pravili uporabe.
- Varnost in evalvacija kot del razvojnih delovnih tokov:Frontier bo tesno integriran v delovne tokove, ki so potrebni za zgodnejše prepoznavanje, preiskovanje in odpravljanje tveganj, povezanih z agenti, s čimer bo varnost postala osrednji del razvoja in delovanja sistemov UI v podjetjih.
- Nadzor in odgovornost: Integrirano poročanje in sledljivost bosta organizacijam pomagala dokumentirati testiranja, spremljati spremembe skozi daljše obdobje ter izpolnjevati naraščajoče zahteve na področju upravljanja, tveganj in skladnosti pri sistemih UI.
»Promptfoo smo ustanovili, ker so razvijalci potrebovali praktičen način za zaščito sistemov UI. Ker digitalni agenti, ki temeljijo na UI, postajajo vse bolj povezani z dejanskimi podatki in sistemi, je njihovo varovanje in preverjanje pravilnega delovanja vse zahtevnejše in pomembnejše. Pridružitev OpenAI nam omogoča, da to delo pospešimo ter ekipam, ki gradijo sisteme UI v resničnem svetu, zagotovimo še močnejše zmogljivosti na področju varnosti, zaščite in upravljanja.«
Veselimo se, da bomo ekipo Promptfoo pozdravili v OpenAI in nadaljevali razvoj orodij, ki jih podjetja potrebujejo za uvedbo varnih in zanesljivih sistemov UI.
Zaključek prevzema je odvisen od izpolnitve običajnih pogojev za zaključek transakcije.
