OpenAI získá Promptfoo
Zrychlení schopností testování a hodnocení zabezpečení agentů v průkopnickém OpenAI
Kupujeme Promptfoo, platformu pro zabezpečení AI, která pomáhá podnikům identifikovat a odstraňovat zranitelnosti v systémech AI během vývoje. Jakmile bude akvizice dokončena, integrujeme průkopnickou technologii Promptfoo přímo do OpenAI Frontier, naší platformy pro budování a provoz AI spolupracovníků.
S tím, jak podniky nasazují AI spolupracovníky do reálných pracovních postupů, hodnocení, zabezpečení a dodržování předpisů se stávají základními požadavky. Podniky potřebují systematické způsoby testování chování agentů, detekce rizik před nasazením a vedení přehledných záznamů na podporu dohledu, správy a odpovědnosti v průběhu času.
Tým Promptfoo, vedený Ianem Websterem a Michaelem D’Angelo, vybudoval výkonnou sadu nástrojů, kterým důvěřuje více než 25 % společností z Fortune 500, spolu se široce používaným open-source(otevře se v novém okně) CLI a knihovnou pro vyhodnocování a red-teaming aplikací LLM. Společně budeme pokračovat v budování open-source projektu a zároveň rozvíjet integrované firemní schopnosti v rámci Frontier.
„Promptfoo přináší hluboké vývojářské know-how v oblasti vyhodnocování, zabezpečení a testování systémů AI v podnikovém prostředí ve velkém měřítku.“ Jejich práce pomáhá firmám nasazovat bezpečné a spolehlivé aplikace AI a těšíme se, že tyto schopnosti přineseme přímo do Frontier.“
Budeme stavět na několika základních schopnostech pro podniky, které vytvářejí agenty ve Frontier:
- Bezpečnostní testování a testování ochrany zabudované přímo do platformy: Automatizované bezpečnostní testování a možnosti red-teamingu se stanou nativní součástí průkopnické platformy a pomohou podnikům identifikovat a napravovat rizika, jako jsou injektáž promptů, jailbreaky, úniky dat, zneužití nástrojů a chování agentů v rozporu se zásadami.
- Zabezpečení a vyhodnocování integrované do vývojových pracovních postupů: Frontier se hluboce integruje s pracovními postupy potřebnými k dřívější identifikaci, prošetření a nápravě rizik agentů, díky čemuž se zabezpečení stane základní součástí toho, jak se podnikové systémy AI vyvíjejí a provozují.
- Dohled a odpovědnost: Integrované reportování a sledovatelnost pomáhají organizacím dokumentovat testování, sledovat změny v průběhu času a splňovat rostoucí očekávání v oblasti správy, řízení rizik a dodržování předpisů pro AI.
„Promptfoo jsme založili, protože vývojáři potřebovali praktický způsob, jak zabezpečit systémy umělé inteligence. S tím, jak se agenti umělé inteligence stále více propojují se skutečnými daty a systémy, je jejich zabezpečení a ověřování náročnější a důležitější než kdy dřív. Připojení k OpenAI nám umožní urychlit tuto práci a přinést týmům, které vytvářejí systémy umělé inteligence pro reálné použití, silnější schopnosti v oblasti zabezpečení, bezpečnosti a správy.
S nadšením vítáme tým Promptfoo a pokračujeme v budování nástrojů, které podniky potřebují k nasazení bezpečné a spolehlivé umělé inteligence.
Uzavření akvizice je podmíněno splněním obvyklých podmínek pro uzavření transakce.
