OpenAI získava Promptfoo
Urýchlenie schopností bezpečnostného testovania a hodnotenia agentov v OpenAI Frontier
Získavame Promptfoo, bezpečnostnú platformu pre umelú inteligenciu, ktorá pomáha podnikom identifikovať a odstraňovať zraniteľnosti v systémoch umelej inteligencie počas vývoja. Po dokončení akvizície integrujeme technológiu Promptfoo priamo do OpenAI Frontier, našej platformy na budovanie a prevádzku AI spolupracovníkov.
Keďže podniky nasadzujú spolupracovníkov s umelou inteligenciou do reálnych pracovných postupov, hodnotenie, bezpečnosť a dodržiavanie predpisov sa stávajú základnými požiadavkami. Podniky potrebujú systematické spôsoby testovania správania agentov, detekcie rizík pred nasadením a udržiavania prehľadných záznamov na podporu dohľadu, riadenia a zodpovednosti v priebehu času.
Tím Promptfoo, vedený Ianom Websterom a Michaelom D'Angelom, vytvoril výkonnú sadu nástrojov, ktorým dôveruje viac ako 25 percent spoločností z rebríčka Fortune 500, spolu s bežne používaným CLI s otvoreným zdrojovým kódom(otvorí sa v novom okne) a knižnicou na vyhodnocovanie a testovanie nových LLM aplikácií červeným tímom. Spoločne budeme pokračovať v budovaní projektu s otvoreným zdrojovým kódom a zároveň budeme rozvíjať integrované podnikové možnosti v rámci Frontier.
„Promptfoo prináša rozsiahle inžinierske znalosti v oblasti hodnotenia, zabezpečovania a testovania systémov umelej inteligencie v podnikovom meradle. Jeho práca pomáha firmám nasadzovať bezpečné a spoľahlivé aplikácie umelej inteligencie a my sme nadšení, že tieto funkcie môžeme priamo priniesť do spoločnosti Frontier.“
Budeme stavať na niekoľkých kľúčových funkciách pre podniky, ktoré budujú agentov na platforme Frontier:
- Testovanie bezpečnosti a ochrany zabudované do platformy: Funkcie automatizovaného testovania bezpečnosti a testovania červeným tímom sa stanú natívnou súčasťou platformy Frontier a pomôžu podnikom identifikovať a naprávať riziká, ako sú vkladanie falošných príkazov, jailbreaky, úniky údajov, zneužitie nástrojov a správanie agentov mimo pravidiel.
- Bezpečnosť a hodnotenie integrované do vývojových pracovných postupov: Frontier sa hlboko integruje s pracovnými postupmi potrebnými na skoršiu identifikáciu, vyšetrovanie a nápravu rizík agentov, čím sa bezpečnosť stane kľúčovou súčasťou vývoja a prevádzky podnikových systémov umelej inteligencie.
- Dohľad a zodpovednosť: Integrované podávanie správ a sledovateľnosť pomôžu organizáciám dokumentovať testovanie, monitorovať zmeny v priebehu času a spĺňať rastúce očakávania v oblasti riadenia, rizík a dodržiavania predpisov v oblasti umelej inteligencie.
„Promptfoo sme založili, pretože vývojári potrebovali praktický spôsob, ako zabezpečiť systémy s umelou inteligenciou. Keďže agenti umelej inteligencie sú čoraz viac prepojení s reálnymi údajmi a systémami, ich zabezpečenie a overovanie je náročnejšie a dôležitejšie ako kedykoľvek predtým. Pripojenie sa k OpenAI nám umožňuje urýchliť túto prácu a priniesť tímom, ktoré budujú systémy umelej inteligencie v reálnom svete, silnejšie bezpečnostné, ochranné a riadiace funkcie.“
S nadšením vítame tím Promptfoo a pokračujeme vo vývoji nástrojov, ktoré podniky potrebujú na nasadenie bezpečnej a spoľahlivej umelej inteligencie.
Uzavretie akvizície podlieha bežným podmienkam uzavretia.
