OpenAI preuzima Promptfoo
Ubrzavanje ispitivanja sigurnosti agenata i mogućnosti procjene u OpenAI Frontieru
Preuzimamo Promptfoo, platformu za sigurnost umjetne inteligencije koja pomaže poduzećima identificirati i otkloniti ranjivosti u AI sustavima tijekom razvoja. Nakon što preuzimanje bude finalizirano, integrirat ćemo tehnologiju Promptfoo izravno u OpenAI Frontier, našu platformu za izradu i upravljanje AI suradnicima.
Kako poduzeća implementiraju AI suradnike u stvarne radne tokove, procjena, sigurnost i usklađenost postaju temeljni zahtjevi. Poduzećima su potrebni sustavni načini za ispitivanje ponašanja izvršitelja (agenta), otkrivanje rizika prije implementacije i održavanje jasne evidencije kako bi se s vremenom podržali nadzor, upravljanje i odgovornost.
Tim Promptfoo, koji predvode Ian Webster i Michael D’Angelo, izgradio je moćan paket alata kojem vjeruje više od 25 % tvrtki s popisa Fortune 500, zajedno sa široko korištenim open-source(otvara se u novom prozoru) CLI-jem i bibliotekom za procjenu i red teaming LLM aplikacija. Zajedno ćemo nastaviti graditi projekt otvorenog kôda, a istovremeno unapređivati integrirane mogućnosti za poduzeća unutar granične platforme.
“Promptfoo donosi duboku inženjersku stručnost u procjeni, osiguravanju i testiranju AI sustava na razini poduzeća u velikom opsegu. Njihov rad pomaže tvrtkama u implementaciji sigurnih i pouzdanih AI aplikacija, a uzbuđeni smo što ćemo te mogućnosti donijeti izravno u Frontier.”
Nadogradit ćemo nekoliko ključnih mogućnosti za poduzeća koja izrađuju agente na Frontieru:
- Sigurnosno i zaštitno ispitivanje ugrađeno u platformu: automatizirano sigurnosno testiranje i mogućnosti red teaming postat će sastavni dio platforme Frontier, pomažući poduzećima da prepoznaju i otklone rizike poput ubrizgavanja upita, jailbreakova, curenja podataka, zlouporabe alata i ponašanja agenata izvan pravila.
- Sigurnost i procjena integrirane u razvojne radne tokove: Frontier će se duboko integrirati s radnim tokovima potrebnim za ranije prepoznavanje, istraživanje i otklanjanje rizika agenata, čineći sigurnost ključnim dijelom načina na koji se AI sustavi za poduzeća razvijaju i koriste.
- Nadzor i odgovornost: integrirano izvješćivanje i sljedivost pomoći će organizacijama dokumentirati ispitivanje, pratiti promjene tijekom vremena i ispuniti rastuća očekivanja u pogledu upravljanja, rizika i usklađenosti za AI.
„Pokrenuli smo Promptfoo jer je programerima bio potreban praktičan način za osiguranje AI sustava.“ Kako AI agenti postaju povezaniji sa stvarnim podacima i sustavima, njihovo osiguranje i provjera postaju izazovniji i važniji nego ikad prije. Pridruživanje OpenAI-ju omogućuje nam ubrzanje ovog rada, donoseći snažnije mogućnosti sigurnosti, zaštite i upravljanja timovima koji grade AI sustave za stvarni svijet.
Veselimo se što možemo poželjeti dobrodošlicu timu Promptfoo i nastaviti razvijati alate koji su poduzećima potrebni za primjenu sigurne i pouzdane umjetne inteligencije.
Zaključenje preuzimanja podložno je uobičajenim uvjetima zatvaranja.
