OpenAI preuzima Promptfoo
Ubrzavanje testiranja sigurnosti i evaluacijskih mogućnosti u OpenAI Frontier
Preuzimamo Promptfoo, platformu za UI sigurnost koja pomaže preduzećima da identifikuju i otklone ranjivosti u UI sistemima tokom razvoja. Kada akvizicija bude finalizirana, integrisat ćemo Promptfooovu tehnologiju direktno u OpenAI granični, našu platformu za izgradnju i upravljanje AI saradnicima.
Kako preduzeća implementiraju UI saradnike u stvarne radne tokove, evaluacija, sigurnost i usklađenost postaju temeljni zahtjevi. Preduzećima su potrebni sistematični načini da testiraju ponašanje agenta, otkriju rizike prije implementacije i održavaju jasnu evidenciju kako bi podržali nadzor, upravljanje i odgovornost tokom vremena.
Tim Promptfoo, predvođen Ianom Websterom i Michaelom D’Angelom, izgradio je moćan paket alata kojem vjeruje više od 25 posto kompanija sa liste Fortune 500, zajedno sa široko korištenim open-source(otvara se u novom prozoru) CLI-jem i bibliotekom za evaluaciju i red teaming LLM aplikacija. Zajedno ćemo nastaviti graditi open-source projekat, a istovremeno unapređivati integrisane mogućnosti za preduzeća unutar Graničnog.
„Promptfoo donosi duboku inženjersku stručnost u evaluaciji, osiguravanju i testiranju UI sistema na nivou preduzeća. Njihov rad pomaže preduzećima da implementiraju sigurne i pouzdane AI aplikacije, i uzbuđeni smo što ove mogućnosti donosimo direktno u granični.”
Nadogradićemo nekoliko osnovnih mogućnosti za preduzeća koja grade agente na graničnoj platformi:
- Sigurnosno testiranje ugrađeno u platformu: Automatizirano sigurnosno testiranje i mogućnosti red teaminga postaće izvorni dio granične platforme Frontier, pomažući preduzećima da identificiraju i otklone rizike kao što su ubrizgavanje upita, jailbreakovi, curenje podataka, zloupotreba alata i ponašanja agenta koja nisu u skladu sa politikama.
- Sigurnost i evaluacija integrisane u razvojne tokove rada: Frontier će se duboko integrisati sa tokovima rada potrebnim za ranije identifikovanje, istraživanje i otklanjanje rizika agenta, čineći sigurnost ključnim dijelom načina na koji se poslovni UI sistemi razvijaju i koriste.
- Nadzor i odgovornost: Integrisano izvještavanje i sljedivost pomoći će organizacijama da dokumentuju testiranje, prate promjene tokom vremena i ispune rastuća očekivanja u pogledu upravljanja, rizika i usklađenosti za UI.
„Pokrenuli smo Promptfoo jer je programerima bio potreban praktičan način da osiguraju UI sisteme. Kako AI agenti postaju sve povezaniji sa stvarnim podacima i sistemima, njihovo osiguravanje i validiranje je izazovnije i važnije nego ikad. Pridruživanje OpenAI-ju omogućava nam da ubrzamo ovaj rad, donoseći snažnije mogućnosti sigurnosti, bezbjednosti i upravljanja timovima koji grade AI sisteme u stvarnom svijetu.”
Uzbuđeni smo što možemo poželjeti dobrodošlicu timu Promptfoo i nastaviti razvijati alate potrebne preduzećima za implementaciju sigurne i pouzdane UI.
Zaključenje akvizicije podliježe uobičajenim uslovima zatvaranja.
