OpenAI preuzima Promptfoo
Ubrzavanje bezbednosnog testiranja agenata i mogućnosti evaluacije u OpenAI Frontier
Preuzimamo Promptfoo, platformu za bezbednost AI koja pomaže kompanijama da tokom razvoja identifikuju i otklone ranjivosti u AI sistemima. Kada preuzimanje bude završeno, integrišemo tehnologiju kompanije Promptfoo direktno u OpenAI Frontier, našu platformu za izgradnju i upravljanje AI saradnicima.
Kako kompanije uvode AI saradnike u stvarne tokove rada, evaluacija, bezbednost i usklađenost postaju osnovni zahtevi. Kompanijama su potrebni sistematični načini da testiraju ponašanje agenata, otkriju rizike pre uvođenja i vode jasnu evidenciju radi nadzora, upravljanja i odgovornosti tokom vremena.
Tim Promptfoo, koji predvode Ian Webster i Michael D’Angelo, izgradio je moćan skup alata kojem veruje više od 25 odsto kompanija sa liste Fortune 500, kao i широко korišćen open-source(отвара се у новом прозору) CLI i biblioteku za evaluaciju i red-teaming aplikacija zasnovanih na velikim jezičkim modelima (LLM). Zajedno ćemo nastaviti da razvijamo open-source projekat, uz unapređenje integrisanih poslovnih mogućnosti unutar Frontier.
„Promptfoo donosi duboku inženjersku ekspertizu u evaluaciji, obezbeđivanju i testiranju AI sistema u razmerama potrebnim velikim kompanijama. Njihov rad pomaže preduzećima da uvedu bezbedne i pouzdane AI aplikacije, a raduje nas što ove mogućnosti direktno donosimo u Frontier.“
Nadogradićemo nekoliko ključnih mogućnosti za kompanije koje grade agente na platformi Frontier:
- Bezbednosno testiranje i testiranje bezbednosti ugrađeno u platformu: Automatizovano bezbednosno testiranje i mogućnosti red-teaminga postaće izvorni deo platforme Frontier, pomažući kompanijama da identifikuju i otklone rizike kao što su umetanje instrukcije, jailbreak napadi, curenje podataka, zloupotreba alata i ponašanja agenata van definisanih politika.
- Bezbednost i evaluacija integrisane u razvojne tokove rada: Frontier će biti duboko integrisan sa tokovima rada potrebnim za rano prepoznavanje, ispitivanje i otklanjanje rizika povezanih sa agentima, čime bezbednost postaje ključni deo razvoja i upravljanja poslovnim AI sistemima.
- Nadzor i odgovornost: Integrisano izveštavanje i mogućnost praćenja pomoći će organizacijama da dokumentuju testiranje, prate promene tokom vremena i ispune sve veća očekivanja u vezi sa upravljanjem, rizikom i usklađenošću za AI.
„Pokrenuli smo Promptfoo zato što je programerima bio potreban praktičan način da obezbede AI sisteme. Kako AI agenti postaju sve povezaniji sa stvarnim podacima i sistemima, njihovo obezbeđivanje i validacija postaju izazovniji i važniji nego ikad. Pridruživanje kompaniji OpenAI omogućava nam da ubrzamo ovaj rad i timovima koji grade AI sisteme za stvarni svet donesemo snažnije mogućnosti za bezbednost, sigurnost i upravljanje.“
Raduje nas što možemo da poželimo dobrodošlicu timu Promptfoo i nastavimo da razvijamo alate koji su kompanijama potrebni za bezbedno i pouzdano uvođenje AI.
Zaključenje preuzimanja zavisi od uobičajenih uslova za zaključenje.
