OpenAI do të blejë Promptfoo
Përshpejtimi i aftësive të testimit dhe vlerësimit të sigurisë agjentike në OpenAI Frontier
Po e blejmë Promptfoo, një platformë sigurie për AI që i ndihmon ndërmarrjet të identifikojnë dhe të korrigjojnë dobësitë në sistemet AI gjatë zhvillimit. Pasi të finalizohet blerja, do të integrojmë teknologjinë e Promptfoo drejtpërdrejt në OpenAI Frontier, platformën tonë për ndërtimin dhe operimin e bashkëpunëtorëve të AI.
Ndërsa ndërmarrjet vendosin kolegë të AI në flukse reale të punës, vlerësimi, siguria dhe pajtueshmëria bëhen kërkesa themelore. Ndërmarrjet kanë nevojë për mënyra sistematike për të testuar sjelljen e agjentëve, për të zbuluar rreziqet përpara implementimit dhe për të mbajtur regjistra të qartë për të mbështetur mbikëqyrjen, qeverisjen dhe llogaridhënien me kalimin e kohës.
Ekipi i Promptfoo, i udhëhequr nga Ian Webster dhe Michael D’Angelo, ka ndërtuar një suitë të fuqishme mjetesh, të besuara nga mbi 25% e kompanive të Fortune 500, së bashku me një CLI dhe bibliotekë me burim të hapur(hapet në një dritare të re) të përdorur gjerësisht për vlerësimin dhe simulim sulmesh të aplikacioneve LLM. Së bashku, do të vazhdojmë të ndërtojmë projektin me burim të hapur, ndërsa njëkohësisht do të avancojmë aftësitë e integruara për ndërmarrje brenda Frontier.
“Promptfoo sjell ekspertizë të thellë inxhinierike në vlerësimin, sigurimin dhe testimin e sistemeve AI në shkallë të gjerë për ndërmarrje. Puna e tyre i ndihmon bizneset të vendosin aplikacione të AI të sigurta dhe të besueshme, dhe jemi të entuziazmuar t’i sjellim këto aftësi drejtpërdrejt në Frontier.”
Do të ndërtojmë mbi disa aftësi thelbësore për ndërmarrjet që ndërtojnë agjentë në Frontier:
- Testimi i sigurisë dhe mbrojtjes i integruar në platformë: Aftësitë e testimit të automatizuar të sigurisë dhe simulimit të sulmesh do të bëhen një pjesë vendase e platformës avangardë, duke ndihmuar ndërmarrjet të identifikojnë dhe zbusin rreziqe si injektim i kërkesave, jailbreak-et, rrjedhjet e të dhënave, keqpërdorimi i mjeteve dhe sjelljet e agjentëve jashtë politikave.
- Siguria dhe vlerësimi të integruara në rrjedhat e punës së zhvillimit: Frontier do të integrohet thellësisht me rrjedhat e punës të nevojshme për të identifikuar, hetuar dhe zbutur rreziqet e agjentëve më herët, duke e bërë sigurinë një pjesë thelbësore të mënyrës se si sistemet AI për ndërmarrje zhvillohen dhe operohen.
- Mbikëqyrja dhe llogaridhënia: Raportimi i integruar dhe monitorimi do t’i ndihmojnë organizatat të dokumentojnë testimin, të monitorojnë ndryshimet me kalimin e kohës dhe të përmbushin pritshmëritë në rritje për qeverisjen, rrezikun dhe pajtueshmërinë për AI.
“Ne e nisëm Promptfoo sepse zhvilluesit kishin nevojë për një mënyrë praktike për të siguruar sistemet AI. Ndërsa agjentët AI bëhen më të lidhur me të dhëna dhe sisteme reale, sigurimi dhe verifikimi i tyre është më sfidues dhe më i rëndësishëm se kurrë. Bashkimi me OpenAI na lejon ta përshpejtojmë këtë punë, duke u sjellë ekipeve që ndërtojnë sisteme AI në botën reale aftësi më të forta sigurie, kujdesi dhe qeverisjeje.”
Kemi kënaqësinë të mirëpresim ekipin Promptfoo dhe të vazhdojmë të ndërtojmë mjetet që u nevojiten ndërmarrjeve për të vendosur AI të sigurt dhe të besueshme.
Mbyllja e blerjes u nënshtrohet kushteve të zakonshme të mbylljes.
