„OpenAI“ įsigis „Promptfoo“
Agentų saugumo testavimo ir vertinimo pajėgumų spartinimas „OpenAI Frontier“ platformoje
Įsigyjame „Promptfoo“ – dirbtinio intelekto (DI) saugumo platformą, padedančią įmonėms nustatyti ir šalinti dirbtinio intelekto sistemų pažeidžiamumus jas kuriant. Užbaigę įsigijimą, integruosime „Promptfoo“ technologiją tiesiogiai į „OpenAI Frontier“ – mūsų platformą, skirtą dirbtinio intelekto bendradarbiams kurti ir valdyti.
Įmonėms diegiant DI bendradarbius į realias darbo eigas, vertinimas, saugumas ir atitiktis tampa pagrindiniais reikalavimais. Įmonėms reikia sistemingų būdų agentų elgsenai testuoti, rizikai prieš diegimą nustatyti ir aiškiems įrašams tvarkyti, siekiant ilgainiui palaikyti priežiūrą, valdymą ir atskaitomybę.
„Promptfoo“ komanda, vadovaujama Iano Websterio ir Michaelo D’Angelo, sukūrė galingą įrankių rinkinį, kuriuo pasitiki per 25 proc. „Fortune 500“ sąrašo įmonių, taip pat plačiai naudojamą atvirojo kodo(atsidaro naujame lange) komandų eilutės sąsają (angl. Command Line Interface, CLI) ir biblioteką, skirtą LLM programoms vertinti ir testuoti spragoms nustatyti. Kartu toliau plėtosime atvirojo kodo projektą ir tobulinsime integruotus įmonėms skirtus pajėgumus „Frontier“ platformoje.
„Promptfoo“ suteikia gilią inžinerinę patirtį vertinant, apsaugant ir testuojant DI sistemas įmonės mastu. Jų darbas padeda verslui diegti saugias bei patikimas DI programas, ir džiaugiamės galėdami perkelti šiuos pajėgumus tiesiogiai į „Frontier“.“
Remsimės keliais pagrindiniais pajėgumais, skirtais įmonėms, kuriančioms agentus „Frontier“ platformoje.
- Į platformą integruotas saugumo ir saugos testavimas: automatizuoto saugumo testavimo ir testavimo spragoms nustatyti pajėgumai taps neatsiejama „Frontier“ platformos dalimi, padedančia įmonėms nustatyti ir šalinti tokią riziką kaip užklausų įterpimai, apsaugos apėjimai (angl. jailbreaks), duomenų nutekėjimai, netinkamas įrankių naudojimas ir politikos neatitinkanti agentų elgsena.
- Į kūrimo darbo eigas integruotas saugumas ir vertinimas: „Frontier“ bus glaudžiai integruota su darbo eigomis, būtinomis siekiant anksčiau nustatyti, ištirti ir pašalinti su agentais susijusią riziką, todėl saugumas taps pagrindine įmonių DI sistemų kūrimo ir valdymo dalimi.
- Priežiūra ir atskaitomybė: integruotos ataskaitos ir atsekamumas padės organizacijoms dokumentuoti testavimą, stebėti pokyčius ilgainiui ir pateisinti augančius lūkesčius, susijusius su DI valdymu, rizika bei atitiktimi.
„Įkūrėme „Promptfoo“, nes kūrėjams reikėjo praktiško būdo DI sistemoms apsaugoti. DI agentams tampant labiau susietiems su realiais duomenimis ir sistemomis, juos apsaugoti ir patikrinti yra sudėtingiau ir svarbiau nei bet kada. Prisijungimas prie „OpenAI“ leidžia mums paspartinti šį darbą, suteikiant stipresnių saugumo, saugos ir valdymo pajėgumų komandoms, kuriančioms realias DI sistemas.“
Džiaugiamės galėdami pasveikinti „Promptfoo“ komandą ir toliau kurti įrankius, kurių įmonėms reikia saugiam bei patikimam DI diegti.
Įsigijimo užbaigimui taikomos įprastos užbaigimo sąlygos.
