OpenAI ще придобие Promptfoo
Ускоряване на възможностите за агентно тестване и оценка на сигурността в OpenAI Frontier
Придобиваме Promptfoo, платформа за сигурност с изкуствен интелект, която помага на предприятията да идентифицират и отстраняват уязвимости в системи с изкуствен интелект по време на разработка. След като придобиването бъде финализирано, ще интегрираме технологията на Promptfoo директно в OpenAI Frontier, нашата платформа за изграждане и управление на сътрудници с ИИ.
Тъй като предприятията внедряват сътрудници с ИИ в реални работни процеси, оценяването, сигурността и съответствието се превръщат в основополагащи изисквания. Предприятията се нуждаят от систематични начини за тестване на поведението на агентите, откриване на рискове преди внедряване и поддържане на ясни записи за подпомагане на надзора, управлението и отчетността с течение на времето.
Екипът на Promptfoo, ръководен от Иън Уебстър и Майкъл Д’Анджело, е създал мощен набор от инструменти, на които се доверяват над 25% от компаниите в Fortune 500, както и широко използван CLI с отворен код(отваря се в нов прозорец) и библиотека за оценяване и стрес тест с червен отбор на приложения с големи езикови модели. Заедно ще продължим да развиваме проекта с отворен код, като същевременно усъвършенстваме интегрираните корпоративни възможности в рамките на Frontier.
„Promptfoo притежава задълбочен инженерен опит в оценяването, сигурността и тестването на системи с изкуствен интелект в корпоративен мащаб. Тяхната работа помага на бизнеса да внедрява сигурни и надеждни приложения с ИИ и сме развълнувани да внедрим тези възможности директно във Frontier.“
Ще надградим няколко основни възможности за предприятията, които изграждат агенти в Frontier:
- Тестване на сигурността и безопасността, вградено в платформата: Автоматизираното тестване на сигурността и възможностите за стрес тест с червен отбор ще станат неразделна част от платформата Frontier, като помагат на предприятията да идентифицират и отстраняват рискове като инжектиране на подкана, джейлбрейкове, изтичане на данни, неправилна употреба на инструменти и поведения на агенти извън политиките.
- Сигурност и оценка, интегрирани в работните процеси за разработка: Frontier ще се интегрира в дълбочина с работните процеси, необходими за по-ранно идентифициране, разследване и отстраняване на рисковете, свързани с агенти, като превръща сигурността в основна част от начина, по който се разработват и използват корпоративните системи с ИИ.
- Надзор и отчетност: Интегрираното отчитане и проследимост ще помогнат на организациите да документират тестването, да наблюдават промените с течение на времето и да отговорят на нарастващите очаквания за управление, риск и съответствие за изкуствения интелект.
„Създадохме Promptfoo, защото разработчиците се нуждаеха от практичен начин да защитят системите с ИИ. Тъй като агентите с ИИ стават все по-свързани с реални данни и системи, осигуряването на тяхната сигурност и валидирането им е по-предизвикателно и по-важно от всякога. Присъединяването към OpenAI ни позволява да ускорим тази работа, като предоставим по-силни възможности за сигурност, безопасност и управление на екипите, които изграждат реални системи с изкуствен интелект.“
Развълнувани сме да приветстваме екипа на Promptfoo и да продължим да създаваме инструментите, от които предприятията се нуждаят, за да внедряват сигурен и надежден ИИ.
Приключването на придобиването подлежи на обичайните условия за финализиране.
