OpenAI приобретает Promptfoo
Ускорение развития возможностей тестирования безопасности и оценки агентных систем в OpenAI Frontier
Мы приобретаем Promptfoo — платформу безопасности ИИ, которая помогает компаниям выявлять и устранять уязвимости в ИИ-системах на этапе разработки. После завершения сделки мы интегрируем технологию Promptfoo напрямую в OpenAI Frontier — нашу платформу для создания и управления ИИ-сотрудниками.
По мере того как корпорации внедряют ИИ-сотрудников в реальные рабочие процессы, оценка, безопасность и соответствие требованиям становятся базовыми условиями. Компаниям нужны системные методы для тестирования поведения агентов, выявления рисков до развертывания и ведения четкой документации для обеспечения надзора, управления и подотчетности.
Команда Promptfoo под руководством Иэна Вебстера и Майкла Д’Анджело создала мощный набор инструментов, которым доверяют более 25 % компаний из списка Fortune 500, а также широко используемые CLI и библиотеку с открытым исходным кодом(открывается в новом окне) для оценки приложений LLM и их проверки методами red-teaming. Вместе мы продолжим развивать проект с открытым исходным кодом и одновременно расширять интегрированные корпоративные возможности Frontier.
Promptfoo обладает глубокой инженерной экспертизой в оценке, обеспечении безопасности и тестировании систем ИИ в масштабе корпораций. Их работа помогает компаниям развертывать безопасные и надёжные приложения ИИ, и мы рады внедрить эти возможности непосредственно в Frontier.
Мы будем развивать несколько ключевых возможностей для компаний, создающих агентов на платформе Frontier:
- Тестирование безопасности и надежности, встроенное в платформу: Возможности автоматизированного тестирования безопасности и red-teaming станут нативной частью платформы Frontier, помогая компаниям выявлять и устранять такие риски, как промпт-инъекции, обходы ограничений (jailbreaks), утечки данных, злоупотребление инструментами и действия агентов вне установленных политик.
- Интеграция безопасности и оценки в процессы разработки: Frontier будет глубоко интегрироваться в рабочие процессы, позволяя раньше выявлять, расследовать и устранять риски, связанные с агентами, и делая безопасность ключевой частью разработки и эксплуатации корпоративных систем ИИ.
- Надзор и подотчётность: Интегрированная отчетность и отслеживаемость помогут организациям документировать результаты тестирования, отслеживать изменения со временем и соответствовать растущим требованиям к управлению, рискам и соблюдению нормативных требований в сфере ИИ.
«Мы основали Promptfoo, потому что разработчикам нужен был практический способ обеспечить безопасность ИИ-систем». По мере того как ИИ-агенты всё теснее интегрируются с реальными данными и системами, задачи обеспечения безопасности и проверки таких систем становятся сложнее и важнее, чем когда-либо. Присоединение к OpenAI позволит нам ускорить эту работу и усилить возможности в области безопасности, надежности и управления для команд, создающих реальные ИИ-системы».
Мы рады приветствовать команду Promptfoo и продолжать создавать инструменты, необходимые компаниям для развертывания безопасного и надежного ИИ.
Закрытие сделки по приобретению зависит от выполнения стандартных условий закрытия сделки.
