OpenAI придбає Promptfoo
Оптимізація тестування безпеки агентів та можливостей оцінювання в OpenAI Frontier
Ми оголошуємо про придбання Promptfoo — платформи безпеки ШІ, яка допомагає компаніям виявляти та усувати вразливості в системах ШІ під час розробки. Щойно придбання буде завершено, ми інтегруємо технологію Promptfoo безпосередньо в OpenAI Frontier, нашу платформу для створення та керування ШІ-колегами.
Сьогодні підприємства все активніше впроваджують ШІ-колег у реальні робочі процеси, тож оцінювання, безпека та відповідність стандартам стають основними вимогами. Підприємствам потрібні систематичні способи тестування поведінки агентів, виявлення ризиків до розгортання та ведення чітких записів для забезпечення тривалого нагляду, управління та підзвітності.
Команда Promptfoo на чолі з Ієном Вебстером і Майклом Д’Анджело створила потужний набір інструментів, якому довіряють понад 25% компаній зі списку Fortune 500, а також широко використовувані open-source(відкривається у новому вікні) CLI та бібліотеку для оцінювання й редтімінгу застосунків LLM. Разом ми й надалі розвиватимемо відкритий проєкт, водночас просуваючи інтегровані корпоративні можливості в межах Frontier.
«Promptfoo має глибокий інженерний досвід в оцінюванні, захисті та тестуванні систем ШІ у корпоративному масштабі. Їхня робота допомагає компаніям розгортати безпечні та надійні ШІ-застосунки, і ми раді безпосередньо інтегрувати ці можливості у Frontier.»
Ми спиратимемося на кілька основних можливостей для компаній, які створюють агентів на платформі Frontier:
- Тестування безпеки та захисту, вбудоване в платформу: автоматизоване тестування безпеки та можливості редтімінгу стануть нативною частиною платформи Frontier та допомагатимуть підприємствам виявляти та усувати такі ризики, як промпт-ін'єкції, джейлбрейки, витоки даних, зловживання інструментами та поведінку агента, що виходить за межі політик.
- Безпека та оцінювання, інтегровані в робочі процеси розробки: у Frontier будуть глибоко інтегровані робочі процеси, потрібні для раннього виявлення, розслідування та усунення ризиків агентів, що роблять безпеку ключовою складовою того, як корпоративні системи ШІ розробляються та експлуатуються.
- Нагляд і підзвітність: інтегрована звітність і відстежуваність допоможуть організаціям документувати тестування, відстежувати зміни з часом і відповідати зростаючим очікуванням у сфері управління, ризиків і відповідності для ШІ.
«Ми заснували Promptfoo, бо розробникам був потрібен практичний спосіб захисту ШІ-систем. Оскільки агенти ШІ стають більш пов’язаними з реальними даними та системами, їхній захист і валідація стають складнішими й важливішими, ніж будь-коли. Приєднання до OpenAI дає нам змогу прискорити цю роботу, надаючи командам, які створюють реальні системи ШІ, потужніші можливості у сфері безпеки, захисту та управління.»
Ми раді вітати команду Promptfoo та мати можливість спільно продовжувати створювати інструменти, необхідні компаніям для впровадження безпечного й надійного ШІ.
Підписання угоди про придбання залежить від виконання стандартних умов.
