OpenAI por adquirir Promptfoo
Aceleración de las capacidades de prueba y evaluación de seguridad con agentes en OpenAI Frontier
Vamos a adquirir Promptfoo, una plataforma de seguridad de IA que ayuda a las empresas a identificar y corregir vulnerabilidades en sistemas de IA durante el desarrollo. Una vez finalizada la adquisición, integraremos la tecnología de Promptfoo directamente en OpenAI Frontier , nuestra plataforma para crear y operar compañeros de trabajo de IA.
A medida que las empresas implementan compañeros de trabajo de IA en flujos de trabajo reales, la evaluación, la seguridad y el cumplimiento normativo se vuelven requisitos fundamentales. Las empresas necesitan formas sistemáticas de evaluar el comportamiento de los agentes, detectar riesgos antes de la implementación y mantener registros claros que respalden la supervisión, la gobernanza y la rendición de cuentas a lo largo del tiempo.
El equipo de Promptfoo, liderado por Ian Webster y Michael D’Angelo, ha desarrollado un potente conjunto de herramientas en el que confían más del 25 % de las empresas de la lista Fortune 500, además de una CLI y una biblioteca de código abierto(se abre en una nueva ventana) ampliamente utilizadas para evaluar y realizar red teaming en aplicaciones de LLM. Juntos, seguiremos desarrollando el proyecto de código abierto y avanzando también en las capacidades empresariales integradas dentro de Frontier.
“Promptfoo aporta una profunda experiencia en ingeniería en la evaluación, protección y prueba de sistemas de IA a escala empresarial. Su trabajo ayuda a las empresas a implementar aplicaciones de IA seguras y confiables, y nos entusiasma llevar estas capacidades directamente a Frontier”.
Nos basaremos en varias capacidades esenciales para las empresas que desarrollan agentes en Frontier:
- Pruebas de seguridad y protección integradas en la plataforma: las capacidades de pruebas de seguridad automatizadas y red teaming se convertirán en una parte nativa de la plataforma Frontier, lo que ayudará a las empresas a identificar y corregir riesgos como la inyección de prompts, los jailbreaks, las filtraciones de datos, el uso indebido de herramientas y los comportamientos de los agentes fuera de las políticas.
- Seguridad y evaluación integradas en los flujos de trabajo de desarrollo: Frontier se integrará profundamente con los flujos de trabajo necesarios para identificar, investigar y remediar los riesgos de los agentes con mayor anticipación, haciendo que la seguridad sea una parte central de cómo se desarrollan y operan los sistemas de IA empresariales.
- Supervisión y responsabilidad: los informes integrados y la trazabilidad ayudarán a las organizaciones a documentar las pruebas, supervisar los cambios a lo largo del tiempo y cumplir con las crecientes exigencias de gobernanza, riesgo y cumplimiento en materia de IA.
“Creamos Promptfoo porque los desarrolladores necesitaban una forma práctica de proteger los sistemas de IA. A medida que los agentes de IA se conectan cada vez más con datos y sistemas reales, protegerlos y validarlos se vuelve más desafiante e importante que nunca. Unirnos a OpenAI nos permite acelerar este trabajo y aportar capacidades más sólidas de seguridad, protección y gobernanza a los equipos que están construyendo sistemas de IA para el mundo real".
Nos complace darle la bienvenida al equipo de Promptfoo y seguir desarrollando las herramientas que las empresas necesitan para implementar una IA segura y confiable.
El cierre de la adquisición está sujeto a las condiciones habituales de este tipo de procesos.
