A OpenAI vai adquirir a Promptfoo
Acelerar as capacidades de testes e avaliação de segurança de agentes no OpenAI Frontier
Estamos a adquirir a Promptfoo, uma plataforma de segurança de IA que ajuda as empresas a identificar e remediar vulnerabilidades em sistemas de IA durante o desenvolvimento. Depois de a aquisição ser finalizada, vamos integrar a tecnologia da Promptfoo diretamente no OpenAI Frontier, a nossa plataforma para criar e operar colegas de trabalho de IA.
À medida que as empresas implementam colegas de trabalho de IA em fluxos de trabalho reais, a avaliação, a segurança e a conformidade tornam-se requisitos fundamentais. As empresas precisam de formas sistemáticas de testar o comportamento dos agentes, detetar riscos antes da implementação e manter registos claros para apoiar a supervisão, a governação e a responsabilização ao longo do tempo.
A equipa da Promptfoo, liderada por Ian Webster e Michael D’Angelo, construiu um conjunto poderoso de ferramentas em que confiam mais de 25% das empresas da Fortune 500, bem como uma CLI e uma biblioteca open-source(abre numa nova janela) amplamente utilizadas para avaliar e fazer red teaming a aplicações de LLM. Em conjunto, continuaremos a desenvolver o projeto open-source e, ao mesmo tempo, a avançar as capacidades empresariais integradas no Frontier.
«A Promptfoo traz uma vasta experiência de engenharia na avaliação, proteção e teste de sistemas de IA à escala empresarial. O seu trabalho ajuda as empresas a implementar aplicações de IA seguras e fiáveis, e estamos entusiasmados por trazer estas capacidades diretamente para o Frontier.»
Vamos reforçar várias capacidades essenciais para as empresas que criam agentes no Frontier:
- Testes de segurança e de proteção integrados na plataforma: as capacidades de testes de segurança automatizados e de red teaming passarão a ser uma parte nativa da plataforma Frontier, ajudando as empresas a identificar e remediar riscos como injeções de prompt, jailbreaks, fugas de dados, uso indevido de ferramentas e comportamentos de agentes fora das políticas.
- Segurança e avaliação integradas nos fluxos de trabalho de desenvolvimento: o Frontier irá integrar-se profundamente nos fluxos de trabalho necessários para identificar, investigar e remediar riscos de agentes mais cedo, tornando a segurança uma parte central de como os sistemas de IA empresariais são desenvolvidos e operados.
- Supervisão e responsabilização: relatórios e rastreabilidade integrados ajudarão as organizações a documentar testes, monitorizar alterações ao longo do tempo e cumprir expectativas crescentes de governação, risco e conformidade para IA.
«Criámos a Promptfoo porque os programadores precisavam de uma forma prática de proteger sistemas de IA. À medida que os agentes de IA se tornam mais ligados a dados e sistemas reais, protegê-los e validá-los é mais desafiante e importante do que nunca. Juntar-nos à OpenAI permite-nos acelerar este trabalho, trazendo capacidades mais fortes de segurança, proteção e governação às equipas que estão a criar sistemas de IA para o mundo real.»
Estamos entusiasmados por dar as boas-vindas à equipa da Promptfoo e continuar a construir as ferramentas de que as empresas precisam para implementar IA segura e fiável.
A conclusão da aquisição está sujeita às condições de fecho habituais.
