OpenAI przejmie Promptfoo
Zwiększenie możliwości w zakresie agentowego testowania i oceny bezpieczeństwa w pionierskim rozwiązaniu OpenAI Frontier
Przejmujemy Promptfoo, platformę bezpieczeństwa AI, która pomaga przedsiębiorstwom identyfikować i usuwać luki w zabezpieczeniach w systemach AI na etapie rozwoju. Po sfinalizowaniu przejęcia zintegrujemy technologię Promptfoo bezpośrednio z OpenAI Frontier, naszą platformą do tworzenia i obsługi współpracowników AI.
W miarę jak przedsiębiorstwa wdrażają współpracowników AI w rzeczywistych przepływach pracy ocena, bezpieczeństwo i zgodność stają się podstawowymi wymaganiami. Przedsiębiorstwa potrzebują systematycznych sposobów testowania zachowania agenta, wykrywania zagrożeń przed wdrożeniem oraz prowadzenia przejrzystej dokumentacji wspierającej nadzór, ład i rozliczalność w dłuższej perspektywie.
Zespół Promptfoo, kierowany przez Iana Webstera i Michaela D’Angelo, stworzył zaawansowany zestaw narzędzi, któremu zaufało ponad 25 procent firm z listy Fortune 500, a także powszechnie używany interfejs CLI open-source(otwiera nowe okno) oraz bibliotekę do oceny oraz przeprowadzania kontrolowanego ataku na aplikacje LLM. Wspólnie będziemy kontynuować rozwój projektu open source, jednocześnie rozwijając zintegrowane możliwości klasy korporacyjnej w ramach pionierskiego rozwiązania Frontier.
„Promptfoo wnosi głęboką wiedzę inżynieryjną w zakresie oceny, zabezpieczania i testowania systemów AI na dużą skalę w przedsiębiorstwach. Ich praca pomaga firmom wdrażać bezpieczne i niezawodne aplikacje AI, a my cieszymy się, że możemy wprowadzić te możliwości bezpośrednio do Frontier”.
Będziemy rozwijać kilka kluczowych możliwości dla przedsiębiorstw tworzących agenty w rozwiązaniu Frontier:
- Testy bezpieczeństwa i zabezpieczenia wbudowane w platformę: Zautomatyzowane testy bezpieczeństwa oraz możliwości kontrolowanego ataku staną się natywną częścią platformy Frontier, pomagając przedsiębiorstwom identyfikować i eliminować zagrożenia, takie jak wstrzykiwanie poleceń, jailbreak, wycieki danych, niewłaściwe użycie narzędzi oraz zachowania agenta niezgodne z zasadami.
- Zabezpieczenia i ocena zintegrowane z przepływami pracy w procesie tworzenia: Rozwiązanie Frontier będzie ściśle zintegrowane z przepływami pracy potrzebnymi do wcześniejszego identyfikowania, badania i usuwania zagrożeń związanych z agentami, dzięki czemu zabezpieczenia staną się kluczową częścią sposobu, w jaki korporacyjne systemy AI są tworzone i obsługiwane.
- Nadzór i odpowiedzialność: Zintegrowane raportowanie i identyfikowalność pomogą organizacjom dokumentować testy, monitorować zmiany w czasie oraz spełniać rosnące oczekiwania w zakresie zarządzania, zagrożeń i zgodności dotyczące AI.
„Założyliśmy Promptfoo, ponieważ deweloperzy potrzebowali praktycznego sposobu na zabezpieczanie systemów AI. W miarę jak agenty AI stają się coraz ściślej połączone z rzeczywistymi danymi i systemami, ich zabezpieczanie i weryfikacja są trudniejsze i ważniejsze niż kiedykolwiek wcześniej. Dołączenie do OpenAI pozwala nam przyspieszyć te działania, zapewniając zespołom tworzącym rzeczywiste systemy AI większe możliwości w zakresie zapewniania bezpieczeństwa, ochrony i ładu korporacyjnego”.
Cieszymy się, że możemy powitać zespół Promptfoo i kontynuować tworzenie narzędzi, których przedsiębiorstwa potrzebują do wdrażania bezpiecznej i niezawodnej AI.
Finalizacja przejęcia podlega standardowym warunkom finalizacji.
