OpenAI mua lại Promptfoo
Đẩy nhanh năng lực kiểm thử và đánh giá bảo mật tác nhân trong OpenAI tiên phong
Chúng tôi đang mua lại Promptfoo, một nền tảng bảo mật AI giúp các doanh nghiệp xác định và khắc phục các lỗ hổng trong các hệ thống AI trong quá trình phát triển. Sau khi thương vụ mua lại được hoàn tất, chúng tôi sẽ tích hợp công nghệ của Promptfoo trực tiếp vào OpenAI Tiên phong, nền tảng của chúng tôi để xây dựng và vận hành các đồng nghiệp AI.
Khi các doanh nghiệp triển khai đồng nghiệp AI vào các quy trình làm việc thực tế, việc đánh giá, bảo mật và tuân thủ trở thành các yêu cầu nền tảng. Các doanh nghiệp cần các phương pháp có hệ thống để kiểm tra hành vi của tác nhân, phát hiện rủi ro trước khi triển khai và duy trì hồ sơ rõ ràng để hỗ trợ giám sát, quản trị và trách nhiệm giải trình theo thời gian.
Đội ngũ Promptfoo, do Ian Webster và Michael D’Angelo dẫn dắt, đã xây dựng một bộ công cụ mạnh mẽ được hơn 25 phần trăm các công ty trong Fortune 500 tin dùng, cùng với một CLI và thư viện mã nguồn mở(mở trong cửa sổ mới) được sử dụng rộng rãi để đánh giá và thực hiện kiểm thử đội đỏ (red team) cho các ứng dụng LLM. Cùng nhau, chúng ta sẽ tiếp tục xây dựng dự án mã nguồn mở, đồng thời thúc đẩy các năng lực doanh nghiệp tích hợp trong Tiên phong.
“Promptfoo mang đến chuyên môn kỹ thuật sâu trong việc đánh giá, bảo mật và kiểm thử các hệ thống AI ở quy mô doanh nghiệp. Công việc của họ giúp các doanh nghiệp triển khai các ứng dụng AI an toàn và đáng tin cậy, và chúng tôi rất vui mừng được đưa các năng lực này trực tiếp vào Tiên phong.”
Chúng tôi sẽ xây dựng dựa trên một số năng lực cốt lõi dành cho các doanh nghiệp xây dựng tác nhân trên tiên phong:
- Kiểm thử bảo mật và an toàn được tích hợp sẵn trong nền tảng: Các khả năng kiểm thử bảo mật tự động và kiểm thử đội đỏ (red team) sẽ trở thành một phần gốc của nền tảng tiên phong, giúp các doanh nghiệp xác định và khắc phục các rủi ro như chèn câu lệnh, bẻ khóa, rò rỉ dữ liệu, lạm dụng công cụ và các hành vi của tác nhân không tuân thủ chính sách.
- Bảo mật và đánh giá được tích hợp trong các quy trình phát triển: tiên phong sẽ tích hợp sâu với các quy trình cần thiết để xác định, điều tra và khắc phục rủi ro của tác nhân sớm hơn, biến bảo mật thành một phần cốt lõi trong cách các hệ thống AI doanh nghiệp được phát triển và vận hành.
- Giám sát và trách nhiệm giải trình: Báo cáo tích hợp và khả năng truy xuất nguồn gốc sẽ giúp các tổ chức ghi lại việc thử nghiệm, theo dõi các thay đổi theo thời gian và đáp ứng các kỳ vọng ngày càng tăng về quản trị, rủi ro và tuân thủ đối với AI.
“Chúng tôi bắt đầu Promptfoo vì các nhà phát triển cần một phương pháp thực tế để bảo mật các hệ thống AI. Khi các tác nhân AI trở nên kết nối hơn với dữ liệu và hệ thống thực tế, việc bảo mật và xác thực chúng trở nên thách thức hơn và quan trọng hơn bao giờ hết. Việc gia nhập OpenAI cho phép chúng tôi tăng tốc công việc này, mang đến các năng lực mạnh mẽ hơn về bảo mật, an toàn và quản trị cho các nhóm đang xây dựng các hệ thống AI thực tế.”
Chúng tôi rất hào hứng chào đón đội ngũ Promptfoo và tiếp tục xây dựng các công cụ mà các doanh nghiệp cần để triển khai AI an toàn, đáng tin cậy.
Việc hoàn tất thương vụ mua lại phụ thuộc vào các điều kiện đóng cửa thông thường.
