OpenAI untuk mengambil alih Promptfoo
Mempercepat keupayaan ujian dan penilaian keselamatan agenik dalam OpenAI Frontier
Kami sedang mengambil alih Promptfoo, sebuah platform keselamatan AI yang membantu perusahaan mengenal pasti dan membaiki kelemahan dalam sistem AI semasa pembangunan. Setelah pemerolehan dimuktamadkan kami akan mengintegrasikan teknologi Promptfoo secara langsung ke dalam OpenAI Frontier, platform kami untuk membina dan mengendalikan rakan sekerja AI.
Apabila perusahaan melaksanakan rakan sekerja AI ke dalam aliran kerja sebenar, penilaian, keselamatan, dan pematuhan menjadi keperluan asas. Perusahaan memerlukan kaedah yang sistematik untuk menguji tingkah laku ejen, mengesan risiko sebelum pelaksanaan, dan mengekalkan rekod yang jelas untuk menyokong penyeliaan, tadbir urus, dan akauntabiliti dari semasa ke semasa.
Pasukan Promptfoo, yang diketuai oleh Ian Webster dan Michael D’Angelo, telah membangunkan satu rangkaian alat yang berkuasa dan dipercayai oleh lebih 25 peratus syarikat Fortune 500, bersama CLI dan pustaka sumber terbuka(dibuka dalam tetingkap baru) yang digunakan secara meluas untuk menilai dan menjalankan proses penyerang aplikasi LLM. Bersama-sama, kami akan terus membina projek sumber terbuka sambil turut memajukan keupayaan perusahaan bersepadu dalam Frontier.
“Promptfoo membawa kepakaran kejuruteraan yang mendalam dalam menilai, memastikan keselamatan, dan menguji sistem AI pada skala besar bertaraf perusahaan. Kerja mereka membantu perniagaan melaksanakan aplikasi AI yang selamat dan boleh dipercayai, dan kami teruja untuk membawa keupayaan ini terus ke dalam Frontier.”
Kami akan membina berdasarkan beberapa keupayaan teras untuk perusahaan yang membina ejen di Frontier:
- Ujian keselamatan dan keselamatan terbina dalam platform: Keupayaan ujian keselamatan automatik dan proses penyerang akan menjadi sebahagian asli platform Frontier, membantu perusahaan mengenal pasti dan memulihkan risiko seperti suntikan prom, jailbreak, kebocoran data, penyalahgunaan alat, dan tingkah laku ejen di luar dasar.
- Keselamatan dan penilaian diintegrasikan dalam aliran kerja pembangunan: Frontier akan mengintegrasikan secara mendalam dengan aliran kerja yang diperlukan untuk mengenal pasti, menyiasat, dan memulihkan risiko ejen lebih awal, menjadikan keselamatan sebagai bahagian teras cara sistem AI perusahaan dibangunkan dan dikendalikan.
- Pengawasan dan akauntabiliti: Pelaporan bersepadu dan kebolehkesanan akan membantu organisasi mendokumenkan ujian, memantau perubahan dari semasa ke semasa, dan memenuhi jangkaan tadbir urus, risiko, dan pematuhan yang semakin meningkat untuk AI.
“Kami memulakan Promptfoo kerana pembangun memerlukan cara yang praktikal untuk melindungi sistem AI. Apabila ejen AI menjadi lebih terhubung dengan data dan sistem sebenar, melindungi dan mengesahkannya menjadi lebih mencabar dan lebih penting daripada sebelumnya. Menyertai OpenAI membolehkan kami mempercepatkan kerja ini, membawa keupayaan keselamatan, keselamatan, dan tadbir urus yang lebih kukuh kepada pasukan yang membina sistem AI dunia sebenar.”
Kami teruja untuk mengalu-alukan pasukan Promptfoo dan untuk terus membina alat yang diperlukan oleh perusahaan untuk melancarkan AI yang selamat dan boleh dipercayai.
Penutupan pengambilalihan tertakluk kepada syarat penutupan biasa.
