OpenAI, Promptfoo'yu satın alıyor
OpenAI Frontier içinde otonom ajan tabanlı güvenlik testi ve değerlendirme yeteneklerini hızlandırıyoruz
İşletmelerin geliştirme sırasında yapay zeka sistemlerindeki güvenlik açıklarını belirlemesine ve gidermesine yardımcı olan bir yapay zeka güvenlik platformu olan Promptfoo'yu satın alıyoruz. Satın alma tamamlandığında Promptfoo'nun teknolojisini, yapay zeka iş arkadaşları geliştirmek ve çalıştırmak için kullandığımız platformumuz OpenAI Frontier'a doğrudan entegre edeceğiz.
İşletmeler yapay zeka iş arkadaşlarını gerçek iş akışlarına entegre ettikçe, değerlendirme, güvenlik ve uyumluluk konusu artık isteğe bağlı unsurlar değil; temel gereklilikler haline gelmektedir. İşletmelerin, otonom ajan davranışlarını test etmek, devreye almadan önce riskleri tespit etmek ve zaman içinde gözetim, yönetişim ve hesap verebilirliği desteklemek için net kayıtlar tutmak üzere sistematik yöntemlere ihtiyacı vardır.
Ian Webster ve Michael D'Angelo liderliğindeki Promptfoo ekibi, Fortune 500 şirketlerinin %25’inden fazlasının güvendiği güçlü bir araç paketi geliştirmiştir. Ayrıca LLM uygulamalarını değerlendirmek ve sistemdeki açıkları ve riskleri ortaya çıkarmaya yönelik stres testleri yapmak için yaygın olarak kullanılan açık kaynaklı(yeni bir pencerede açılır) bir CLI aracı ve kitaplık sunmaktadır. Birlikte, açık kaynak projeyi geliştirmeyi sürdürürken Frontier içindeki entegre kurumsal yetenekleri de ileriye taşıyacağız.
"Promptfoo, kurumsal ölçekte yapay zeka sistemlerini değerlendirme, güvence altına alma ve test etme konusunda derin mühendislik uzmanlığı sunuyor. Çalışmaları, kuruluşların güvenli ve güvenilir yapay zeka uygulamalarını devreye almasına yardımcı oluyor ve bu yetenekleri doğrudan Frontier'a kazandırmaktan heyecan duyuyoruz."
Frontier üzerinde otonom ajan geliştiren işletmeler için şu temel yetenekleri güçlendireceğiz:
- Platforma entegre güvenlik ve güvenli kullanım testleri: Otomatik güvenlik testleri ve sistemdeki açıkları ve riskleri tespit etmeye yönelik stres testi yetenekleri, Frontier platformunun doğal bir parçası haline gelecek. Böylece işletmeler; komutlara kötü amaçlı müdahale, jailbreak girişimleri, veri sızıntıları, araçların kötüye kullanımı ve politika dışı otonom ajan davranışları gibi riskleri erken aşamada tespit edip etkili biçimde giderebilecek.
- Geliştirme iş akışlarına entegre güvenlik ve değerlendirme: Frontier, otonom ajan risklerini daha erken aşamada tespit etmek, incelemek ve azaltmak için gereken iş süreçlerine derinlemesine entegre edilecek. Böylece güvenlik sonradan eklenen bir katman değil, kurumsal yapay zeka sistemlerinin tasarım ve işletim sürecinin ayrılmaz bir parçası olacak.
- Gözetim ve hesap verebilirlik: Entegre raporlama ve izlenebilirlik araçları; kuruluşların test süreçlerini belgelendirmesine, zaman içindeki değişimleri takip etmesine ve yapay zekaya yönelik giderek artan yönetişim, risk ve uyumluluk beklentilerini karşılamasına yardımcı olacak.
"Promptfoo'yu, geliştiricilerin yapay zeka sistemlerini güvence altına almak için pratik ve etkili yöntemlere ihtiyaç duyması nedeniyle kurduk. Yapay zeka otonom ajanları gerçek veri ve sistemlerle giderek daha derin biçimde entegre oldukça, bu sistemleri güvence altına almak ve doğrulamak her zamankinden daha karmaşık ve daha kritik hale geliyor. OpenAI'a katılmamız, gerçek dünya yapay zeka sistemleri geliştiren ekiplere daha güçlü güvenlik, emniyet ve yönetişim yetenekleri sunarak bu misyonu daha hızlı ve daha geniş ölçekte ilerletmemize olanak tanıyor."
Kuruluşların güvenli ve güvenilir yapay zekayı devreye alabilmesi için ihtiyaç duyduğu araçları geliştirmeye devam ederken, Promptfoo ekibini aramızda görmekten heyecan duyuyoruz.
Satın alma işleminin tamamlanması, olağan kapanış koşullarına tabidir.
