پرش به محتوای اصلی
OpenAI

۱۸ اسفند ۱۴۰۴

شرکت

OpenAI شرکت Promptfoo را خریداری خواهد کرد

تسریع قابلیت‌های آزمون و ارزیابی امنیت عامل‌محور در OpenAI Frontier

ما در حال خرید Promptfoo هستیم، یک پلتفرم امنیت هوش مصنوعی که به سازمان‌ها کمک می‌کند آسیب‌پذیری‌ها را در سامانه‌های هوش مصنوعی در طول توسعه شناسایی و رفع کنند. پس از نهایی شدن این خرید، فناوری Promptfoo را مستقیماً در OpenAI پیشرو، پلتفرم ما برای ساخت و برای ساخت و راه‌اندازی همکاران هوش مصنوعی ادغام خواهیم کرد.

با استقرار همکاران هوش مصنوعی توسط سازمان‌ها در گردش‌کارهای واقعی، ارزیابی، امنیت و انطباق به الزامات بنیادین تبدیل می‌شوند. سازمان‌ها به روش‌های نظام‌مند و ساختارمند برای آزمودن رفتار عامل، شناسایی ریسک‌ها پیش از استقرار و حفظ سوابق روشن برای پشتیبانی از نظارت، حاکمیت و پاسخگویی در طول زمان نیاز دارند.

تیم Promptfoo، به رهبری Ian Webster و Michael D’Angelo، مجموعه‌ای قدرتمند از ابزارها را ساخته است که مورد اعتماد بیش از 25 درصد از شرکت‌های Fortune 500 است، به‌همراه یک CLI و کتابخانه متن‌باز(در یک پنجره جدید باز می‌شود) پرکاربرد برای ارزیابی و آزمون‌های تیم قرمز برنامه‌های الگوهای زبانی بزرگ (LLM). ما با هم به ساخت پروژه متن‌باز ادامه خواهیم داد و هم‌زمان قابلیت‌های یکپارچه سازمانی را در پیشرو نیز پیش خواهیم برد.

“Promptfoo تخصص عمیق مهندسی را در ارزیابی، ایمن‌سازی و آزمون سامانه‌های هوش مصنوعی در سطح سازمانی و در مقیاس وسیع فراهم می‌کند. کار آن‌ها به کسب‌وکارها کمک می‌کند برنامه‌های هوش مصنوعی امن و قابل‌اعتماد را مستقر کنند، و ما هیجان‌زده‌ایم که این قابلیت‌ها را مستقیماً به پیشرو بیاوریم.”
— Barret Zoph، GM بخش B2B، OpenAI

ما بر چندین قابلیت اصلی برای شرکت‌هایی که عامل‌ها را روی پیشرو می‌سازند، بنا خواهیم کرد:

  • آزمون‌های امنیت و ایمنیِ تعبیه‌شده در پلتفرم: قابلیت‌های آزمون امنیتی خودکار و تیم قرمز به عنوان بخشی بومی از پلتفرم پیشرو تبدیل خواهند شد و به سازمان‌ها کمک می‌کنند ریسک‌هایی مانند تزریق اعلان، جیلبریک‌ها، نشت داده، سوءاستفاده از ابزار و رفتارهای عامل خارج از سیاست را شناسایی و رفع کنند.
  • امنیت و ارزیابی یکپارچه در جریان‌های کاری توسعه: پیشرو به طور عمیق با جریان‌های کاری لازم برای شناسایی، بررسی و رفع زودهنگام ریسک‌های عامل یکپارچه خواهد شد و امنیت را به بخش اصلیِ نحوه توسعه و بهره‌برداری از سیستم‌های هوش مصنوعی سازمانی تبدیل می‌کند.
  • نظارت و پاسخگویی: گزارش‌دهی یکپارچه و قابلیت ردیابی به سازمان‌ها کمک می‌کند آزمون‌ها را مستندسازی کنند، تغییرات را در طول زمان پایش کنند و الزامات رو به رشدِ حاکمیت، ریسک و انطباق برای هوش مصنوعی را برآورده کنند.
“ما Promptfoo را شروع کردیم چون توسعه‌دهندگان به یک راهکار عملی برای ایمن‌سازی سیستم‌های هوش مصنوعی نیاز داشتند. با متصل‌تر شدن عامل‌های هوش مصنوعی به داده‌های واقعی و سیستم‌ها، ایمن‌سازی و اعتبارسنجی آن‌ها چالش‌برانگیزتر و مهم‌تر از هر زمان دیگری شده است. پیوستن به OpenAI به ما امکان می‌دهد این کار را سریع‌تر پیش ببریم و قابلیت‌های قوی‌تری در زمینه امنیت، ایمنی و حکمرانی را در اختیار تیم‌هایی قرار دهیم که در حال ساخت سیستم‌های هوش مصنوعی در دنیای واقعی هستند.”
— Ian Webster، هم‌بنیان‌گذار و مدیر عامل، Promptfoo

ما هیجان‌زده‌ایم که به تیم Promptfoo خوش‌آمد بگوییم و به ساخت ابزارهایی که شرکت‌ها برای استقرار هوش مصنوعی امن و قابل‌اعتماد نیاز دارند، ادامه دهیم.

نهایی شدن این تملک منوط به شرایط معمول بسته شدن است. 

نویسنده

OpenAI