تطلق OpenAI اليوم برنامجًا عامًا لمكافآت ثغرات السلامة(يفتح في نافذة جديدة)، يركّز على رصد مخاطر السلامة وحالات إساءة استخدام الذكاء الاصطناعي عبر منتجاتنا. ومع التسارع المستمر في تطور تقنيات الذكاء الاصطناعي، تتسع أيضًا احتمالات إساءة استخدامها بطرق جديدة. ومن هنا، نسعى إلى ضمان بقاء أنظمتنا آمنة ومحصّنة في مواجهة أي إساءة استخدام أو توظيف ضار قد يفضي إلى أذى ملموس.
ويأتي هذا البرنامج الجديد مكمّلًا لبرنامج OpenAI الحالي لمكافآت الثغرات الأمنية(يفتح في نافذة جديدة)؛ إذ يتيح الإبلاغ عن المشكلات التي تنطوي على مخاطر حقيقية تتعلق بالسلامة أو بإساءة الاستخدام، حتى إن لم تستوفِ معايير الثغرة الأمنية بالمعنى التقليدي. ومن خلال هذا البرنامج، نتطلع إلى مواصلة التعاون مع الباحثين في مجالي السلامة والأمن لمساعدتنا على اكتشاف المشكلات التي تقع خارج نطاق الثغرات الأمنية المتعارف عليها ومعالجتها، رغم ما قد تنطوي عليه من مخاطر فعلية. وستتولى فرق مكافآت ثغرات السلامة والثغرات الأمنية في OpenAI فرز البلاغات وتقييمها، مع إمكانية إحالتها بين البرنامجين بحسب نطاق المشكلة والجهة المعنية بها.
يركّز برنامج مكافآت ثغرات السلامة(يفتح في نافذة جديدة) الجديد على سيناريوهات السلامة المرتبطة بالذكاء الاصطناعي والمبيّنة أدناه:
مخاطر الوكلاء، بما في ذلك بروتوكول MCP
- حقن المطالبات من طرف خارجي وتسريب البيانات: ويحدث ذلك عندما يتمكّن نصّ المهاجم، وبشكل موثوق، من الاستيلاء على وكيل الضحية (بما في ذلك المتصفح ووكيل ChatGPT والمنتجات المشابهة القائمة على الوكلاء)، لخداعه ودفعه إلى تنفيذ إجراء ضار أو كشف معلومات المستخدم الحساسة. ويجب أن يكون هذا السلوك قابلًا للتكرار في ما لا يقل عن 50% من الحالات.
- ينفّذ أحد منتجات OpenAI القائمة على الوكلاء إجراءً غير مسموح به على موقع OpenAI على نطاق واسع.
- ينفّذ أحد منتجات OpenAI القائمة على الوكلاء إجراءً آخر قد يكون ضارًا، حتى إن لم يكن مذكورًا أعلاه. ولكي يُعدّ البلاغ صالحًا هنا، يجب أن يبيّن ضررًا محتملًا وملموسًا.
- يجب أن يلتزم أي اختبار يتعلق بمخاطر بروتوكول MCP بشروط الخدمة الخاصة بأي أطراف خارجية.
معلومات OpenAI الخاصة
- مخرجات من النموذج تُرجع معلومات خاصة تتعلق بالاستدلال.
- ثغرات تكشف معلومات أخرى خاصة بـ OpenAI.
سلامة الحساب والمنصة
- ثغرات تمسّ مؤشرات سلامة الحساب والمنصة، مثل تجاوز ضوابط مكافحة الأتمتة، والتلاعب بمؤشرات موثوقية الحساب، والتحايل على القيود أو الإيقافات أو الحظر المفروض على الحساب، وغيرها من المشكلات المشابهة.
- يجب الإبلاغ عن المشكلات التي تتيح للمستخدمين الوصول إلى مزايا أو بيانات أو وظائف تتجاوز الصلاحيات المصرّح بها ضمن برنامج مكافآت الثغرات الأمنية(يفتح في نافذة جديدة).
مع أن أساليب كسر الحماية لا تندرج ضمن نطاق هذا البرنامج، فإننا ننظّم دوريًا حملات خاصة لمكافآت الثغرات تركّز على أنواع محددة من الأضرار، مثل مشكلات المحتوى المرتبطة بالمخاطر البيولوجية في وكيل ChatGPT وGPT‑5. وندعو الباحثين المهتمين إلى التقدّم إلى هذه البرامج عند إطلاقها.
وخارج الفئات المذكورة أعلاه، إذا توصّل الباحثون إلى عيوب تفتح مسارات مباشرة يمكن أن تفضي إلى إلحاق الضرر بالمستخدمين، وكانت معالجتها ممكنة عبر خطوات إصلاح واضحة ومحددة، فقد تُدرَج هذه الحالات ضمن نطاق المكافآت، ويُنظر فيها على أساس كل حالة على حدة. أمّا حالات تجاوز سياسات المحتوى بوجه عام، من دون أثر واضح يمكن إثباته على السلامة أو من حيث إساءة الاستخدام، فلا تدخل ضمن نطاق هذا البرنامج. فعلى سبيل المثال، لا تندرج ضمن نطاق هذا البرنامج حالات "كسر الحماية" التي ينتهي فيها الأمر بالنموذج إلى استخدام لغة فظة أو إلى إرجاع معلومات يسهل العثور عليها عبر محركات البحث.
يمكن للباحثين الراغبين في المشاركة التقدّم عبر برنامجنا لمكافآت ثغرات السلامة(يفتح في نافذة جديدة). ونتطلع إلى العمل جنبًا إلى جنب مع الباحثين، والهاكرز الأخلاقيين، ومجتمعَي السلامة والأمن، دعمًا لبناء منظومة ذكاء اصطناعي أكثر أمانًا.
