فهم الشبكات العصبية عبر الدوائر المتفرقة

​​تشغّل الشبكات العصبية أقوى أنظمة الذكاء الاصطناعي اليوم، إلا أنها لا تزال صعبة الفهم والتفسير. نحن لا نكتب هذه النماذج بتعليمات واضحة ومفصلة خطوة بخطوة. بدلاً من ذلك، تتعلم من خلال تعديل مليارات الوصلات الداخلية، أو "الأوزان"، حتى تتقن مهمة بعينها. نحن نصمم قواعد التدريب، وليست السلوكيات المحددة التي تنشأ، والنتيجة هي شبكة معقدة من الروابط التي لا يستطيع أي إنسان فك رموزها بسهولة. 

مع تزايد قدرات أنظمة الذكاء الاصطناعي وتأثيرها المباشر في القرارات في مجالات العلوم والتعليم والرعاية الصحية، أصبح فهم طريقة عملها أمرًا ضروريًا. تشير قابلية التفسير إلى الأساليب التي تساعدنا على فهم سبب إنتاج النموذج لنتيجة معينة. ثمة العديد من الطرق التي يمكننا من خلالها تحقيق ذلك. 

على سبيل المثال، يتم تحفيز نماذج التفكير لتوضيح خطوات عملها في أثناء الوصول إلى الإجابة النهائية. تستفيد قابلية تفسير تسلسل التفكير من هذه التفسيرات لمراقبة سلوك النموذج. هذا مفيد على الفور: يبدو أن سلاسل التفكير في نماذج التفكير الحالية تقدم معلومات مفيدة فيما يتعلق بالسلوكيات المثيرة للقلق مثل الخداع. ومع ذلك، فإن الاعتماد الكامل على هذه الخاصية يُعد إستراتيجية هشة، وقد يتعطل هذا بمرور الوقت.

من ناحية أخرى، تهدف قابلية التفسير الميكانيكية، والتي تُعد محور هذا العمل، إلى إعادة هندسة حسابات النموذج بالكامل. فقد كانت حتى الآن أقل فائدة بشكل مباشر، ولكن من حيث المبدأ، يمكن أن تقدم تفسيرًا أكثر اكتمالاً لسلوك النموذج. ومن خلال السعي إلى تفسير سلوك النموذج على المستوى الأكثر تفصيلاً، يمكن للتفسير الميكانيكي أن يقلل من الافتراضات ويزيد من ثقتنا. لكن الطريق من التفاصيل الدقيقة إلى تفسيرات السلوكيات المعقدة أطول بكثير وأكثر صعوبة.

تدعم قابلية التفسير عدة أهداف رئيسية، مثل تمكين الرقابة الأفضل وتقديم إشارات تحذيرية مبكرة لسلوكيات غير آمنة أو غير متوافقة استراتيجيًا. كما أنه يكمل جهودنا الأخرى في مجال السلامة، مثل الرقابة القابلة للتطوير، والتدريب على المواجهة، وتشكيل فرق التحدي. 

في هذا العمل، نوضح أنه يمكننا غالبًا تدريب النماذج بطرق تجعل من السهل تفسيرها وفهمها. نرى عملنا كمكمل واعد للتحليل اللاحق للشبكات الكثيفة. 

يُعد هذا رهانًا طموحًا للغاية؛ فالمسافة طويلة بين ما نقدمه من عمل اليوم وفهمنا الكامل للسلوكيات المعقدة لأقوى نماذجنا. ومع ذلك، بالنسبة إلى السلوكيات البسيطة، نجد أن النماذج المتفرقة التي تم تدريبها باستخدام طريقتنا تحتوي على دوائر صغيرة مفككة، مفهومة وكافية لأداء السلوك. يشير هذا إلى أنه قد يكون هناك مسار سهل نحو تدريب أنظمة أكبر يمكننا فهم آلياتها.

بدأت الأعمال السابقة في مجال قابلية التفسير الميكانيكية من شبكات كثيفة ومعقدة، وحاولت فك تشابكها. في هذه الشبكات، تتصل كل خلية عصبية فردية بآلاف الخلايا العصبية الأخرى. يبدو أن معظم الخلايا العصبية تؤدي العديد من الوظائف المتميزة، ما يجعل من المستحيل فهمها على ما يبدو. 

لكن ماذا لو قمنا بتدريب شبكات عصبية غير متشابكة، تحتوي على عدد أكبر من الخلايا العصبية، بحيث يرتبط كل عصبون بعدد قليل من الوصلات فقط؟ ثم ربما تصبح الشبكة الناتجة أبسط وأسهل في الفهم. هذا هو الرهان البحثي المركزي لعملنا.

مع وضع هذا المبدأ في الحسبان، حرصنا على تدريب نماذج لغوية ذات بنية مشابهة جدًا للنماذج اللغوية الحالية مثل GPT‑2، مع تعديل بسيط واحد: أجبرنا الغالبية العظمى من أوزان النموذج على أن تكون أصفارًا. هذا قيَّد النموذج لاستخدام عدد قليل جدًا من الوصلات الممكنة بين خلاياه العصبية. وهذا تغيير بسيط نرى أنه يفك بشكل كبير التشابك بين الحسابات الداخلية للنموذج.

نسعى إلى قياس مدى تفكيك الحسابات في نماذجنا المتفرقة. لقد حرصنا على دراسة سلوكيات النماذج البسيطة المختلفة، وتحققنا مما إذا كان بإمكاننا عزل الأجزاء المسؤولة عن كل سلوك في النموذج - والتي نطلق عليها الدوائر.

لقد حرصنا على إعداد مجموعة مختارة بعناية من المهام الخوارزمية البسيطة. وبالنسبة إلى كل منها، حرصنا على تقليص النموذج إلى أصغر دائرة يمكنها أداء المهمة، ودرسنا مدى بساطة تلك الدائرة. (للمزيد من التفاصيل، يُرجى الاطلاع على ورقتنا⁠(يفتح في نافذة جديدة).) وجدنا أنه من خلال تدريب نماذج أكبر وأكثر تباعدًا، يمكننا إنتاج نماذج ذات قدرات متزايدة مع دوائر أبسط بشكل متزايد.

لتوضيح ذلك، لنأخذ مثالاً على مهمة يطلب فيها من نموذج مدرّب على لغة Python إكمال سلسلة نصية باستخدام النوع الصحيح من علامات الاقتباس. في لغة Python، يجب أن تنتهي الكلمة ‘hello’ بعلامة اقتباس مفردة، ويجب أن تنتهي الكلمة “hello” بعلامة اقتباس مزدوجة. يمكن للنموذج حل هذه المشكلة عن طريق تذكر نوع علامات الاقتباس التي فتحت السلسلة وإعادة إنتاجها في النهاية.

يبدو أن نماذجنا الأكثر قابلية للتفسير تحتوي على دوائر مفككة تقوم بتنفيذ تلك الخوارزمية بدقة.

وفق تعريفنا، فإن الروابط الدقيقة الموضحة أعلاه كافية لأداء المهمة — إذا أزلنا بقية النموذج، فإن هذه الدائرة الصغيرة ستظل قادرة على العمل. إنها ضرورية أيضًا - يؤدي حذف هذه الحواف القليلة إلى فشل النموذج.

كما درسنا أيضًا بعض السلوكيات الأكثر تعقيدًا. من الصعب تفسير دوائرنا لهذه السلوكيات (مثل ربط المتغيرات الموضح أدناه) بشكل كامل. حتى في هذه الحالة، لا يزال بإمكاننا تحقيق تفسيرات جزئية بسيطة نسبيًا تتنبأ بسلوك النموذج.

يمثل هذا العمل خطوة أولى نحو هدف أكبر: تسهيل فهم حسابات النماذج. ولكن لا يزال أمامنا طريق طويلة. إن نماذجنا المتفرقة أصغر بكثير من النماذج المتقدمة، وتظل أجزاء كبيرة من حساباتها غير مفسرة. 

نسعى في المرحلة التالية إلى توسيع نطاق تقنياتنا لتشمل نماذج أكبر، وشرح المزيد من سلوك النماذج. من خلال تعداد الأنماط الدائرية التي تكمن وراء التفكير الأكثر تعقيدًا في النماذج المتفرقة القادرة، يمكننا تطوير فهم يساعدنا على استهداف التحقيقات في النماذج المتقدمة بشكل أفضل.

ولتجاوز مشكلة عدم كفاءة تدريب النماذج المتفرقة، نرى طريقين للمضي قدمًا. إحدى الطريقين هي استخراج الدوائر المتفرقة من النماذج الكثيفة الموجودة، بدلاً من تدريب النماذج المتفرقة من البداية. النماذج الكثيفة أكثر كفاءة في النشر من النماذج المتفرقة. والمسار الآخر هو تطوير تقنيات أكثر كفاءة لتدريب النماذج على التفسير، ما قد يسهل وضعها داخل الإنتاج.

جدير بالذكر أن نتائجنا هنا لا تضمن أن هذا النهج سينجح مع الأنظمة الأكثر تقدمًا، إلا أن هذه النتائج الأولية واعدة. هدفنا هو توسيع مدى قدرتنا على تفسير النموذج بشكل موثوق تدريجيًا، وبناء أدوات تجعل تحليل الأنظمة المستقبلية وتصحيح الأخطاء وتقييمها أسهل.