تتيح أحدث التطورات في نماذجنا قدرات أقوى لبناء البرمجيات وترحيلها بلغات برمجة قليلة الموارد، مثل COBOL وFortran وVisual Basic. تتوفر لهذه اللغات شيفرات ووثائق أقل مما يتوفر للغات مثل Python وJavaScript لتتعلم منها النماذج، لكنها تشغّل بنية تحتية حيوية وخدمات أساسية حول العالم. تدعم(يفتح في نافذة جديدة) لغة COBOL أكثر من 40% من الأنظمة المصرفية عبر الإنترنت، و80% من معاملات بطاقات الائتمان الحضورية، و95% من معاملات أجهزة الصراف الآلي، بينما تُستخدم Fortran في التنبؤ بالطقس(يفتح في نافذة جديدة) وتحليل سلامة المفاعلات النووية(يفتح في نافذة جديدة). قد يساعد تحسين قدرة الذكاء الاصطناعي على العمل بهذه اللغات الفرقَ على صيانة البرمجيات التي تعتمد عليها الخدمات الأساسية وتحديثها.
تسترشد هذه الجهود بملاحظات المطورين وعملائنا من المؤسسات، الذين أخبرونا بأن نماذج البرمجة غالبًا ما تواجه صعوبات مع هذه اللغات. قد تصعب صيانة هذه البرمجيات وتحديثها؛ فقد تكون وثائقها غير مكتملة، أو يكون مطوروها الأصليون قد غادروا الشركة، أو لا تكون قواعد العمل المهمة موثّقة إلا في الشيفرة. وسواء كانت الفرق تصلح الأخطاء أم ترحّل البرامج إلى لغة أخرى، فعليها الحفاظ على السلوك البرمجي الذي تعتمد عليه أنظمتها.
لقياس التقدم، طوّرنا تقييمين. يختبر MultiLangBench قدرة النموذج على بناء محرك قواعد بيانات متوافق مع SQLite من الصفر باستخدام 20 لغة برمجة مختلفة. ويختبر تقييمنا لترحيل برامج COBOL قدرة النموذج على ترحيل برامج قائمة إلى لغة أخرى مع الحفاظ على سلوكها. ويختبر التقييمان معًا مهارتين متكاملتين: بناء برمجيات جديدة والحفاظ على وظائف البرمجيات القائمة.
تُظهر أحدث نماذجنا تحسنًا كبيرًا في كلا التقييمين، إذ تحقق دقة أعلى بكثير بتكلفة أقل.
في MultiLangBench، يحقق GPT‑6 Astra متوسط معدل اجتياز للاختبارات يبلغ 87.4% عبر 20 لغة برمجة، مقارنةً بـ26.8% للنموذج GPT‑5.6 Sol، مع تحسن في كل لغة خضعت للاختبار. كما يتفوق GPT‑6 Luna على GPT‑5.6 Sol، إذ يصل إلى 40.3% بتكلفة تقديرية لاستخدام واجهة API أقل بنحو 78%.
في تقييمنا لترحيل برامج COBOL، يحقق GPT‑6.1 Sol دقة تبلغ 86.6% عند جهد استدلال منخفض، مقارنةً بـ5.4% فقط للنموذج GPT‑5.6 Sol، وبتكلفة أقل بنسبة 39%. وعند زيادة جهد الاستدلال، تصل الدقة إلى 97.9%، لتقترب من الحد الأقصى الذي يمكن أن يقيسه التقييم.
تُظهر هذه النتائج مجتمعةً أن نماذجنا تتحسن بدرجة كبيرة في العمل بمجموعة واسعة من لغات البرمجة، وتصبح في الوقت نفسه أكثر كفاءة من حيث التكلفة.
يطلب MultiLangBench من النموذج بناء محرك قواعد بيانات متوافق مع SQLite بلغة برمجة محددة. على النموذج تنظيم قاعدة الشيفرة وإدارة الحالة ومعالجة الأخطاء وإضافة ميزات جديدة مع الحفاظ على الوظائف القائمة.
لمقارنة التطبيقات البرمجية عبر اللغات، نستخدم ملفات قواعد البيانات بوصفها واجهة مشتركة. يتلقى البرنامج الخاضع للتقييم قاعدة بيانات أولية واستعلام SQL، ثم ينتج قاعدة بيانات معدّلة. نستخدم التطبيق المرجعي لـSQLite للتحقق من أن قاعدة البيانات الناتجة تحتوي على المحتويات المتوقعة. يتيح لنا ذلك تطبيق الاختبارات نفسها بغض النظر عن اللغة المستخدمة لبناء المحرك.
عدّلنا اختبارات من مجموعة اختبارات SQLite الحالية لتناسب هذه الصيغة. يقيس التقييم حجم الوظائف التي يستطيع النموذج بناءها بصورة سليمة خلال جلسة برمجة ممتدة، ويعرض كلًا من معدل اجتياز الاختبارات وتكلفة واجهة API.
عند أقصى جهد للاستدلال، يحقق GPT‑6 Astra متوسط معدل اجتياز للاختبارات يبلغ 87.4% عبر اللغات العشرين، مقارنةً بـ26.8% للنموذج GPT‑5.6 Sol. تشمل التحسينات كل لغة خضعت للاختبار، ومنها COBOL (من 10.9% إلى 72.1%)، وOCaml (من 25.6% إلى 85.8%)، وFortran (من 21.4% إلى 83.5%)، وVisual Basic (من 27.5% إلى 89.4%). يسجل Astra نتائج تتجاوز 83% في 19 لغة من أصل 20، بينما تظل COBOL الأصعب بنتيجة تبلغ 72%.
يوفر GPT‑6 Luna خيارًا أقل تكلفة، يتفوق هو الآخر على GPT‑5.6 Sol في كل لغة خضعت للاختبار. وعند أقصى جهد للاستدلال، يصل متوسط معدل اجتيازه للاختبارات إلى 40.3%. تشمل التحسينات COBOL (من 10.9% إلى 17.1%)، وOCaml (من 25.6% إلى 34.1%)، وFortran (من 21.4% إلى 31.4%)، وVisual Basic (من 27.5% إلى 41.6%). تأتي هذه التحسينات بمتوسط تكلفة تقديري لاستخدام واجهة API يبلغ 0.77 دولار لكل عينة، مقارنةً بـ3.48 دولارات للنموذج GPT‑5.6 Sol، أي أقل بنحو 78%.
نتيح إعدادات تقييم MultiLangBench ومجموعة اختباراته على GitHub(يفتح في نافذة جديدة)، إلى جانب نتائج كل لغة. يمكن للمطورين فحص ما يختبره التقييم، ومراجعة الأداء في اللغات التي يستخدمونها، وتحديد أوجه القصور التي تهمهم في عملهم.
يطلب تقييمنا الثاني من النماذج ترحيل برامج COBOL إلى C++ أو Java أو Kotlin أو Python أو Rust، مع الحفاظ على وظائف كل برنامج.
يتطلب الترحيل الناجح فهمًا لكل من منطق العمل في البرنامج والسلوك الخاص بلغة COBOL. غالبًا ما تعالج برامج COBOL المعاملات المالية وسجلات الأعمال، حيث تعكس تفاصيل مثل قواعد التقريب والتعامل مع السجلات المفقودة متطلبات العمل. فعلى سبيل المثال، تتجاهل العمليات الحسابية ذات الفاصلة الثابتة في COBOL الأرقام العشرية الزائدة ما لم يُطلب التقريب صراحةً. وقد تعمل نسخة مُعاد كتابتها من البرنامج دون أخطاء، لكنها تنتج نتائج مالية مختلفة إذا قرّبت تلك القيم بدلًا من تجاهل أرقامها الزائدة.
للتحقق من الحفاظ على هذه السلوكيات، نقيّم نماذجنا باستخدام اختبارات مخفية تشترط تطابق المخرجات القابلة للملاحظة بايتًا ببايت. لا يُعد الترحيل ناجحًا إلا إذا اجتاز جميع الاختبارات. تفيد قدرات الحفاظ على السلوك البرمجي هذه الفرقَ التي تصون الأنظمة القديمة وتحدّثها، لكن تطبيقها على برمجيات قيد التشغيل الفعلي لا يزال يتطلب مراجعة خبراء واختبارات تراعي قواعد عمل النظام واعتمادياته.
في هذا التقييم، يحقق GPT‑6.1 Sol دقة تبلغ 86.6% عند جهد استدلال منخفض، مقارنةً بـ5.4% للنموذج GPT‑5.6 Sol عند الإعداد نفسه، وبتكلفة لاستخدام واجهة API تعادل 61% فقط من تكلفته. وعند زيادة جهد الاستدلال، تصل الدقة إلى 97.9%، لتقترب من الحد الأقصى الذي يمكن أن يقيسه التقييم. تُظهر نتائج التقييم هذه تقدمًا نحو ترحيل شيفرات أكثر دقة وأقل تكلفة، بما يخدم الفرق التي تحدّث البرمجيات التي تعتمد عليها أعمالها.
تساعدنا هذه التقييمات، إلى جانب الملاحظات المباشرة من المطورين وعملائنا من المؤسسات، على معرفة أين تتحسن نماذجنا وأين لا تزال قاصرة.
هدفنا هو مساعدة النماذج على تطبيق مهارات هندسة البرمجيات في مزيد من اللغات: فهم مستودعات غير مألوفة، وتخطيط التغييرات، واستخدام أدوات البناء، وتشغيل الاختبارات، وتشخيص الأخطاء وإصلاحها.
يمكنك تجربة أحدث نماذجنا عبر واجهة API في مهام برمجية باللغات التي يستخدمها فريقك. تساعد ملاحظاتك بشأن ما ينجح، وما تواجه فيه النماذج صعوبات، واللغات أو مسارات العمل التي ينبغي أن نركز عليها لاحقًا، في توجيه تدريب النماذج وتقييمها لتدعم البرمجيات التي تعتمد عليها بصورة أفضل.
