کوڈنگ جائزوں میں سگنل کو شور سے الگ کرنا

ہمارے ماڈلز کی صلاحیتوں کی درست پیمائش مضبوط ڈیپلائمنٹ اور سیفٹی فیصلوں کے لیے اہم ہے, جن میں OpenAI کے تیاری کا فریم ورک⁠(نئی ونڈو میں کھلتا ہے) کے تحت فیصلے بھی شامل ہیں. ہر ماڈل ریلیز کے ساتھ, ہم ماڈل کی پیش رفت ٹریک کرنے کے لیے مختلف خارجی اور داخلی بینچ مارکس کے نتائج رپورٹ کرتے ہیں. جب جائزوں میں ایسی خامیاں ہوں جو نتائج کو متاثر کرتی ہیں, تو وہ صلاحیتوں کی غلط سمجھ پیدا کر سکتی ہیں, سیفٹی کیسز کو غلط طور پر پیش کر سکتی ہیں اور تحقیقی ترجیحات کو متاثر کر سکتی ہیں.

ہم نے حال ہی میں تحقیق کی کہ سب سے زیادہ استعمال ہونے والے کوڈنگ بینچ مارکس میں سے ایک, SWE-bench Verified, میں بنیادی ڈیزائن اور آلودگی کے مسائل تھے, اور معلوم ہوا کہ یہ ایویلویشن سافٹ ویئر ڈیولپمنٹ کی اب صلاحیتوں کے بارے میں بامعنی اشارہ نہیں دیتا. اس وقت, ہم نے وسیع تر کمیونٹی کو SWE-Bench Pro پر منتقل ہونے کی ترغیب دی تھی.

SWE-Bench Pro⁠(نئی ونڈو میں کھلتا ہے) کو SWE-bench Verified سے بہتر بنانے کے لیے ڈیزائن کیا گیا تھا, تاکہ ماڈلز کو طویل افق اور زیادہ حقیقی کوڈنگ ٹاسکس پر ٹیسٹ کر کے ایجنٹک کوڈنگ صلاحیتوں کو بہتر طور پر ٹریک کیا جا سکے. SWE-bench Verified کی طرح, ٹاسکس پبلک اور پرائیویٹ ریپوزٹریوں کے ایک مجموعے میں فیچر تبدیلیوں کی تاریخ سے پروگرامیٹک طور پر حاصل کیے جاتے ہیں. ماڈلز سے تقاضا کیا جاتا ہے کہ وہ ایسا حل نافذ کریں جو موجودہ فعالیت کو خراب کیے بغیر کسی فیچر کے نئے ٹیسٹ پاس کرے. 731 ٹاسک والے پبلک اسپلٹ پر, جدید ترین ماڈلز آٹھ ماہ میں 23.3% پاس ریٹ سے 80.3% تک بہتر ہوئے.

اس کے بعد ہم نے SWE-Bench Pro پر بھی ایسا ہی آڈٹ کیا, جس میں ڈیٹاسیٹ کا جائزہ ڈیٹا پوائنٹ تجزیاتی پائپ لائن کے ذریعے لیا گیا. پائپ لائن نے ٹاسک پر ماڈل کی کوششوں, ٹاسک میٹا ڈیٹا, اور ناکامی کے ٹریسز کا جائزہ لیا تاکہ ممکنہ جائزہ خامیوں کو نشان زد کیا جا سکے. ہر نشان زد ٹاسک کو پھر متعدد تفتیش کار ایجنٹ مراحل کے ذریعے پرکھا گیا اور پانچ تجربہ کار سافٹ ویئر انجینئرز نے آزادانہ طور پر اس کا جائزہ لیا, اختلافات کو مزید تفتیش کے لیے آگے بڑھایا گیا.

مسائل بنیادی طور پر چار زمروں میں آئے:

• حد سے زیادہ سخت ٹیسٹس¹ ایسی مخصوص نفاذی تفصیلات نافذ کرتے ہیں جو پرومپٹ میں درج نہیں ہوتیں, جس سے بہت سی فعلی طور پر درست جمع آوریاں غلط قرار پاتی ہیں.
• ناکافی طور پر واضح پرومپٹس² ایسے تقاضے چھوڑ دیتے ہیں جنہیں مخفی ٹیسٹ نافذ کرتے ہیں اور جو معقول طور پر اخذ نہیں کیے جا سکتے.
• کم کوریج والے ٹیسٹس مطلوبہ فیچر کی ناکافی جانچ کرتے ہیں, اس لیے نامکمل اصلاحات پاس ہو سکتی ہیں.
• گمراہ کن پرومپٹ ماڈلز کو غلط رویے کی طرف لے جاتا ہے یا ٹیسٹس کے تقاضوں سے متصادم ہوتا ہے.

ہمارے نتائج اس بات کی نشاندہی کرتے ہیں کہ مشکل مگر منصفانہ بینچ مارکس تیار کرنا کتنا دشوار ہے, اور یہ بھی کہ بڑے پیمانے پر ڈیٹا کے معیار کی جانچ کے لیے ایجنٹس کی افادیت بڑھ رہی ہے. ان نتائج کی روشنی میں, ہمارا اندازہ ہے کہ SWE-bench Pro کے تقریباً 30% ٹاسکس خراب ہیں, اور ہم مشورہ دیتے ہیں کہ ماڈل تیار کرنے والے نتائج کا بغور جائزہ لیں.

ہمارا مقصد یہ یقینی بنانا ہے کہ ٹاسک کی ناکامیاں حقیقی ماڈل حدود کی عکاسی کریں, اور ٹاسک کی کامیابیاں پرومپٹ تقاضوں کے مکمل اور درست حل کو ظاہر کریں. جائزے میں استعمال ہونے والے ڈیٹا کا معیار جانچنے کے لیے, ہم نے ایک معیار کی یقین دہانی پائپ لائن بنائی تاکہ اندازہ ہو سکے کہ ہر ڈیٹا پوائنٹ ماڈل صلاحیتوں کی درست عکاسی کرتا ہے یا نہیں.

ایک ابتدائی خودکار فلٹر ماڈل کو دی گئی ہدایات, ماڈل کی ٹاسک حل کرنے کی کوششوں, اور ان کوششوں کو گریڈ کرنے کے لیے استعمال ہونے والے ٹیسٹس کا جائزہ لیتا ہے تاکہ ممکنہ خراب یا مسئلہ خیز مثالوں کی نشاندہی کی جا سکے. اس فلٹر نے 286 ممکنہ طور پر خراب ٹاسکس نشان زد کیے. پھر ہم نے اس ذیلی مجموعے کا دو طریقوں سے گہرا جائزہ لیا: انسانی نگرانی میں ایجنٹ کے ذریعے کیا گیا جائزہ, جو تفتیش کار ایجنٹس کے ساتھ وسیع جانچیں اور آخر میں انسانی فیصلہ کرتا ہے؛ اور تجربہ کار سافٹ ویئر ڈویلپرز کے ساتھ ہیومن اینوٹیشن کمپین.

ہر نشان زد مسئلے کا آڈٹ Codex پر مبنی تفتیش کار ایجنٹس سے کرایا جاتا ہے جنہیں ٹاسک ریپوزٹری اور ماحول تک رسائی دی گئی تھی. اس سے انہیں مناسب ٹاسک ابہام, جسے اکثر قریبی کوڈ اور ریپوزٹری کے رائج طریقوں کا مطالعہ کر کے دور کیا جا سکتا ہے, اور حقیقی ناکافی وضاحت میں فرق کرنے میں مدد ملتی ہے. ایجنٹ ٹیسٹ چلا سکتا ہے, ریپو میں فائلیں دیکھ سکتا ہے, اور ٹاسک پر ماڈل کی کوششوں اور ان کی عام ناکامی کی صورتوں کی تفتیش کر سکتا ہے. ان گہرے آڈٹس کی کئی آزاد تکراروں کے بعد, ایک محقق نے خلاصوں کا جائزہ لیا, حتمی فیصلہ کیا, اور ممکنہ مسائل کو نشان زد کیا.

اسی کے ساتھ, ہم نے نشان زد ذیلی مجموعے پر ہیومن اینوٹیشن کمپین چلائی. ہم نے تجربہ کار سافٹ ویئر انجینئرز کے ساتھ کام کیا جنہیں ٹاسکس کا جائزہ لینے سے پہلے بینچ مارک کے مقاصد, مسائل کی ٹیکسونومی, اور خاص صورتِ حال کی ٹریننگ دی گئی تھی. ہر ٹاسک کا پانچ انجینئرز نے جائزہ لیا.

جائزہ کاروں نے پائپ لائن تجزیہ یا ٹرانسکرپٹ کو معاون سیاق کے طور پر استعمال کرنے سے پہلے، واضح طور پر دکھائی دینے والے مسئلے کے بیان، ٹیسٹ کیسز، اور اصل حوالہ جاتی حل، (جسے گولڈ پیچ کہا جاتا ہے)، سے آزادانہ رائے قائم کی. پھر جائزہ کاروں نے ٹھوس شواہد کی بنیاد پر لیبل اور شدت کی درجہ بندی مقرر کی، اور اختلافات یا کم اعتماد والے معاملات کو مزید جائزے کے لیے آگے بھیج دیا.

انسانی جائزہ کار تفتیش کار ایجنٹس کے مقابلے میں ٹاسکس کو قرار دینے کا زیادہ رجحان دکھایا. جائزے کے دونوں طریقوں کے درمیان زمروں پر کچھ اختلاف بھی تھا، لیکن کسی بھی نشان زد ٹاسک میں “خراب نہیں” سب سے عام انسانی لیبل نہیں تھا. ایجنٹ پائپ لائن نے جن زمروں کو نشان زد کیا، ان میں جائزہ کاروں کے فیصلے 74% معاملات میں ایک دوسرے سے مطابقت رکھتے تھے.

ایجنٹ پائپ لائن کے مقابلے میں، انسانی جائزہ کار کسی ٹاسک کے لیے ایک سے زیادہ لیبل منتخب کرنے کا زیادہ رجحان رکھتے تھے, جو ظاہر کرتا ہے کہ انہیں ٹاسکس کئی طریقوں سے خراب لگے یا وہ کسی ایک زمرے میں واضح طور پر شامل نہیں ہوتے تھے. اس سے پتہ چلتا ہے کہ یجنٹ اور جائزہ کاروں پر مشتمل پائپ لائن نے محتاط لیبلنگ دی: اس نے وہی وسیع ناکامی کی صورتیں واضح کیں جو انسانوں نے شناخت کیں, جبکہ ان معاملات کو کم گنا جہاں جائزہ کاروں نے اضافی یا اوورلیپ ہونے والے مسائل دیکھے. سب سے بڑا فرق کم کوریج والے ٹیسٹس میں تھا, جنہیں انسانوں نے بینچ مارک کے 9.4% حصے میں سب سے عام مسئلہ منتخب کیا, جبکہ ایجنٹ پائپ لائن میں یہ 4.1% تھا.

ہمارے شناخت کردہ مسائل, SWE-bench Verified میں ملتے جلتے معاملات کے ساتھ, بینچ مارکس کو سختی سے جانچنے کی اہمیت اجاگر کرتے ہیں. اوپن سورس ریپوزٹریوں کے ایشوز اور pull request اصل میں انسانی تعاون کے لیے بنائے گئے تھے, عموماً مینٹینرز اور کنٹریبیوٹرز کے درمیان طویل آمد و رفت کے ذریعے. نتیجتاً, مسئلہ بیانات, مرج کیا گیا کوڈ, اور یونٹ ٹیسٹ ہمیشہ صاف, الگ تھلگ ٹاسکس کی شکل میں نہیں ملتے جن سے ماڈلز کا قابل اعتماد جائزہ لیا جا سکے. خاص طور پر, pull request میں شامل ٹیسٹس حد سے زیادہ سخت ہو سکتے ہیں, کیونکہ وہ ٹاسک حل کرنے کے لیے نفاذ سے آزاد معیار بیان کرنے کے بجائے ایک مخصوص تبدیلی کی توثیق کے لیے لکھے جاتے ہیں.

ساتھ ہی, جائزہ خامیوں کا پتہ لگانا اب کچھ ہی عرصہ پہلے کے مقابلے میں آسان ہے. جیسے جیسے ماڈل صلاحیتیں بہتر ہوتی ہیں, ہم انہی ماڈلز کو پرومپٹس, ٹیسٹس, پیچز, ٹریسز, اور کنارے کے معاملات کو کہیں زیادہ گہرائی اور یکسانیت سے جانچنے کے لیے استعمال کر سکتے ہیں, جس سے ایسے بینچ مارک مسائل سامنے آنے میں مدد ملتی ہے جنہیں پہلے بڑے پیمانے پر تلاش کرنا مہنگا یا غیر عملی تھا.

ہمیں امید ہے کہ وسیع تر جائزہ کمیونٹی ایسے نئے بینچ مارکس تیار کرے گی جو تجربہ کار سافٹ ویئر ڈویلپرز خاص طور پر ماڈل کی صلاحیتوں کو ٹیسٹ کرنے کے لیے بنائیں. یہ طریقہ وہ بلند معیار اور حقیقت پسندی برقرار رکھ سکتا ہے جن سے ہم ماڈل صلاحیتوں کی پیمائش کرنا چاہتے ہیں, اور پورے عمل میں بہتر انسانی نگرانی کی اجازت دیتا ہے. اس تجزیے میں سامنے آئے مسائل کے پیش نظر, ہم SWE-Bench Pro اپنانے کی اپنی سابقہ سفارش واپس لیتے ہیں.

بالآخر, کسی جائزے کو ایسے بینچ مارکس کے ذریعے بامعنی اشارہ دینا چاہیے جنہیں گمراہ کرنا مشکل ہو, جن پر اعتماد کرنا آسان ہو, اور جو واقعی ماڈل کی صلاحیت یا الائنمنٹ کی عکاسی کریں. چونکہ یہ نتائج OpenAI کے ڈیپلائمنٹ اور سیفٹی فیصلوں کو معلومات فراہم کرتے ہیں, اس لیے جن جائزوں کو ہم ٹریک کرتے ہیں انہیں درست اور معلوماتی ہونا چاہیے.