Mengasingkan isyarat daripada hingar dalam penilaian pengekodan

Mengukur keupayaan model kami dengan tepat adalah penting untuk keputusan pelaksanaan dan keselamatan yang kukuh, termasuk keputusan di bawah Rangka Kerja Kesiapsiagaan⁠(dibuka dalam tetingkap baru) OpenAI. Dengan setiap keluaran model, kami melaporkan hasil bagi pelbagai penanda aras luaran dan dalaman untuk menjejaki perkembangan model. Apabila penilaian mempunyai kelemahan yang menjejaskan hasil, ia boleh memberikan pemahaman palsu tentang keupayaan, menyalahgambarkan kes keselamatan dan mempengaruhi keutamaan penyelidikan.

Baru-baru ini kami menyiasat bagaimana salah satu penanda aras pengekodan yang paling banyak digunakan, SWE-bench Verified, mempunyai isu reka bentuk asas dan pencemaran, dan mendapati penilaian itu tidak lagi memberikan isyarat bermakna tentang keupayaan pembangunan perisian. Pada masa itu, kami menggalakkan komuniti yang lebih luas untuk beralih kepada SWE-Bench Pro.

SWE-Bench Pro⁠(dibuka dalam tetingkap baru) direka untuk menambah baik SWE-bench Verified dengan menguji model pada jangka masa yang lebih panjang dan tugasan pengekodan yang lebih realistik bagi menjejak keupayaan pengekodan berejen dengan lebih baik. Seperti dalam SWE-bench Verified, tugasan diperoleh secara programatik daripada sejarah perubahan ciri dalam satu set repositori awam dan peribadi. Model dikehendaki melaksanakan penyelesaian yang melepasi ujian baharu untuk sesuatu ciri, tanpa merosakkan fungsi sedia ada. Pada pecahan awam 731 tugasan, model termaju meningkat daripada kadar lulus 23.3% kepada 80.3% dalam lapan bulan.

Sejak itu, kami menjalankan audit serupa ke atas SWE-Bench Pro, dengan menyemak set data menggunakan saluran analisis titik data. Saluran itu menyemak percubaan model terhadap tugasan, metadata tugasan dan menjejaki kegagalan untuk menandakan kemungkinan kelemahan penilaian. Setiap tugasan yang ditandakan kemudian dinilai melalui beberapa pusingan ejen penyiasat dan disemak secara bebas oleh lima jurutera perisian berpengalaman, dengan percanggahan disampaikan untuk siasatan lanjut.

Isu-isu itu secara utamanya terbahagi kepada empat kategori:

• Ujian terlalu ketat¹ menguatkuasakan butiran pelaksanaan tertentu yang tidak dinyatakan dalam gesaan, lalu membatalkan banyak penyerahan yang betul dari segi fungsi.
• Gesaan kurang terperinci² meninggalkan keperluan yang dikuatkuasakan oleh ujian tersembunyi dan tidak boleh disimpulkan secara munasabah.
• Ujian liputan rendah kurang menyemak ciri yang diminta, jadi pembaikan yang tidak lengkap boleh lulus.
• Gesaan mengelirukan mengarahkan model kepada tingkah laku yang salah atau bercanggah dengan kehendak ujian.

Dapatan kami menunjukkan betapa sukarnya mengurus penanda aras yang sukar tetapi adil, serta semakin bergunanya ejen untuk semakan kualiti data berskala. Berdasarkan hasil ini, kami menganggarkan ~30% tugasan SWE-bench Pro rosak, dan menasihatkan pembangun model supaya meneliti hasil dengan cermat.

Matlamat kami adalah memastikan kegagalan tugasan mencerminkan batasan model yang sebenar, dan kejayaan tugasan mencerminkan penyelesaian yang lengkap dan sah terhadap keperluan gesaan. Untuk menyemak kualiti data yang digunakan dalam penilaian, kami mencipta saluran jaminan kualiti bagi menilai sama ada setiap titik data mencerminkan keupayaan model dengan tepat.

Penapis automatik awal menyemak arahan yang diberikan kepada model, percubaan model menyelesaikan tugasan, dan ujian yang digunakan untuk menilai percubaan ini bagi menandakan contoh yang mungkin rosak atau bermasalah. Penapis ini menandakan 286 tugasan yang berpotensi rosak. Kemudian, kami menjalankan semakan lebih mendalam terhadap subset itu melalui dua cara: semakan ejen diselia manusia, yang menjalankan semakan meluas dengan ejen penyiasat dan pertimbangan akhir manusia; serta kempen anotasi manusia bersama pembangun perisian berpengalaman.

Setiap masalah yang ditandakan diaudit dengan ejen penyiasat berasaskan Codex yang diberi akses kepada repositori dan persekitaran tugasan. Ini membantu mereka membezakan kekaburan tugasan yang munasabah, yang sering boleh diselesaikan dengan mengkaji kod berdekatan dan konvensyen repositori, daripada kekurangan perincian yang sebenar. Ejen boleh menjalankan ujian, memeriksa fail dalam repo, serta menyiasat percubaan model dan mod kegagalan lazimnya pada tugasan itu. Selepas beberapa ulangan bebas audit yang lebih mendalam ini, seorang penyelidik menyemak ringkasan, membuat pertimbangan akhir dan melabelkan isu yang mungkin berlaku.

Secara selari, kami menjalankan kempen anotasi manusia ke atas subset yang ditandakan. Kami bekerjasama dengan jurutera perisian berpengalaman yang dilatih tentang matlamat penanda aras, taksonomi isu dan kes pinggir sebelum menyemak tugasan. Setiap tugasan disemak oleh lima jurutera.

Penyemak membentuk pertimbangan bebas berdasarkan pernyataan masalah yang kelihatan, kes ujian dan penyelesaian rujukan kebenaran asas (dikenali sebagai tampalan emas) sebelum menggunakan analisis saluran atau transkrip sebagai konteks sokongan. Penyemak kemudian menetapkan label dan penilaian keterukan berdasarkan bukti konkrit, serta menaikkan percanggahan atau kes berkeyakinan rendah untuk semakan lanjut.

Penyemak manusia lebih cenderung berbanding ejen penyiasat untuk menandakan tugasan sebagai rosak. Terdapat juga sedikit percanggahan kategori antara dua laluan semakan itu, tetapi tiada tugasan ditandakan yang “tidak rosak” sebagai label manusia paling lazim. Bagi kategori yang ditandakan oleh saluran ejen, pertimbangan penyemak bertindih dalam 74% kes.

Berbanding dengan saluran ejen, penyemak manusia juga lebih cenderung memilih berbilang label untuk sesuatu tugasan, menunjukkan mereka mendapati tugasan rosak dalam beberapa cara atau tidak sesuai dimasukkan dengan jelas ke dalam satu kategori. Ini menunjukkan saluran ejen-dan-penyemak menghasilkan pelabelan konservatif: ia menangkap mod kegagalan luas yang sama seperti yang dikenal pasti manusia, sambil mengira kurang kes apabila penyemak melihat isu tambahan atau bertindih. Perbezaan terbesar adalah dalam ujian liputan rendah, yang dipilih manusia sebagai isu paling lazim bagi 9.4% penanda aras berbanding 4.1% daripada saluran ejen.

Isu yang telah kami kenal pasti, bersama dengan kes serupa dalam SWE-bench Verified, menonjolkan kepentingan menyemak penanda aras dengan teliti. Isu dan permintaan tarik daripada repositori sumber terbuka pada asalnya dicipta untuk kerjasama manusia, sering melalui perbincangan panjang antara penyelenggara dan penyumbang. Akibatnya, huraian masalah, kod yang digabungkan dan ujian unit tidak selalu sejajar untuk membentuk tugasan yang bersih dan terasing bagi menilai model dengan boleh dipercayai. Khususnya, ujian yang disertakan dalam permintaan tarik boleh menjadi terlalu ketat kerana ia ditulis untuk mengesahkan perubahan tertentu, bukannya untuk mentakrifkan standard bebas pelaksanaan bagi menyelesaikan tugasan.

Pada masa yang sama, kelemahan penilaian kini lebih mudah dikesan berbanding walaupun tidak lama dahulu. Apabila keupayaan model bertambah baik, kita boleh menggunakan model tersebut untuk memeriksa gesaan, ujian, tampalan, jejak dan kes pinggir dengan lebih mendalam dan konsisten, bantu mendedahkan isu penanda aras yang sebelum ini mahal atau tidak praktikal untuk ditemukan pada skala besar.

Kami berharap komuniti penilaian yang lebih luas akan membangunkan penanda aras baharu yang dibina oleh pembangun perisian berpengalaman khusus untuk menguji keupayaan model. Pendekatan itu boleh mengekalkan standard tinggi dan realisme yang kita ingin ukur dalam keupayaan model, serta membolehkan pengawasan manusia yang lebih baik sepanjang proses. Dengan isu yang terbongkar dalam analisis ini, kami menarik balik saranan terdahulu kami untuk menggunakan SWE-Bench Pro.

Akhirnya, sesuatu penilaian harus memberikan isyarat bermakna melalui penanda aras yang sukar dimanipulasi, mudah dipercayai dan benar-benar mencerminkan keupayaan atau penjajaran model. Oleh sebab hasil ini memaklumkan keputusan pelaksanaan dan keselamatan OpenAI, penilaian yang kami jejaki perlu sah dan memberikan maklumat.