Kala saaridda calaamadda iyo buuqa qiimeynta koodhaynta

In si sax ah loo cabbiro awoodaha noocyadayadu waxay muhiim u tahay go’aannada dejin iyo badbaado ee sugan, oo ay ku jiraan go’aannada hoos yimaada Qaab-dhismeedka Diyaar-garowga⁠(ku furmaa daaqad cusub) ee OpenAI. Markasta oo nooc cusub la sii daayo, waxaan soo sheegnaa natiijooyinka halbeegyo kala duwan oo dibadda iyo gudaha ah si aan ula soconno horumarka nooca. Marka qiimeyntu leedahay cilado saameeya natiijooyinka, waxay bixin kartaa faham khaldan oo ku saabsan awoodaha, waxayna qalloocin kartaa kiisaska badbaadada iyo mudnaanta cilmi-baarista.

Waxaan dhowaan baarnay sida SWE-bench Verified, oo ka mid ah halbeegyada koodhaynta ugu isticmaalka badan, uu u lahaa dhibaatooyin aasaasi ah oo naqshad iyo wasakhayn ah, waxaana ogaanay in qiimeyntu aysan mar dambe bixinayn calaamad macno leh oo ku saabsan awoodaha horumarinta software-ka. Xilligaas, waxaan bulshada ballaaran ku dhiirrigelinnay inay u wareegaan SWE-Bench Pro.

SWE-Bench Pro⁠(ku furmaa daaqad cusub) waxaa loo naqshadeeyey inuu ka wanaajiyo SWE-bench Verified isagoo noocyada ku tijaabinaya hawlo koodhayn oo waqti dheer qaata kana dhab-u-eg, si si fiican loola socdo awoodaha koodhaynta wakiil-ku-saleysan. Sida SWE-bench Verified, hawlaha waxaa barnaamij ahaan looga soo qaataa taariikhda isbeddellada sifooyinka ee keydad koodh dadweyne iyo gaar loo leeyahay. Noocyada waxaa laga rabaa inay hirgeliyaan xal ka gudba tijaabooyinka cusub ee sifo, iyagoo aan jebin shaqaynta jirta. Qaybta dadweynaha ee 731 hawlood, noocyada ugu casriyeysan waxay sideed bilood gudahood ka kordheen heer gudub oo 23.3% ah ilaa 80.3%.

Tan iyo markaas waxaan SWE-Bench Pro ku samaynay hanti-dhawr la mid ah, annagoo xog-ururinta ku eegnay habraac falanqayn qodob xogeed. Habraacu wuxuu dib u eegay isku-dayada nooca ee hawsha, macluumaadka xogta sharaxeysa ee hawsha, iyo raadadka guuldarrada si loo calaamadeeyo cilado qiimeyn oo suuragal ah. Hawl kasta oo la calaamadeeyey waxaa lagu qiimeeyey dhowr mar oo baarayaal-wakiillo ah, waxaana si madax-bannaan u eegay shan injineer software oo khibrad leh; khilaafaadkana waxaa loo gudbiyey baaritaan dheeraad ah.

Dhibaatooyinku badanaa waxay galeen afar qaybood:

• Tijaabooyin aad u adag¹ waxay khasbaan faahfaahin hirgelin oo gaar ah oo aan lagu sheegin weydiinta, taasoo burinaysa gudbinno badan oo shaqo ahaan sax ah.
• Weydiimo aan si ku filan loo qeexin² waxay ka tagaan shuruudo ay tijaabooyinka qarsoon khasbaan oo aan si macquul ah looga garan karin.
• Tijaabooyin daboolidda hoose leh si liidata bay u hubiyaan sifada la codsaday, sidaas darteed hagaajinno aan dhammeystirnayn way gudbi karaan.
• Weydiin marin-habaabin ah waxay noocyada u jihaysaa hab-dhaqan khaldan ama waxay ka hor timaaddaa waxa tijaabooyinku rabaan.

Natiijooyinkayagu waxay muujinayaan adkaanta diyaarinta halbeegyo adag balse caddaalad ah, iyo faa’iidada sii kordhaysa ee wakiillada loogu leeyahay hubinta tayada xogta si baaxad leh. Markaan eegno natiijooyinkan, waxaan qiyaasaynaa in ~30% hawlaha SWE-bench Pro ay jaban yihiin, waxaana kula talinaynaa horumariyeyaasha noocyada inay si taxaddar leh u baaraan natiijooyinka.

Ujeeddadayadu waa in guuldarrooyinka hawluhu ay ka tarjumaan xaddidaadaha dhabta ah ee nooca, guulaha hawluhuna ay ka tarjumaan xalal dhammeystiran oo ansax ah oo buuxiya shuruudaha weydiinta. Si aan u hubinno tayada xogta loo adeegsaday qiimeynta, waxaan abuurnay habraac hubin tayo si loo qiimeeyo in qodob xogeed kasta si sax ah u muujiyo awoodaha nooca.

Shaandheyn otomaatig ah oo hordhac ah ayaa eegta tilmaamaha la siiyey nooca, isku-dayada nooca ee xallinta hawsha, iyo tijaabooyinka lagu qiimeeyo isku-dayadaas, si loo calaamadeeyo tusaalooyin u badan inay jaban yihiin ama dhib leeyihiin. Shaandheyntani waxay calaamadisay 286 hawlood oo suuragal ahaan jaban. Kadib waxaan qaybtaas ku samaynay dib-u-eegis qoto dheer laba siyaabood: dib-u-eegis wakiil oo bini’aadam kormeero, taasoo samaysa hubinno ballaaran oo ay wadaan wakiillo baareyaal ah iyo xukun bini’aadam oo kama dambays ah; iyo olole calaamadin bini’aadam oo la shaqeeya horumariyeyaal software oo khibrad leh.

Dhibaato kasta oo la calaamadeeyey waxaa hanti-dhawr ku sameeya wakiillo baareyaal ah oo Codex ku saleysan, kuwaas oo loo siiyey gelitaanka keydka koodhka iyo deegaanka hawsha. Tani waxay ka caawisaa inay kala saaraan mugdiga hawl ee macquulka ah, oo badanaa lagu xallin karo barashada koodhka ku dhow iyo caadooyinka keydka koodhka, iyo qeexitaan-la’aanta dhabta ah. Wakiilku wuxuu ordi karaa tijaabooyin, eegi karaa faylasha ku jira goobta keydka koodhadhka, wuxuuna baari karaa isku-dayada nooca iyo qaababka guuldarrada ee caamka ah ee hawsha. Kadib dhowr ku-celin oo madax-bannaan oo hanti-dhawrkan qoto dheer ah, cilmi-baare ayaa eegay soo-koobyada, bixiyey xukun kama dambays ah, kuna calaamadeeyey dhibaatooyinka suuragalka ah.

Isla mar ahaantaana, waxaan qaybta la calaamadeeyey ku wadnay olole calaamadin bini’aadam. Waxaan la shaqaynay injineerro software oo khibrad leh, kuwaas oo lagu tababaray yoolalka halbeegga, kala-soocidda dhibaatooyinka, iyo kiisaska xadka ka hor intaanay hawlaha eegin. Hawl kasta waxaa eegay shan injineer.

Dib-u-eegayaashu waxay xukun madax-bannaan ka sameeyeen qoraalka dhibaatada ee muuqda, kiisas tijaabo, iyo xalka tixraaca runta ah (oo loo yaqaan dufcadda dabahka) ka hor intaanay falanqaynta habraaca ama qoraalka wada-sheekaysiga u adeegsan macne taageeraya. Kadib dib-u-eegayaashu waxay u qoondeeyeen calaamad iyo darajo culays iyadoo lagu salaynayo caddayn muuqata, waxayna khilaafaadka ama kiisaska kalsoonida hoose u gudbiyeen dib-u-eegis dheeraad ah.

Dib-u-eegayaasha bini’aadamku waxay uga badnaayeen wakiillada baareyaasha inay hawlaha ku calaamadeeyaan kuwo jaban. Waxaa sidoo kale jiray khilaaf qaybeed oo u dhexeeyey labada dariiq ee dib-u-eegista, balse hawl la calaamadeeyey midkoodna “aan jabnayn” ma noqon calaamadda bini’aadamka ugu badan. Qaybaha uu habraaca wakiilku calaamadeeyey, xukunnada dib-u-eegayaashu waxay is waafaqeen 74% kiisaska.

Marka loo eego habraaca wakiilka, dib-u-eegayaasha bini’aadamku sidoo kale waxay u badnaayeen inay hawl u doortaan calaamado badan, taasoo muujinaysa inay u arkeen hawlaha kuwo dhowr siyaabood u jaban ama aan si nadiif ah ugu habboonayn hal qayb. Tani waxay muujinaysaa in habraaca wakiil-iyo-dib-u-eegaha uu keenay calaamadin taxaddar leh: wuxuu qabtay isla qaababka guuldarrada ee ballaaran ee bini’aadamku aqoonsadeen, isagoo yaraynaya tirada kiisaska ay dib-u-eegayaashu ku arkeen dhibaatooyin dheeraad ah ama is-dulsaaran. Farqiga ugu weyn wuxuu ku jiray tijaabooyinka daboolka hoose leh, kuwaas oo bini’aadamku u doorteen dhibaatada ugu badan ee 9.4% halbeegga, marka loo barbar dhigo 4.1% ka yimid habraaca wakiilka.

Dhibaatooyinka aan aqoonsannay, oo ay weheliyaan kiisas la mid ah oo ku jira SWE-bench Verified, waxay muujinayaan muhiimadda ay leedahay in halbeegyada si adag loo hubiyo. Arrimaha iyo pull requests-ka ka yimaada keydadka koodhka il-furan asal ahaan waxaa loo abuuray iskaashi bini’aadam, badanaa iyadoo ay jiraan is-weydaarsiyo dheer oo u dhexeeya dayactireyaal iyo ka-qaybgalayaal. Sidaas awgeed, sharaxaadaha dhibaatooyinka, koodhka la midoobay,oo tijaabooyinka cutubku mar walba iskuma xirmaan si ay u sameeyaan hawlo nadiif ah oo gooni ah oo lagu qiimeeyo noocyada si la isku halayn karo. Gaar ahaan, tijaabooyinka ku jira pull requests waxay noqon karaan kuwo aad u adag, sababtoo ah waxaa loo qoraa inay xaqiijiyaan isbeddel gaar ah, halkii ay qeexi lahaayeen heer aan ku xirnayn hirgelin gaar ah oo lagu xalliyo hawsha.

Isla markaas, ciladaha qiimeynta maanta way ka sahlan yihiin in la ogaado marka loo eego xitaa waqti gaaban ka hor. Marka awoodaha noocyadu hagaagaan, waxaan noocyadaas u adeegsan karnaa inay si aad uga qoto dheer kana joogto badan u baaraan weydiimaha, tijaabooyinka, patches, raadadka, iyo kiisaska xadka, taasoo gacan ka geysanaysa in la soo saaro dhibaatooyin halbeeg oo hore qaali u ahaa ama aan si baaxad leh loo heli karin.

Waxaan rajaynaynaa in bulshada qiimeynta ee ballaaran ay horumarin doonto halbeegyo cusub oo ay dhisaan horumariyeyaal software oo khibrad leh, si gaar ah loogu tijaabiyo awoodaha nooca. Habkaasi wuxuu ilaalin karaa heerka sare iyo dhab-u-egga aan doonayno inaan ku cabbirno awoodaha nooca, wuxuuna oggolaanayaa kormeer bini’aadam oo ka wanaagsan inta hawshu socoto. Maadaama dhibaatooyinkan lagu helay falanqayntan, waxaan ka laabanaynaa taladeennii hore ee ahayd in la qaato SWE-Bench Pro.

Ugu dambayn, qiimeyn waa inay bixisaa calaamad macno leh iyadoo adeegsanaysa halbeegyo ay adag tahay in la khiyaameeyo, sahlan in la aamino, si dhab ahna u muujinaya awoodda ama is-waafajinta nooca. Maadaama natiijooyinkani hagaan go’aannada dejinta iyo badbaadada ee OpenAI, qiimeynnada aan la soconno waa inay noqdaan kuwo ansax ah oo xog-bixin leh.