Hagis wadaag ah oo loogu talagalay qiimeyn dhinac saddexaad oo lagu kalsoonaan karo
Waxa muhiimka u ah qiimeyn madax-bannaan oo wax ku ool ah oo ku saabsan ilaalada iyo awoodaha noocyada ugu casriyeysan.
Qiimeynaha madax-bannaan ee lagu kalsoon yahay ee dhinac saddexaad waxay ka ciyaaraan door muhiim ah xoojinta nidaamka badbaadada. Qiimeynahan waxaa lagu sameeyaa noocyada ugu casriyeysan si loo bixiyo caddayn dheeraad ah oo ku saabsan sheegashooyinka la xiriira awoodaha muhiimka ah iyo yaraynta khataraha badbaadada. Qoraalkan, waxaan ku wadaagaynaa casharro aan ilaa hadda barannay, waxaana ku talinaynaa habab lagu naqshadeeyo qiimeyn si ansax ah u cabbiri karta noocyada ugu casriyeysan, kuwaas oo aan rajaynayno inay gacan ka geystaan heerarka ka soo baxaya ee xirfadan.
Hore, qiimeyn badan waxay noocyada ula dhaqmi jireen sidii chatbots: qiimeyntu waxay nooc u weydiin jirtay sidii qof su’aal waydiinaya, noockuna wuu jawaabi jiray, qiimeeyuhuna wuxuu xukumi jiray wax-soo-saarka. Maanta noocyada ugu casriyeysan wax badan bay qaban karaan: waxay adeegsan karaan qalab, waxay la socon karaan xogta tallaabooyin badan, waxayna ku shaqayn karaan hab-socod ballaaran. Tani waxay ka dhigan tahay in waxqabadku aanu ku xirnayn oo keliya nooc, balse sidoo kale deegaanka ay hawshu ka dhacayso, iyo habaynta fududaynaysa ficilladiisa. Habayntan ku xeeran, oo aan ugu yeerno “harness,” waxay beddeli kartaa dhinacyo muhiim ah oo ka mid ah waxqabadka nidaamka, oo ay ku jiraan sida uu u adeegsado qalab, ula socdo xogta, ama uga soo kabto khaladaadka.
Tani waxay beddeshaa sida qiimeynaha loo baahan yahay in loo sameeyo, iyo waxa akhristayaashu ay tahay inay ka raadiyaan warbixinnada qiimeynta. Aragtideenna, warbixinnada ugu faa’iidada badan waxay si cad u sharxaan laba arrimood oo ka baxsan natiijada lafteeda: marka hore, waxay qeexaan sheegashada habka qiimeynta loo sameeyey in lagu tijaabiyo, marka labaadna, waxay wadaagaan caddaynta la heli karo ee muujinaysa in natiijada qiimeyntu ansax tahay.
Sheegashooyinka lagu tijaabiyo qiimeynaha badanaa waxay ku dhacaan mid ka mid ah saddexdan qaybood1:
- Soo saarista awoodda: Nooc ma soo saari karaa si macquul ah awoodda la qiimeynayo?
- Waxqabadka ilaalada: Ilaalada la tijaabiyey intee le’eg ayay uga adkaysanayaan hab-dhaqanka ama weerarka la qiimeynayo?
- Isbarbardhigga: Sidee ayay noocyo kala duwan ugu shaqeeyaan xaalado isu dhigma?
Warbixinnada qiimeyntu sidoo kale waxay u baahan yihiin inay sharxaan sida qiimeeyayaashu u hubiyeen saameynaha wax u dhimi kara ansaxnimada natiijada. Kuwaas waxaa ka mid ah:
- Ka faa’iidaysiga nidaamka abaalmarinta: Ka faa’iidaysiga jid-gaabyada hawsha ama dhibcaha, si nidaamku u helo aqoonsi isaga oo aan muujinayn hab-dhaqanka ay qiimeyntu rabto inay cabbirto.
- Diidmooyin: Diidmooyin u dhacaya si qarinaya hab-dhaqanka la tijaabinayo.
- Wasakhow: Waxqabad ka badan xaqiiqda sababtoo ah hawlaha qiimeynta, jawaabaha, ama noocyo aad ugu dhow ayaa ka muuqday xogta tababarka ama la heli karay inta qiimeyntu socotay, sida browsing.
- Dhibaatooyin jaban: Waxqabad hoose sababtoo ah hawluhu ma ansaxsana. Sababaha waxaa ka mid noqon kara dhibcayn aan caddaalad ahayn (tusaale, jawaabta saxda ahi waxay u baahan tahay faahfaahin hirgelin oo aan la sheegin) iyo deegaanno aan la xallin karin (tusaale, faylal muhiim ah oo maqan ama qalab aan la isku hallayn karin).
- Hoos u muujinta awoodda dhabta ah: Si ula kac ah hoos ugu dhigid waxqabadka marka ay muujiyaan inay og yihiin in la qiimeynayo.
Waxaan aragnay in doorka nidaamka tijaabintu si gaar ah muhiim ugu yahay nidaamyada ku shaqeeya habraacyada hawl-fulinta dheer. Marka noocyadu ay adeegsan karaan qalab, ilaalin karaan xaalad, kana soo kaban karaan khaladaad tallaabooyin badan gudahood, nidaamka tijaabintu wuxuu beddeli karaa heerka waxqabadka la arkay, xitaa wuxuu go’aamin karaa in awoodda la qiimeynayo ay qiimeynta ka muuqato iyo in kale. Tusaale ahaan, nidaamka tijaabinta ee ilaaliya xaaladda oo dib u tijaabiya ficillada fashilmay ayaa u oggolaan kara nooc inuu dhammaystiro hawl tallaabooyin badan leh, halka isla noocaasi aanu waligiis ku dhammayn nidaam tijaabin oo ka fudud.
Jadwalka hoose, waxaan ku kala saarnay saddex nooc oo sheegashooyin ah oo qiimeeyayaashu laga yaabo inay rabaan inay sameeyaan iyo nidaamka tijaabinta aan aaminsanahay in nooc kasta oo sheegasho ahi u baahan yahay.
Sheegashada in qiimeyntu ay isku dayayso inay taageerto | Doorasho habboon oo suunka lagu xidho | Caddeynta la soo sheegayo |
Awood xoog leh oo lagu helo xoog: Nidaamka A wuxuu dhammaystiri karaa hawlaha nooca X marka dejinta loogu talagalay inay soo saarto waxqabadkeeda ugu xooggan ee la isku halleyn karo. | Adeegso habka ugu xooggan ee lagu kalsoonaan karo ee loogu talagalay nidaamka, oo ay ku jiraan suunka, qalabka, qalabka dhismaha, iyo miisaaniyadda uu isticmaaluhu si macquul ah u isticmaali karo. | Dejinta qalabka iyo qalabka, hagitaanka soo jiidashada, miisaaniyadda/dadaalka la oggol yahay, qeybo-qoraalka/kharashka/waqtiga, iyo sababta dejistu u tahay wakiil lagu kalsoonaan karo oo loogu talagalay awoodda la sheegay. Haddii aad isbarbardhigayso nidaamyada iyadoo la adeegsanayo dejimo kala duwan oo la hagaajiyay, ku calaamadee isbarbardhig nidaam-ilaa-nidaam ama isbarbardhig xoog leh. |
Isbarbardhigga la xakameeyey: Nidaamka A wuxuu ka sarreeyaa Nidaamka B marka la eego dejinta qiimeynta la wadaago. | Ku xafid hawlaha, dhibcaha, iyo miisaaniyadda mid go'an. Isticmaal qalab/qalab la wadaago ama qalab go'an oo ah suunno caadi ah oo hore loo doortay si loo bixiyo soo jiidasho macquul ah oo loogu talagalay nidaamyada la barbardhigayo. | Qalabka la wadaago, qalabka, habka dhibcaha, qalabka, miisaaniyadda, hufnaanta/kharashka calaamadaha, iyo xaddidaadaha la yaqaan. Qiimaynta wakiilka koodhka, xarig furan sida Codex CLI ayaa bixin kara wareeg wakiil go'an iyo is-dhexgal qalab oo ku baahsan nidaamyada. Habka ugu habboon ee loo heli karo soo jeedinta ugu badan waa in la hagaajiyo qalab gaar ah oo loogu talagalay hawl kasta iyo nidaam kasta, laakiin sidaas sameynta hadda waa wax aan macquul ahayn ficil ahaan. |
Ilaali adkeysiga marka lagu soo qaado weeraro: Ilaalinta Nidaamka A ayaa ku filan dhaqanka moodeelka khuseeya ama weerarka la soo qaaday. | Adeegso hab tijaabo ilaalin ah oo loogu talagalay in lagu soo saaro weerarka ugu xooggan ee la aamini karo iyadoo la adeegsanayo qaabka cadawga ee khuseeya. | Sida qiimeeyayaashu u qeexeen hab-dhaqanka moodeelka ee khuseeya, habaynta ilaalinta ee la tijaabiyay, istaraatiijiyadda kicinta, suunka loo isticmaalay in lagu fuliyo, iyo miisaaniyadda ama dadaalka la oggol yahay. |
Sheegashooyinka awooddu waxay u xoog badan yihiin oo keliya inta ay le’eg tahay soo saarista ka dambaysa: qiimeeyayaashu waa inay doortaan nidaamka tijaabinta ee ugu habboon hawsha iyo awoodda ay qiimeyntu isku dayayso inay cabbirto. Harness la jaangooyey wuxuu ku habboonaan karaa isbarbardhigga nidaamyada xaalado isku mid ah, balse wuxuu hoos u dhigi karaa awoodda marka uu ka tago astaamo gaar ah oo harness ah oo ka caawiya nooc inuu hawsha qabto. Tusaale ahaan, waxqabadka GPT‑5.5 ee cyber ranges-ka OpenAI wuxuu muujinayaa sida doorashada harness-ku si muuqata u beddeli karto awoodda la cabbiray ee hawlaha u baahan adeegsiga qalab dheer oo tallaabooyin badan leh: noocku si ka fiican ayuu u shaqeeyaa marka harness-ku adeegsado isku soo-koobid si loo ilaaliyo macnaha hawsha khuseeya marka isdhexgalku dheeraado. Tani waxay muujinaysaa in noocyo gaar ah, nidaamka tijaabintu aanu ku jirin isku soo koobid uu si hoose u soo saari doono waxqabadka.
Heerarka guusha ee sarreeya way ka wanaagsan yihiin
Qiimeynno kale oo la daabacay2 ayaa sidoo kale muujinaya in doorashooyinka nidaamka tijaabinta iyo miisaaniyaddu ay beddelaan natiijooyinka qiimeynta. Kordhinta xisaabinta waqtiga tijaabada waxay si weyn u beddeli kartaa awoodda ay qiimeyntu soo saarto, gaar ahaan meelaha guushu si fudud loo xaqiijin karo, sida hawlo badan oo cyber ah. Gudaha qiimeynta cyber range ee UK AISI(ku furmaa daaqad cusub), kordhinta miisaaniyadda laga dhigay 10M ilaa 100M tokens waxay hagaajisay waxqabadka ilaa 59%, waxqabadkuna weli wuu sii kordhayay miisaaniyaddii ugu sarraysay ee la tijaabiyey. Faahfaahinta arrintani waxay qiimeynta ka dhigaysaa mid si fiican loo fasiri karo: waxay tusaysaa akhristayaasha sida natiijadu ugu xiran tahay habka soo saarista ee la tijaabiyey. Marka waxqabadku weli sii hagaagayo iyadoo miisaaniyad dheeraad ah la siinayo, dhibcaha waa in lagu sifeeyaa waxqabad ku jira harness-kaas iyo miisaaniyaddaas, ee aan loo sifayn saqaf awood la cabbiray. Awooddu badanaa waxay ku xiran tahay kheyraadka halkii ay ka ahaan lahayd qaddar go’an oo si nadiif ah hal mar loogu cabbiri karo weligeed. Meelaha guusha lagu cabbiri karo isku-dayo soo noqnoqda, warbixinnadu waa inay sidoo kale tixgeliyaan kharashka la filayo ee xal kasta oo guuleysta, ee aan kaliya eegin heerka guusha ee miisaaniyad qeybo-qoraal oo go’an. Tani waxay fududayn kartaa fasiraadda darnaanta: heer guul oo hooseeya weli wuxuu yeelan karaa macne wax ku ool ah haddii kharashka isku-dayada soo noqnoqda uu ku jiro nooca khatarta ee khuseeya. Sheegashooyinka awoodda, soo saarid hoose oo laga hortegi karay waa fashil cabbirid: haddii nidaamka tijaabintu ama miisaaniyaddu ka hor istaagto nidaamka inuu muujiyo dabeecad uu si kale u soo saari lahaa, dhibcuhu ma cabbirayaan awoodda la sheeganayo. Meelaha qiimeeyayaashu ay soo saarista gaarsiiyeen inta suurtagalka ah oo waxqabadkuna weli sii hagaagayo, warbixinnadu waa inay si cad taas u sheegaan oo ay caddeeyaan in natiijadu tahay qiyaas xad-hoose oo keliya.
Tijaabinta ilaaladu waxay hoos u dhigi kartaa in weerar guulaysan karo iyo inta uu le’eg yahay darnaantiisu, haddii aan lagu xisaabtamin kheyraadka ay weeraryahannadu heli karaan, oo ay ku jiraan nidaamyo tijaabin oo gaar loo sameeyey. Gudaha qiimeynta cyber ee GPT‑5.5 ee UK AISI(ku furmaa daaqad cusub), qiimeynta awoodda nidaamka ee khubaradoodu waxay heleen hab jebin guud oo soo saaray nuxur amni intarneet ah oo jebinaya xeerarka dhammaan weydiimihii xunaa ee OpenAI bixisay, oo ay ku jiraan xaalado wakiilnimo leh oo wareegyo badan leh. Waxay adeegsadeen Codex si ay u abuuraan nidaamyo tijaabin oo gaar ah oo xoojiya waxqabadka weerarka ee nooca: wuxuu dhexgeliyey qaab dib-loo-adeegsan karo oo lagu dhaafo ilaalada isdhexgalka, wuxuu ilaaliyey qaabkaas wareegyo iyo qaybo badan, wuxuuna ku dabaqay weydiimihii amniga intarneetka ee xumaa ee OpenAI bixisay. Tijaabinta ilaaladu waa inay la jaanqaaddaa cadowga. Haddii sheegashadu ku saabsan tahay adkaysiga ka dhanka ah si-xun-u-adeegsiga khubarada, tijaabadu waa inay qiimeyso istaraatiijiyadda weerarka dhammaad-ilaa-dhammaad ee ugu xooggan ee la rumaysan karo iyadoo miisaaniyad la qeexay jirto, oo ay ku jirto nidaam tijaabin kasta oo loo baahan yahay si istaraatiijiyaddaas loo ilaaliyo loona dib loogu adeegsado. Haddii kale, natiijooyinku waxay halis ugu jiraan qiyaas khaldan: waxay taageeri karaan oo keliya sheegasho ka cidhiidhsan oo ku saabsan iska-caabbinta weydiin fudud, waxay seegi karaan labadaba inta uu weerarku u darnaanayo iyo suurtagalnimada guushiisa marka habka soo saarista la hawlgeliyo, waxayna sidoo kale ka badbadin karaan sida ay u badan tahay ama u daran tahay dhibaatadu haddii miisaaniyad aad u badan la siiyo.
Waxaa jira waqti iyo meel loogu talagalay isbarbardhigyada nidaamyada tijaabinta ee la jaangooyey, balse qiimeeyayaashu waa inay si cad u sheegaan sababta isticmaalka xirmo nidaam tijaabin joogto ah uu ugu habboon yahay iyo sheegashada uu taageeri karo. qiimeynta muddada qorsheynta ee METR(ku furmaa daaqad cusub) waa tusaale hab qiimeyn ballaaran oo si habboon loo adkeeyey: waxaa loo qaabeeyey inuu soo saaro natiijooyin la isbarbar dhigi karo nidaamyada uu qiimeeyo. METR waxay qeexdaa natiijo guud, muddada caadiga ah ee hawl bini’aadam ah oo wakiil AI la saadaalinayo inuu ku guulaysan doono heer kalsooni oo cayiman. Waxay adeegsataa xirmo hawlo wadaag ah, hab dhibcayn, hab ku-habboonayn, iyo tiro yar oo qaabab taageero dib loo adeegsan karo sida Triframe and ReAct(ku furmaa daaqad cusub) gudaha dufcad kasta oo qiyaaso ah oo si wadajir ah loo soo sheego. Markii METR ay ballaarisay xirmada hawlaha oo ay ka wareejisay kaabeyaasha qiimeynta qaab la oran jiray Vivaria una wareejisay mid la yiraahdo Inspect, waxay soo sheegtay isbeddelka (cusboonaysiinta Time Horizon 1.1(ku furmaa daaqad cusub)) waxayna dib u qiimeysay noocyada iyadoo la adeegsanayo habka cusub ee qiimeynta. Taasi waa qiimaha hab qiimeyn la jaangooyey, oo ay ku jirto xirmo harness oo joogto ah: waxay akhristayaasha ka dhigi kartaa kuwo ku kalsoon in farqiga dhibcuhu runtii ka tarjumayo farqi u dhexeeya nidaamyada la barbar dhigayo, halkii uu ka ahaan lahaa isbeddel ku yimid habka cabbiridda.
Waxaan ku talinaynaa in warbixinnada qiimeynta ee dhinac saddexaad ay sheegaan nooca sheegashada ay habka qiimeyntoodu taageerayso; sharxaan sida ugu dhow ee waxa la tijaabiyey uga tarjumayo sheegashadaas ballaaran; sharxaan doorashooyinka nidaamka tijaabinta ee qaabeeyey natiijada; faahfaahiyaan marka doorashooyinkaas ay isbeddelaan inta u dhexeysa qiimeynaha; ayna ku daraan caddayn taageero ah si loo muujiyo sida natiijadu u soo baxday iyo sida ay ugu guudmarayso sheegashada.
Marka noocyadu sii awood badanayaan, dhibcaha qiimeyntu way sii fududaanayaan in si khaldan loo fasiro. Marka loo eego awoodaha dhabta ah, dhibcaha qiimeyntu si macmal ah ayay hoos ugu dhici karaan haddii nooc garwaaqsado in la qiimeynayo oo si istaraatiiji ah hoos ugu dhigo waxqabadka. Way kor u kici karaan haddii noocku ka faa’iidaysto jid-gaab ku jira hawsha, weydiinta, dhibcaha, ama nidaamka tijaabinta. Waxa kale oo qalloocin kara wasakhowga (halkaas oo nooc uu hore u yaqaan ama ka heli karo jawaab isaga oo aan hawsha xallin) ama dhibaatooyin “jaban” oo mugdi ku jiro, si khaldan loo dhibceeyey, aan la xallin karin, ama u nugul marinno-gaaban oo aan la rabin. Sidaas darteed warbixinnada qiimeyntu waa inay ku lammaaniyaan dhibcaha waaweyn dood ku saabsan khatarahan, si akhristayaashu u qiimeeyaan in dhibcuhu ka tarjumayaan hab-dhaqamadii la rabay.
Nidaamyada tijaabinta, miisaaniyadaha, qalabka, xeerarka dhibcaynta, kormeerayaasha, iyo habraacyada dib-u-eegistu dhammaantood waxay saameeyaan in haddii wakiilku xallinayo hawshii la rabay, ka leexanayo, xafidayo, ama u helayo waddo uu kaga wareego. Warbixin lagu kalsoonaan karo waxay ka dhigtaa hubinnadaas kuwo muuqda: qiimeeyayaashu waa inay dib u eegaan muunado hab-dhaqamadan ah mar kasta oo qiimeyn la sameeyo.
Ka faa’iidaysiga nidaamka abaalmarinta
Ka faa’iidaysiga nidaamka abaalmarinta waxay ka dhigan tahay helidda dhibco qiimeyn oo sare siyaabo aan ka tarjumayn awooddii la rabay. Halkan, walaacu waa in nidaamku helo aqoonsi isaga oo ka faa’iidaysanaya hawsha, dhibcaha, weydiinta, ama harness-ka halkii uu ka qaban lahaa shaqadii ay qiimeyntu rabtay inay cabbirto. Qiimeynta METR ee GPT 5.4(ku furmaa daaqad cusub) waxay muujinaysaa sababta tani muhiim u tahay: inkastoo noocku ku guulaystay hawlo heer markii hore u muuqan lahaa qiyaastii time horizon 13 saacadood, dib-u-eegista bini’aadamku waxay muujisay in qaar ka mid ah guulahaas ay ka yimaadeen ka faa’iidaysiga nidaamka abaalmarinta, dib-u-habaynta natiijooyinkana si loogu xisaabtamo oo keliya dhacdooyinka aan lahayn reward hacking waxay hoos u dhigtay qiyaasta ilaa qiyaastii 6 saacadood. Qiimeeyayaashu waa inay qiimeeyaan baahida sixitaannada noocaas ah, marka loo baahdana si cad u soo sheegaan: qiyaasta awooddu aad bay uga faa’iido badan tahay marka akhristayaashu arki karaan guulaha muuqda ee la diiday, sababta loo diiday, iyo inta ay natiijadu ugu xiran tahay xukunkaas.

Diidmooyin
Noocyadu sidoo kale waxay ku liidan karaan qiimeynta awoodda sababo la xiriira ilaalada. Nooc waxa laga yaabaa inuu yeesho waxqabad qiimeyn oo ka hooseeya awooddiisa sababtoo ah wuxuu diidayaa hawlaha qiimeynta halkii uu ka dhammayn lahaa. Sidaas darteed warbixinnadu waa inay sharxaan haddii diidmooyinku qayb ka ahaayeen natiijooyinka qiimeynta iyo haddii ay haa tahay, inta muunadood ee ay waxyeelleeyeen.
Wasakhow
Wasakhowgu wuxuu ugu muhiimsan yahay tijaabada halbeegyada dadweyne ama kuwa dib loo adeegsaday. Haddii hawlo, jawaabo, ama noocyo aad ugu dhow ay ka muuqdaan xogta tababarka ama uu heli karo wakiil leh daalacasho, waxqabadku wuxuu ka tarjumayaa xafidid ama soo-helid halkii uu ka ahaan lahaa waxqabadka nooc. Qiimeeyayaashu waa inay door bidaan hawlo gaar ah ama kuwo cusub oo la sameeyey marka ay suurtagal tahay, ayna tijaabiyaan in noocyadu soo saaraan faahfaahin gaar u ah hawsha ka hor xallinta.
Dhibaatooyin jaban
Dhibaatooyinka jaban waxaa ka mid ah xaalado sida dhibaato si kama’ ah aan loo xallin karin. Dhibaatooyinka jaban waa ku filan inta ay u badan yihiin(ku furmaa daaqad cusub) in loola dhaqmo sidii khatar ansaxnimo oo caadi ah. Waxa ku jira xaqiiqo aasaasi ah oo khaldan, weydiimo mugdi leh, faylal maqan, adeegyo aan degganayn, shuruudo dhibcayn oo aan caddaalad ahayn, iyo deegaanno soo bandhiga jid-gaabyo sida faylal jawaabeed qarsoon ama taariikhda keydka koodhka oo sidda xirmada xaqiiqada saxda ah.
Hoos u muujinta awoodda dhabta ah
Hoos u muujinta awoodda dhabta ah ee uu sameeyo nooc ama nidaam waxay ka dhigan tahay si istaraatiiji ah hoos loogu dhigo waxqabadka marka waxqabad xooggan uu ka hor imanayo ujeeddo gaar ah. Qiimeynta GPT‑5.5 ee Apollo(ku furmaa daaqad cusub) waxay tan ku tijaabisay iyagoo abuuray macne guud oo noocu fahmay in dhibco qiimeyn oo sare ay keeni karaan barasho la'aan ama xannibi karaan hawlgelinta. GPT‑5.5 weli si sax ah ayuu uga jawaabay, taas oo soo jeedinaysa caddayn dabeecadeed oo yar oo ku saabsan hoos-u-dhigid waxqabad oo istaraatiiji ah3. Laakiin dib-u-eegistooda raadadka caqliyeynta waxay ku dartay macne muhiim ah: Apollo waxay heshay calaamado dhexdhexaad ama ka sarreeya oo muujinaya ogaanshaha qiimeynta is-waafajinta 52% muunadaha xaaladda hoos u muujinta awoodda dhabta ah, marka loo eego 0% xaaladaha la qiyaasay ee ka duwan xaqiiqada. Caddayntaasi waxay adkaynaysaa fasiraadda natiijada, balse ugu dambayn waxay akhristayaasha siisaa calaamado badan: waxay arki karaan labadaba natiijada hab-dhaqameed ee dib u xaqiijineysa iyo sababta looga taxaddaro in si xad-dhaaf ah loo fasiro.
Sheegashooyin xooggan waxay u baahan yihiin labadaba in nidaamyada tijaabinta ee saxda ah oo soo saara hab-dhaqanka iyo hubinno ansaxnimo oo muujinaya in natiijadu sax tahay. Aragtideenna ah in nidaamyada tijaabinta iyo hubinnada ansaxnimadu ay qayb ka yihiin natiijada qiimeynta ayaa qaabaysa sida aan ficil ahaan u taageerno qiimeynaha dhinac saddexaad:
- Waxaan la wadaagaynaa qiimeeyayaasha hagid gaar ah oo ku saabsan soo saarista ugu badan.
- Waxaan ka codsanaynaa qiimeeyayaasha awoodda inay Codex u adeegsadaan saldhig guud oo ugu yar noocyada OpenAI: tijaabooyinku waa inay ugu yaraan ku socodsiiyaan heerka tixraaca isla is-dhexgalka wakiilnimo leh ee isticmaalayaashu u badan tahay inay ku tiirsanaadaan, halkii ay kaliya ka mari lahaayeen is-dhexgal nooc oo la fududeeyey.
- Waxaan sidoo kale ka dhigaynaa raadadka caqliyeynta iyo agabyo kale oo dhexe kuwo la heli karo halka looga baahan yahay in lagu qiimeeyo khiyaano, hoos u muujinta awoodda dhabta ah, ama ogaanshaha qiimeynta. METR iyo Apollo waxay adeegsadeen helitaankan qiimeynaha OpenAI tan iyo GPT‑5.
- Ugu dambayn, waxaan mudnaanta siinaynaa cilmi-baaris si qoto dheer loo fahmo goorta iyo sida doorashooyinka nidaamka tijaabinta si muuqata u beddelaan natiijooyinka, laga bilaabo maaraynta macnaha guud iyo helitaanka qalab ilaa hab-dhaqanka dib-u-isku-dayga, dhibcaynta, iyo miisaaniyadaha kheyraadka.
Talooyinkan looma jeedo oo keliya in lagu hagaajiyo warbixin kasta oo qiimeyn ah, balse sidoo kale in lagu wargeliyo heerarka soo baxaya ee qaran (ku furmaa daaqad cusub)iyo caalami (ku furmaa daaqad cusub)ah ee qiimeynta iyo warbixinta AI ugu casriyeysan. Mustaqbalka, heerarka qiimeynta dhinac saddexaad waa inay dalbadaan faahfaahin ku filan si go’aan-qaadayaashu u fahmaan sheegashooyinka ay qiimeynaha gaarka ahi taageerayaan, nidaamka la tijaabiyey, sida natiijada loo soo saaray, iyo sida qiimeeyayaashu u hubiyeen ansaxnimadeeda. Nidaamyada ugu casriyeysan ee lagu tijaabinayo hawlo ay awoodaha wakiilnimadu muhiim ka yihiin, faahfaahintu waa inay ku jirtaa (iyadoo la tixgelinayo walaac kasta oo amni ama qarsoodi ah):
- Sheegashada: in qiimeyntu isbarbar dhigto nidaamyo, qiyaasto saqaf awood, ama tijaabiso ilaalo.
- Nuxurka qiimeynta: faahfaahin ku filan oo ku saabsan hawlaha ama qaybinta hawlaha si akhristayaashu u fahmaan xirfadaha, dabeecadaha, ama hababka fashilka ee qiimeyntu dhab ahaan tijaabinayso.
- Nidaamka la tijaabiyey: nooc, dejinta caqliyeynta, helitaanka qalab, harness, iyo ilaalo.
- Miisaaniyadda: wareegyo, qeybo-qoraallo, isku-dayo/dib-u-isku-dayo, waqtiga saacadda dhabta ah, kharashka hawlgelinta moodelka, iyo halka ay khusayso kharashka la filayo ee xal kasta oo guuleysta.
- Hababka soo saarista: doorashooyinka nidaamka tijaabinta ee loo adeegsaday in natiijada loo soo saaro, iyo sida ugu dhow ee waxa la tijaabiyey uga tarjumayo sheegashada ballaaran ee la samaynayo.
- Hubinnada ansaxnimada: sida qiimeeyayaashu u raadiyeen ka faa’iidaysiga nidaamka abaalmarinta, ogaanshaha qiimeynta, wasakhow, diidmooyin, hoos u muujinta awoodda dhabta ah iyo hab-dhaqanno kale oo wiiqi kara natiijada, oo ay ku jirto sida kiisaska la xaqiijiyey u saameeyeen dhibcaynta ama fasiraadda.
Heerar ka taga doorashooyinka nidaamka tijaabinta ama hubinnada ansaxnimada waxay hoos u dhigi karaan waxa nidaam samayn karo ama waxay ka badbadin karaan kalsoonida sheegasho badbaado. Dhisidda nidaamyo tijaabin oo xooggan iyo habab soo saarid weli waa goob cilmi-baaris oo furan waana inay noqotaa meel diiradda la saaro baaritaan iyo maalgelin dheeraad ah.
Qoraa
Eray-bixin
Sababtoo ah waxaan qoraalkan ku isticmaalnay ereyo farsamo oo dhowr ah, waxaan hoos ku darnay eray-bixin si fudud u sharxaya waxa aan ula jeedno:
Nidaam wakiilnimo leh: Nidaam awood u leh inuu hawl ku qabto tallaabooyin badan, isagoo adeegsanaya qalab, ilaalinaya xaaladda hawsha, kana falgalaya deegaan, halkii uu kaliya ka soo celin lahaa hal jawaab oo ku aaddan weydiin.
Qiimeyn guud: Go’aan ballaaran oo ku saabsan in caddayntu taageerayso sheegasho, gunaanad khatar, ama mowqif dammaanad, kaas oo ku salaysnaan kara xogta qiimeynta, dib-u-eegista dukumenti, wareysi, dib-u-eegista habraaca, iyo agabyo kale oo khuseeya.
Isku-koobida: Hab lagu ilaaliyo macnaha hawsha khuseeya inta lagu jiro socod dheer.
Qaabayn: Nidaamka saxda ah ee la tijaabiyey iyo xaaladaha qiimeynta, kana baxsan magaca nooc.
Wasakhow: Marka hawlaha qiimeynta, jawaabaha, ama noocyo aad ugu dhow ay ka muuqdaan xogta tababarka nooc ama la heli karo inta qiimeyntu socoto (tusaale ahaan, iyada oo loo marayo qalab sida daalacashada), taas oo ka dhigaysa waxqabadku inuu ka badbadiyo guudmarinta dhabta ah ee nooc.
Soo saarid: Habka lagu isku dayo in nidaam laga soo bixiyo awood ama hab-dhaqan inta qiimeyn lagu jiro.
Deegaan: Goobta hawsha ee nidaam lagu tijaabiyo. Tan waxa ku jira waxyaabo sida xaaladda dibadda ee wakiilku la falgalo oo wax ka beddelo inta qiimeyntu socoto, sida goobta lagu fuliyo amarrada qoraalka ama ciyaar fiidiyow ah.
Qiimeyn: Tijaabo ama cabbir gaar ah oo ku dhex jira qiimeyn guud.
Ogaanshaha qiimeynta: Ogaanshaha qiimeyntu waxa uu tilmaamayaa nooc garanaya, ama u muuqda inuu garanayo, in la qiimeynayo isla markaana laga yaabo inuu dabeecaddiisa ku waafajiyo macnahaas. Tani waxay u ekaan kartaa nooc si cad uga caqliyeynaya in la tijaabinayo, ka soo saaraya ujeeddada qiimeynta, ama beddelaya dabeecaddiisa sababtoo ah wuxuu filayaa in natiijadu saameyn doonto sida loo xukumo ama loo hawlgeliyo.
Harness: Qaab-dhismeedka u jeeda nooc ee u oggolaanaya nooc inuu hawl qabto: weydiimo, qalab, is-dhexgallo, caqliyadda xakamaynta, xusuus, isku-dayo kale, xaqiijiyeyaal, iyo qaabab kale oo taageero ah oo ku xeeran nooc.
Soo saarista ugu badan: Tijaabo lagu doonayo in lagu helo waxqabadka ugu xooggan ee la rumaysan karo ama hab-fashilka uu nidaam soo saari karo iyadoo miisaaniyad la qeexay jirto, halkii si fudud nidaamka hal mar loogu socodsiin lahaa deegaanka tijaabada ee la jaangooyey.
Raadadka caqliyeynta: Diiwaannada caqliyeynta dhexe ee nooc inta tijaabo lagu jiro.
Ka faa’iidaysiga nidaamka abaalmarinta: Helidda dhibco sare iyada oo loo marayo jid-gaaban ama hab-dhaqan ka baxsan ujeeddada qiimeeyaha.
Ilaalo: Shaandheeyayaal, kormeerayaal, nidaamyo xannibaad ah, iyo difaacyo kale oo lagu dabaqo hareeraha nooc ama badeecad.
Hoos u muujinta awoodda dhabta ah: Hoos-u-dhac istaraatiijiyeed oo ku yimaadda waxqabadka qiimeyn si natiijada loo wiiqo.
Dhibcayn: Habka loo adeegsado in lagu go’aamiyo sida waxqabadka loo cabbiro ama in hawshu guulaysatay.
Nidaam tijaabin la jaangooyey: Nidaam tijaabin isku mid looga dhigo nidaamyada oo dhan halkii loogu habayn lahaa nooc ama hawl gaar ah, si kala duwanaanshaha natiijooyinka si fudud loogu nisbeeyo nooca la tijaabiyey.
Waqtiga hawsha: Dhererka hawl uu nidaam ku dhammayn karo kalsooni cayiman, badanaa lagu muujiyo inta ay isla hawshaasi qof bani’aadam ah ku qaadan lahayd.
Helitaanka qalab: Qalabka dibadda ee nooc u heli karo inta qiimeyntu socoto.
Habraacyada hawl-fulinta: Waddooyinka tallaabo-tallaabo ah ee nidaam raaco inta uu hawl ku guda jiro.
Hab jebin guud: Hal qaab weerar oo sababa in nidaamku ka gudbo ilaalo badan oo ku kala jira weydiimo ama hawlo badan.
Qoraallo-hoosaadyo
- 1
Qoraalkani iskuma dayayo inuu xalliyo sida dhinacyo saddexaad ay u qiimeynayaan sheegashooyinka la xiriira is-waafaq la’aanta ama u-janjeeridda. Shaqo dheeraad ah ayaa loo baahan yahay si loo fahmo sida xulashooyinka harness-ku u saameeyaan qiimeynahaas, gaar ahaan maadaama harness-yada taageera dabeecad waqti-dheer ay sidoo kale beddeli karaan noocyada hab-dhaqamada aan la rabin ee qiimeeyayaashu u baahan yihiin inay kormeeraan.
- 2
HAL(ku furmaa daaqad cusub) waxa uu bixiyaa tusaale dheeraad ah oo ka yimid qiimeynta wakiillada: gudaha CORE-Bench(ku furmaa daaqad cusub), beddelidda nidaamka tijaabada loona wareejiyey Claude Code waxay beddeshay labadaba waxqabadka la cabbiray iyo qaabka kharashka ee isla tijaabada halbeegga ah. Tusaalooyin kale oo dadweyne waxaa ka mid ah SWE-agent(ku furmaa daaqad cusub), SeeAct(ku furmaa daaqad cusub), ScienceAgentBench(ku furmaa daaqad cusub), CORE-Bench(ku furmaa daaqad cusub), iyo Inspect Cyber(ku furmaa daaqad cusub); mid kastaa waxa uu akhristayaasha u sheegaa is-dhexgalka ama harness-ka soo saaray dhibcaha.
- 3
Helidda 100% labada nooc ee hoos u muujinta awoodda dhabta ah ee QA iyo 99.6% hawsha hoos u muujinta awoodda dhabta ah ee khiyaanada istaraatiijiga ah.


