Sida evals u wadaan cutubka xiga ee AI ee ganacsiyada

In ka badan hal milyan oo ganacsi⁠ oo ku kala sugan dunida ayaa adeegsanaya AI si ay u helaan hufnaan iyo abuurista qiime ka badan. Laakiin hay’ado qaarkood ayaa ku dhibtooday inay helaan natiijooyinkii ay filayeen. Maxaa keenaya farqigan?

OpenAI gudaheeda waxaan u adeegsaneynaa AI si aan u gaarno himilooyinkeenna waaweyn. Mid ka mid ah agabyada muhiimka ah ee aan adeegsanno waa evals, habab lagu cabbiro laguna hagaajiyo awoodda nidaamka AI ee buuxinta filashooyinka. 

Si la mid ah dukumentiyada shuruudaha badeecadda, evals waxay yoolalka aan caddayn iyo fikradaha aan la taaban karin ka dhigaan kuwo gaar ah oo si cad loo qeexay. Isticmaalka evals si istaraatiiji ah wuxuu ka dhigi karaa badeecad macaamiil wajahda ama qalab gudaha ah mid la isku halayn karo marka la ballaariyo, yareyn kara khaladaadka culus, ka ilaalin kara khataraha khasaaraha leh, kana siin kara hay’ad waddo la cabbiri karo oo ku wajahan ROI sare. 

OpenAI dhexdeeda, noocyadeennu waa badeecadahayaga, sidaas darteed cilmi-baarayaasheenna waxay adeegsadaan frontier evals⁠(ku furmaa daaqad cusub) ¹ adag si ay u cabbiraan sida ay noocyadu uga shaqeeyaan qaybaha kala duwan. Inkastoo frontier evals ay naga caawiyaan inaan si degdeg ah u sii daynno noocyo ka wanaagsan, ma soo bandhigi karaan dhammaan faahfaahinta looga baahan yahay in lagu hubiyo in noocku ka shaqayn doono socod-hawl gaar ah oo ku jira jawi ganacsi oo gaar ah. Taasi waa sababta kooxaha gudaha ay sidoo kale u abuureen tobanaan contextual evals ah oo loogu talagalay in lagu qiimeeyo waxqabadka gudaha badeecad gaar ah ama socod-hawl gudaha ah. Waana sidoo kale sababta ay tahay in hoggaamiyeyaasha ganacsigu bartaan sida loo abuuro contextual evals u gaar ah baahiyaha iyo deegaanka hawlgalka ee hay’addooda. 

Tani waa hordhac loogu talagalay hoggaamiyeyaasha ganacsiga ee doonaya inay evals ku dabaqaan hay’adahooda. Contextual evals, oo mid walba loo sameeyo socod-hawl ama badeecad u gaar ah hay’ad gaar ah, waa goob horumarineed oo firfircoon welina ma soo bixin habraacyo kama dambays ah. Sidaas darteed, maqaalkaan wuxuu bixiyaa qaab guud oo aan aragnay inuu ka shaqeeyo xaalado badan. Waxaan filaynaa in goobtan ay sii kobci doonto iyo in ay soo bixi doonaan qaabab badan oo wax ka qabta duruufaha iyo yoolalka ganacsi ee gaarka ah. Tusaale ahaan, eval aad u wanaagsan oo loogu talagalay badeecad casri ah oo AI ku shaqeysa oo loogu talagalay macaamiisha ayaa laga yaabaa inay u baahato hannaan ka duwan eval loogu talagalay otomaatig gudaha ah oo ku saleysan habraac hawlgal oo caadi ah. Waxaan rumeysanahay in qaabka hoos lagu soo bandhigay uu u adeegi doono sidii ururin hababka ugu wanaagsan labada xaaladoodba, isla markaana uu noqon doono hage waxtar leh marka aad dhisayso evals loo habeeyey baahiyaha hay’addaada.

Ku billow koox yar oo awood leh oo qori karta ujeeddada nidaamkaaga AI si erayo fudud ah, tusaale ahaan: “U beddel emayllada soo gala ee u qalma bandhigyo la jadwaleeyey adigoo ilaalinaya astaanta.”

Kooxdani waa inay ka kooban tahay dad leh khibrad farsamo iyo mid aqooneed oo ku saabsan goobta (tusaalaha la bixiyey, waxaad kooxda ku dari lahayd khubaro iib). Waa inay awoodaan inay sheegaan natiijooyinka ugu muhiimsan ee la cabbirayo, qeexaan socod-hawsha bilow ilaa dhammaad, oo ay aqoonsadaan meel kasta oo go’aan muhiim ah oo nidaamkaaga AI la kulmi doono. Tallaabo kasta oo socod-hawshaas ku jirta, kooxdu waa inay qeexdaa waxa guushu u eg tahay iyo waxa laga fogaanayo. Habkani wuxuu abuuri doonaa is-waafajin u dhexeysa daraasiin tusaalooyin gelin ah (tusaale, emayllada soo gala) iyo natiijooyinka ay rabaan in nidaamku soo saaro. Golden set ee ka dhasha tusaalooyinkan waa inuu noqdaa tixraac nool oo awood leh oo ka tarjumaya xukunka iyo dhadhanka khubaradaada ugu xirfadda badan ee ku saabsan waxa “wanaagsan” u egyahay.

Ha ku argagixin bilow adag ama ha isku dayin inaad wax walba mar qura xalliso. Habku waa mid soo noqnoqda oo qasan. Tijaabo-hordhac hore ayaa si weyn u caawin kara. Dib-u-eegista 50 ilaa 100 natiijo oo ka timid nooc hore ee nidaamka waxay muujin doontaa sida iyo goorta nidaamkaagu u fashilmay. “Falanqaynta khaladka” waxay ka dhalin doontaa kala-sooc khaladaad kala duwan ah (iyo soo noqnoqoshadooda) oo la raaco marka nidaamkaagu hagaagayo.

Habkani ma aha mid farsamo oo keliya—waa mid iskaashi waaxeed ah oo ku qotoma qeexidda yoolalka ganacsiga iyo habraacyada la doonayo. Kooxaha farsamada waa inaan si gooni ah looga codsan inay go’aamiyaan waxa ugu wanaagsan ee u adeegaya macaamiisha ama baahiyaha kooxaha kale sida badeecad, iib, ama HR. Sidaas darteed, khubarada domain-ka, hoggaamiyeyaasha farsamada, iyo daneeyayaasha kale ee muhiimka ah waa inay wadaagaan lahaanshaha. 

Tallaabada xigta waa cabbirid. Ujeeddada cabbiriddu waa in si lagu kalsoonaan karo loo soo bandhigo tusaalooyin cad oo muujinaya sida iyo goorta nidaamku u fashilmay. Si taas loo sameeyo, samee deegaan tijaabo oo gaar ah oo si dhow uga tarjumaya xaaladaha dunida dhabta ah—ma aha oo keliya demo ama goob lagu ciyaaro weydiinaha. Ku qiimee waxqabadka marka loo eego golden set-kaaga iyo falanqaynta khaladka adigoo la kulmaya cadaadisyo iyo xaalado gees ah oo la mid ah kuwa nidaamkaagu dhab ahaan wajihi doono.

Rubrics waxay ka caawin karaan in la adkeeyo xukunka natiijooyinka ka imanaya nidaamkaaga, laakiin waa suurtagal in si xad dhaaf ah loo adkeeyo waxyaabaha dusha sare ah iyadoo lagu bixinayo qiimo yoolalkaaga guud. Intaa waxaa dheer, sifooyin qaarkood way adag tahay ama suurtagal ma aha in la cabbiro. Xaaladaha qaar, cabbirrada ganacsi ee dhaqanka ah ayaa muhiim noqon doona. Kuwo kale, waxaad u baahan doontaa inaad hindisto cabbirro cusub. Khubaradaada mawduuca ku hay wareegga inta habku socdo, hanaanka si adagna ugu waafaji yoolalkaaga aasaasiga ah.

Si nidaamka dhab ahaan loo tijaabiyo, isticmaal tusaalooyin laga soo qaatay xaaladaha dunida dhabta ah mar kasta oo ay suurtagal tahay, kuna dar ama hindis xaalado gees ah oo dhif ah balse qaali ku noqda haddii si khaldan loola tacaalo. 

Qaar ka mid ah evals waa la ballaarin karaa iyadoo la adeegsanayo LLM grader, oo ah nooc AI ah oo natiijooyinka u qiimeeya si la mid ah sida khabiirku yeeli lahaa; haddana, weli waa muhiim in bini’aadamku ku jiro wareegga. Khabiirkaaga domain-ka waa inuu si joogto ah u hubiyaa saxnaanta LLM graders waana inuu sidoo kale si toos ah u dib u eego diiwaannada habdhaqanka nidaamkaaga. 

Evals waxay kaa caawin karaan inaad go’aansato goorta nidaamku diyaar u yahay in la bilaabo, laakiin kuma eka bilaabista. Waa inaad si joogto ah u cabbirtaa tayada natiijooyinka dhabta ah ee nidaamkaaga oo laga soo saaray gelinno dhab ah. Sida badeecad kasta oo kale, calaamadaha ka imanaya adeegsadayaashaada dhammaadka ah (ha noqdeen kuwo dibadeed ama gudaha ah) si gaar ah ayey muhiim u yihiin waana in lagu dhisaa eval-kaaga.

Tallaabada ugu dambeysa waa in la dejiyo hannaan horumar joogto ah. Wax ka qabashada dhibaatooyinka ay eval-kaagu soo bandhigtay waxay qaadan kartaa qaabab badan: hagaajinta weydiimaha, wax ka beddelka helitaanka xogta, cusboonaysiinta eval-ka laftiisa si uu si fiican uga tarjumo yoolalkaaga, iyo wixii la mid ah. Markaad ogaato noocyo cusub oo khaladaad ah, ku dar falanqaynta khaladkaaga oo wax ka qabso. Soo noqnoqosho kasta waxay ku dul dhisantaa tii ka horreysay: shuruudo cusub iyo filashooyin cad oo ku saabsan habdhaqanka nidaamka ayaa kaa caawinaya in la muujiyo xaalado gees ah oo cusub iyo arrimo khiyaano badan oo adag oo u baahan sixid.

Si loo taageero soo noqnoqoshadan, dhis data flywheel. Diiwaangeli gelinnada, natiijooyinka, iyo wixii ka dhashay; ka qaad muunado diiwaannadaas jadwal ahaan oo si toos ah ugu gudbi xaaladaha mugdiga ku jiro ama qaali ku noqon kara dib-u-eegis khubaro. Ku dar xukunnadan khubarada eval-kaaga iyo falanqaynta khaladka, ka dibna u isticmaal si aad u cusboonaysiiso weydiimaha, agabyada, ama noocyada. Wareeggan dhexdiisa waxaad si ka sii cad u qeexi doontaa filashooyinkaaga nidaamka, waxaadna si dhow ugu waafajin doontaa filashooyinkaas, isla markaana waxaad aqoonsan doontaa natiijooyin iyo waxyaabo kale oo muhiim ah oo la raaco. Hirgelinta habkan marka la ballaariyo waxay dhalisaa xog-ururin weyn, kala soocan, oo ku gaar ah duruufaha oo adag in la koobiyo—taas oo ah hanti qiimo leh oo hay’addaadu ka faa’iidaysan karto marka aad dhisayso badeecadda ama habraaca ugu fiican suuqaaga. 

Inkasta oo evals ay abuuraan hab nidaamsan oo lagu hagaajiyo nidaamkaaga AI, qaabab cusub oo fashil ah ayaa soo bixi kara. Ficil ahaan, maadaama noocyada, xogta, iyo yoolalka ganacsigu ay is beddelaan, evals waa in sidoo kale si joogto ah loo ilaaliyaa, loo ballaariyaa, loona mariyaa tijaabooyin adkaysi.

Hirgelinnada dibadda u jeeda, evals ma beddelaan tijaabooyinka A/B ee dhaqanka ah iyo tijaabooyinka badeecadda. Waa kabayaal la socda tijaabinta dhaqanka ah kuwaas oo ka caawin kara inay is hagaan oo bixiyaan muuqaal ah sida isbeddellada aad samayso u saameeyaan waxqabadka dunida dhabta ah. 

Isbeddel kasta oo weyn oo tignoolajiyadeed wuxuu dib u qaabeeyaa heerka hawlgal ee sare iyo faa’iidada tartanka. Qaab-dhismeedyo sida OKRs iyo KPIs ayaa ka caawiyey hay’adaha inay isku toosiyaan “cabbiridda waxa muhiimka ah” ee ganacsigooda xilligii falanqaynta xogta waaweyn. Evals waa fidinta dabiiciga ah ee cabbiridda ee xilliga AI.

La shaqaynta nidaamyo suurtagalnimo ku salaysan waxay u baahan tahay noocyo cusub oo cabbirid ah iyo tixgelin qoto dheer oo ku saabsan isu-dheellitirnaanta. Hoggaamiyeyaashu waa inay go’aamiyaan goorta saxnaantu lama huraan tahay, goorta ay dabacsanaan badan yeelan karaan, iyo sida loo dheellitiro xawaare iyo isku halayn.

Evals way adag yihiin in la hirgeliyo isla sababta ay u adag tahay dhisidda badeecado waaweyn; waxay u baahan yihiin adkaysi, aragti, iyo dhadhan. Haddii si wanaagsan loo sameeyo, evals waxay noqdaan kala duwanaansho gaar ah. Adduun ay xogtu si xor ah uga heli karto dunida oo dhan isla markaana khibraddu dimuqraadiyeysan tahay, faa’iidadaadu waxay ku xiran tahay sida nidaamyadaadu ugu wanaagsan yihiin fulinta gudaha duruufahaaga. Evals adag waxay abuuraan faa’iidooyin isa soo taraya iyo aqoon hay’adeed iyadoo nidaamyadaadu hagaagayaan. 

Asalkooda, evals waxay ku saabsan yihiin faham qoto dheer oo ku saabsan duruufaha ganacsiga iyo yoolalka. Haddii aadan qeexi karin waxa “wanaagsan” uga dhigan yahay isticmaalkaaga, uma badna inaad gaarto. Dareenkan, evals waxay muujinayaan cashar muhiim ah oo ka mid ah xilliga AI: xirfadaha maamulka waa xirfadaha AI. Yoolal cad, jawaab-celin toos ah, xukun miisaaman, iyo faham cad oo ku saabsan soo-jeedinta qiimahaaga, istaraatiijiyaddaada, iyo habraacyadaadu weli waa muhiim, laga yaabee xitaa in ka badan sidii hore.

Marka ay soo baxaan hababka ugu wanaagsan iyo qaab-dhismeedyo badan, waan wadaagi doonnaa. Inta ka horreysa, waxaan kugu dhiirrigelineynaa inaad tijaabiso evals oo aad ogaato hababka si fiican ugu shaqeeya baahiyahaaga. Si aad u bilowdo, aqoonso dhibaatada la xallinayo iyo khabiirkaaga domain-ka, isu keen kooxdaada yar, oo, haddii aad ku dhisayso API-gayaga, baadh Platform Docs⁠(ku furmaa daaqad cusub).

Ha rajayn “wanaagsan.” Qeex, cabbir, oo u hagaaji dhankiisa.