Hagaajinta Dabeecadda Badqabka Nooca iyadoo la adeegsanayo Abaalmarinno Ku-saleysan Xeerar

Cilmi-baaristayadu waxay muujinaysaa in Abaalmarinnada Ku-saleysan Xeerarka (RBRs) ay si weyn u xoojiyaan badqabka nidaamyadayada AI, kana dhigaya kuwo ka ammaan badan oo lagu kalsoonaan karo dadka iyo horumariyeyaashu inay maalin kasta isticmaalaan. Tani waa qayb ka mid ah shaqadayada aan ku sahaminayno habab dheeraad ah oo aan AI-geenna ugu adeegsan karno si AI looga dhigo mid ka ammaan badan⁠. 

Caadiyan, hagaajinta noocyada luqadda iyadoo la adeegsanayo Waxbarashadda Xoojinta ah ee ka timaadda Jawaabcelinta Aadanaha (RLHF)⁠ ayaa ahayd habka ugu badan ee loo adeegsado si loo hubiyo inay si sax ah u raacaan tilmaamaha⁠. OpenAI waxay hormuud ka ahayd horumarinta hababkan iswaafajinta si loo abuuro noocyo AI ah oo caqli badan kana ammaan badan.

Si loo hubiyo in nidaamyada AI ay si ammaan ah u dhaqmaan oo ay la jaanqaadaan qiyamka aadanaha, waxaan qeexnaa dabeecadaha la doonayo waxaana ururinnaa jawaabcelin bini'aadan si loo tababaro “RM (Nooca Abaalmarinta).” noocan wuxuu hagaa AI-ga isagoo tilmaamaya ficillada la doonayo. Si kastaba ha ahaatee, ururinta jawaabcelintan bini'aadanka ee hawlaha caadiga ah iyo kuwa soo noqnoqda badanaa waa aan waxtar lahayn. Intaa waxaa dheer, haddii siyaasadaha badqabkayagu is beddelaan, jawaabcelintii aan horay u ururinnay waxay noqon kartaa duug, taasoo u baahan xog cusub.

Sidaas darteed, waxaan soo bandhigaynaa Abaalmarinnada Ku-saleysan Xeerarka (RBRs) inay yihiin qayb muhiim ah oo ka mid ah xirmada badqabka ee OpenAI si loo waafajiyo dabeecadda nooca dabeecadda badqab ee la doonayo. Si ka duwan jawaabcelinta aadanaha, RBRs waxay isticmaalaan xeerar cad, fudud, oo tallaabo-tallaabo ah si loo qiimeeyo in wax-soo-saarka nooca uu buuxiyo heerarka badqabka. Marka lagu daro dhuumaha caadiga ah ee RLHF, waxay ka caawisaa ilaalinta isu-dheellitirnaan wanaagsan oo u dhexeysa waxtar lahaanshaha iyo ka hortagga waxyeellada, si loo hubiyo in noocu u dhaqmo si ammaan ah oo wax ku ool ah iyada oo aan la helin waxtar darrada gelinta aadanaha ee soo noqnoqda. Waxaan RBRs u adeegsannay qayb ka mid ah xirmadayada badqabka tan iyo daahfurkii GPT‑4⁠, oo ay ku jirto GPT‑4o mini⁠, waxaana qorshaynaynaa inaan ku hirgelinno noocyadayada mustaqbalka.

Habka hirgelinta RBRs wuxuu ku lug leeyahay qeexidda urur soo-jeedinno ah—weedho fudud oo ku saabsan dhinacyada la doonayo ama aan la doonayn ee jawaabaha nooca, sida “garsoorid badan”, “ka kooban waxyaabo aan la oggolayn”, “tixraacid siyaasadaha badqabka”, “afeef” iyo kuwo kale. Soo-jeedimadan ayaa markaas loo adeegsadaa samaynta xeerar si taxaddar leh loo qoray si loo qabto nuucaabka jawaabaha ammaan ah oo ku habboon xaalado kala duwan. Tusaale ahaan, diidmo (tusaale “Waan ka xumahay kuma caawin karo taas.”) waa jawaab nooc oo la doonayo marka la wajahayo codsiyo aan ammaan ahayn – xeerarka la xiriira waxay dhigayaan in diidmadu “ay tahay inay ka koobnaato raalligelin gaaban" iyo inay "sheegto awood la'aanta u hoggaansamidda". 

Waxaan naqshadeynaa saddex qaybood oo dabeecad nooc oo la doonayo marka lala tacaalayo mowduucyo waxyeello leh ama xasaasi ah. Iyada oo ku xiran siyaasadaha badqabka, codsiyo kala duwan waxay ku dhacaan noocyo kala duwan oo jawaab nooc ah.

Hoos waxaan ku bixinaynaa tusaalooyin la fududeeyay oo soo-jeedinno ah iyo sida ay ugu xirmaan dabeecad ku habboon ama aan ku habboonayn noocyo kala duwan oo jawaab ah.

Waxaan ku bixinaynaa tusaalooyin ka mid ah dhammaystirrada noocyada aan ku tababarnay tijaabooyinkayaga ee jadwalka hoose si aan u muujinno tusaalooyin sharaxaya soo-jeedimahayaga. Waxaan iftiiminaynaa qaar ka mid ah qiimaha soo-jeedimaha ee dhammaystir kasta iyo fasalka ay ku dhacaan.

Qiimeeyaha, oo ah nooc luqadeed go'an, wuxuu dhibceeyaa jawaabaha isagoo ku salaynaya sida wanaagsan ee ay ugu hoggaansamaan xeerarkan, taas oo u oggolaanaysa habka RBR inuu si dabacsan ula qabsado xeerar cusub iyo siyaasadaha badqabka. RBR waxay dhibcahan u adeegsataa inay ku habayso nooc toosan oo leh cabbirro miisaan ah oo laga bartay xog ururin yar oo weydiimo ah oo leh nooca jawaabta ku habboon ee la yaqaan, iyo sidoo kale dhammaystirro la xiriira oo la doonayo iyo aan la doonayn. Abaalmarinnadan RBR ayaa markaas lagu daraa abaalmarinnada ka imanaya reward model waxtar-keliya ah waxaana loo isticmaalaa calaamad dheeri ah gudaha algooridimka PPO⁠ si loogu dhiirrigeliyo nooca inuu u hoggaansamo siyaasadaha dabeecadda badqabka. Habkani wuxuu noo oggolaanayaa inaan bixino xakameyn faahfaahsan oo ku saabsan dabeecadda nooca, anagoo hubinayna inuusan kaliya ka fogaannin waxyaabaha waxyeellada leh balse uu sidaas u sameeyo si xushmad leh oo waxtar leh.

Tijaabooyinkayaga, noocyada lagu tababaray RBR waxay muujiyeen waxqabad badqab oo la mid ah kuwa lagu tababaray jawaabcelin bini'aadan. Waxay sidoo kale yareeyeen dhacdooyinka si khaldan loogu diido codsiyada ammaan ah (“diidmo xad-dhaaf ah”) iyagoo aan saameyn ku yeelan cabbirrada qiimaynta ee bartilmaameedyada awoodda caadiga ah. RBRs sidoo kale si weyn ayay u yareeyaan baahida xog bini'aadan oo ballaaran, taas oo ka dhigaysa habka tababarka mid dhakhso badan oo kharash ahaan wax ku ool ah. Intaa waxaa dheer, maadaama awoodaha nooca iyo tilmaamaha badqabka ay kobcayaan, RBRs si dhakhso ah ayaa loo cusboonaysiin karaa iyadoo wax laga beddelayo ama lagu darayo xeerar cusub, iyada oo aan loo baahnayn dib-u-tababar ballaaran.

Waxaan qiimaynaynaa dabeecadda badqabka noocayaga qaab-dhismeed noo sahlaya inaan si fudud ula soconno isdhaafsiga u dhexeeya waxtar lahaanshaha iyo waxyeello lahaanshaha. Dhinac, way fududahay in la ammaan noqdo haddii noocu wax walba diido, balse waxtarka noocu waa eber. Dhinaca kale, ma doonayno inaan dhisno nooc u hagaagaya waxtarka ugu badan, balse aan ammaan ahayn ama waxyeello leh. Nooc si habboon loo waafajiyey waa inuu si taxaddar leh uga gudbaa farqigan u dhexeeya waxtar lahaanshaha iyo waxyeello lahaanshaha.

Inkasta oo RBRs si fiican ugu shaqeeyaan hawlaha leh xeerar cad oo toos ah, way adkaan kartaa in lagu dabaqo hawlo ka aragti duwanaan badan sida qorista maqaal tayo sare leh. Si kastaba ha ahaatee, RBRs waxaa lagu dari karaa jawaabcelinta aadanaha si loo dheellitiro caqabadahan. Tusaale ahaan, RBRs waxay dhaqan gelin karaan tilmaamo gaar ah (sida "Ha isticmaalin af-jid jiid" ama xeerarka ku jira sifooyinka nooca⁠), halka jawaabcelinta aadanuhu ay ka caawin karto dhinacyada ka xeelad badan (sida isku xirnaanta guud). Awoodda RBR waxaa loo hagaajiyaa si ay si sax ah u dhaqan geliso doorbidyada badqabka balse aanay u saameyn dhibcaha abaalmarinta kama dambaysta ah wax ka badan inta loo baahan yahay - sidaas awgeed RM (Nooca Abaalmarinta) ee RLHF weli wuxuu bixin karaa calaamad xooggan oo ku saabsan tusaale ahaan qaabka qoraalka.

Tixgelinno Anshaxeed: U wareejinta hubinta badqabka ee bini'aadanka laga wareejiyo AI waxay yareyn kartaa kormeerka bini'aadanka ee badqabka AI waxayna kordhin kartaa eexaha suurtagalka ah ee ku jira noocyada haddii noocyo eex leh loo adeegsado bixinta abaalmarinnada RBR. Si arrintan wax looga qabto, cilmi-baarayaashu waa inay si taxaddar leh u naqshadeeyaan RBRs si loo hubiyo caddaalad iyo saxnaan, ayna tixgeliyaan isticmaalka isku darka RBRs iyo jawaabcelinta aadanaha si khataraha loo yareeyo.

Halkan waxaan ku soo bandhignay hab cusub oo qaabaynta doorbidka ah oo adeegsanaya Abaalmarinnada Ku-saleysan Xeerarka (RBRs) ee tababarka badqabka noocyada luqadda. Habkayagu waa mid kharash iyo waqti badbaadiya, wuxuu u baahan yahay xog bini'aadan oo yar, waana sahlan tahay in la cusboonaysiiyo haddii dabeecadda nooca la doonayo is beddesho, iyadoo la ilaalinayo isu-dheellitirnaan u dhexeysa badqabka iyo waxtarka.

RBRs kuma koobna tababarka badqabka. Waxaa loo waafajin karaa hawlo kala duwan oo ay xeerar cad qeexi karaan dabeecadaha la doonayo, sida habaynta shakhsiyadda ama qaabka jawaabaha nooca ee codsi gaar ah. Horay u sii eegid ahaan, waxaan qorshaynaynaa inaan qabanno daraasado kala-goyn oo ka ballaaran si loo helo faham dhammaystiran oo ku saabsan qaybaha kala duwan ee RBR, isticmaalka xogta macmalka ah ee samaynta xeerarka, iyo qiimaynno bini'aadan si loo xaqiijiyo waxtarka RBRs ee adeegsiyo kala duwan oo ay ku jiraan meelo kale oo ka baxsan badqabka.

Waxaan ku martiqaadaynaa cilmi-baarayaasha iyo xirfadlayaasha inay sahamiyaan awoodda RBRs ee shaqadooda gaarka ah. Iyadoo la wadaagayo aragtiyo lana iska kaashanayo hababka ugu wanaagsan, waxaan si wadajir ah u horumarin karnaa aagga AI ammaan ah oo iswaafaqsan, annagoo hubinayna in qalabkan awoodda badan uu si ka wanaagsan ugu adeego dadka.