Hoggaansiinta noocyada luuqadda si ay u raacaan tilmaamaha

Waxaan tabbabarnay noocyo luuqadeed oo aad uga fiican GPT‑3 marka ay timaaddo raacista ujeeddooyinka isticmaalaha, isla markaana ka run badan oo sun yar, annagoo adeegsanayna farsamooyin ka soo baxay cilmi-baaristayada hoggaansanaanta. Noocyadan InstructGPT, oo aadanuhu ku jiro wareegga tabbabarkooda, hadda waxaa loo hawlgeliyay inay noqdaan noocyada luuqadeed ee caadiga ah ee API-gayaga.

OpenAI API waxaa ku shaqeeya noocyada luuqadda GPT‑3⁠ kuwaas oo lagu qancin karo inay qabtaan hawl luuqadda dabiiciga ah iyadoo la adeegsanayo weydiimo qoraal ah oo si taxaddar leh loo injineereeyay. Laakiin noocyadani waxay sidoo kale soo saari karaan natiijooyin aan run ahayn, sun leh, ama ka tarjumaya dareenno waxyeello leh. Tani qayb ahaan waa sababta oo ah GPT‑3 waxaa loo tabbabaraa inuu saadaaliyo erayga xiga ee xog-ururin weyn oo qoraalka internetka ah, halkii uu si ammaan ah u qaban lahaa hawl luuqadda dabiiciga ah ee isticmaaluhu doonayo. Si kale haddii loo dhigo, noocyadani lama waafajin isticmaalayaashooda.

Si aan noocyadayada uga dhigno kuwo ammaan badan, waxtar badan, oo aad u waafaqsan, waxaan isticmaalnaa farsamo hore u jirtay oo la yiraahdo Waxbarashadda Xoojinta ah ee ka timaadda Jawaabcelinta Aadanaha (RLHF)⁠. Weydiiimaha ay macaamiisheennu u soo gudbiyaan API-ga,^A summadiyeyaashayadu waxay bixiyaan tusaalooyin muujinaya hab-dhaqanka nooca ee la doonayo, waxayna kala sarreysiiyaan dhowr natiijo oo ka yimaadda noocyadayada. Kadib waxaan xogtan u adeegsannaa sifeynta GPT‑3.

Noocyada InstructGPT ee ka dhasha arrintan aad bay uga fiican yihiin GPT‑3 marka ay timaaddo raacista tilmaamaha. Waxay sidoo kale si ka yar u sameeyaan xaqiiqooyin been ah, waxayna muujiyaan hoos-u-dhac yar oo ku saabsan soo saarista natiijooyin sun leh. Summadiyeyaashayadu waxay ka doorbidaan natiijooyinka noocayaga InstructGPT ee 1.3B natiijooyinka nooca GPT‑3 ee 175B, inkastoo uu leeyahay in ka badan 100x xuduudo ka yar. Isla waqtigaas, waxaan muujinaynaa inaanan khasab ku ahayn inaan wax ka dhino awoodaha GPT‑3, sida lagu cabbiray waxqabadka noocayaga ee qiimaymaha akademiga ah ee NLP.

Noocyadan InstructGPT, oo beta ku jiray API-ga muddo ka badan hal sano, hadda waa noocyada luuqadeed ee caadiga ah ee laga heli karo API-gayaga.^B Waxaan aaminsanahay in sifeynta noocyada luuqadda iyadoo aadanuhu ku jiro wareegga ay tahay qalab awood leh oo lagu hagaajinayo amnigooda iyo isku hallayntooda, waxaanan sii wadi doonnaa inaan jihadan ku riixno.

Tani waa markii ugu horreysay ee cilmi-baaristayada hoggaansanaanta, oo aan wadnay⁠ muddo dhowr⁠ sano⁠,^{1, 2, 3} loogu dabaqo badeecaddeenna. Shaqadeennu waxay sidoo kale la xiriirtaa cilmi-baaris dhowaan la sameeyay oo sifeysa noocyada luuqadda si ay u raacaan tilmaamaha iyadoo la adeegsanayo xog-ururinta akademiga ah ee NLP, gaar ahaan FLAN⁴ iyo T0.⁵ Dhiirrigelin muhiim ah oo shaqadeenna ka dambaysa waa kordhinta waxtarka iyo runnimada iyadoo la yaraynayo waxyeellada iyo eexaha noocyada luuqadda.^{6, 7, 8, 9, 10} Qaar ka mid ah cilmi-baaristayadii hore⁠ ee jihadan waxay ogaatay inaan yareyn karno natiijooyinka waxyeellada leh annagoo sifeynayna xog-ururin yar oo si taxaddar leh loo soo xulay oo ka kooban tusaalooyin bini’aadam.¹¹ Cilmi-baaris kale waxay diiradda saartay shaandhaynta xogta wejiga hore ee tabbabarka,¹² token-yada xakamaynta ee gaarka u ah amniga,^{13, 14} ama hagidda jiilka nooca.^{15, 16} Waxaan baadhaynaa fikradahan iyo kuwo kale cilmi-baaristayada hoggaansanaanta ee socota.

Marka hore waxaan qiimaynaa sida wanaagsan ee natiijooyinka InstructGPT u raacaan tilmaamaha isticmaalaha, annagoo summadiyeyaal ka dalbanayna inay isbarbardhigaan natiijooyinkiisa iyo kuwa GPT‑3. Waxaan ogaanay in noocyada InstructGPT si weyn loogu doorbido weydiimaha loo gudbiyo labadaba noocyada InstructGPT iyo GPT‑3 ee API-ga. Tani way sii jirtaa marka aan ku darno horgale weydiinta GPT‑3 si ay u gasho “hab raacista tilmaamaha.”

Si loo cabbiro badbaadada noocyadayada, waxaan inta badan isticmaalnaa xirmo cabbirro hore u jiray oo ku saabsan xog-ururin si guud loo heli karo. Marka loo eego GPT‑3, InstructGPT waxay soo saartaa been-abuur dayasho ah oo ka yar (sida uu qabo TruthfulQA¹⁷) waxayna ka sun yar yihiin (sida uu qabo RealToxicityPrompts¹⁸). Waxaan sidoo kale samaynaa qiimayn bini’aadam oo ku saabsan qaybinta weydiimaha API-gayaga, waxaanan ogaanay in InstructGPT ay si ka yar u samayso xaqiiqooyin been ah (“halucinate”), ayna soo saarto natiijooyin ku habboon oo badan.^C

Ugu dambayn, waxaan ogaanay in natiijooyinka InstructGPT laga doorbido kuwa FLAN⁴ iyo T0⁵ marka loo eego qaybinta macaamiisheena. Tani waxay muujinaysaa in xogta loo isticmaalay tabbabarka FLAN iyo T0, oo inta badan ah hawlaha akademiga ah ee NLP, aanay si buuxda u matalin sida noocyada luuqadda ee la hawlgeliyay loogu isticmaalo dhab ahaan.

Si loo tabbabaro noocyada InstructGPT, farsamadayada aasaasiga ah waa Waxbarashadda Xoojinta ah ee ka timaadda Jawaabcelinta Aadanaha (RLHF)⁠, hab aan kaalin ka qaadannay hormuudnimadiisa cilmi-baaristayadii hore ee hoggaansanaanta. Farsamadani waxay u isticmaashaa doorbidyada aadanaha sidii tilmaan wanaagsan si loo sifeeyo noocyadayada, taas oo muhiim ah maadaama dhibaatooyinka amniga iyo hoggaansanaanta ee aan doonayno inaan xallino ay yihiin kuwo adag oo ku xiran aragtiyo, isla markaana aan si buuxda loogu qaban karin cabbirro toos ah oo fudud.

Marka hore waxaan ururinnaa xog-ururin ah tusaalooyin ay qoreen bini’aadamku oo ku salaysan weydiimaha loo soo gudbiyay API-gayaga, waxaana tan u adeegsannaa tabbabarka saldhigyada barashada la kormeero. Marka xigta, waxaan ururinnaa xog-ururin isbarbardhigyo uu bini’aadamku calaamadeeyay oo u dhexeeya laba natiijo oo nooc ah oo ku saabsan qaybo waaweyn oo weydiimaha API-ga ah. Kadib waxaan ku tabbabarnaa nooca abaalmarinta (RM) xogtan si uu u saadaaliyo natiijada ay summadiyeyaashayadu doorbidi lahaayeen. Ugu dambayn, waxaan u adeegsannaa RM-kan sidii hawl abaalmarin ah, waxaana sifeynaa siyaasaddayada GPT‑3 si aan u kordhinno abaalmarintan annagoo adeegsanayna algoritimka PPO⁠.

Hal hab oo geeddi-socodkan looga fikiri karo waa inuu “furo” awoodo uu GPT‑3 hore u lahaa, balse ay adkayd in lagu soo saaro injineeriyadda weydiinta oo keliya: tani waa sababta oo ah habraacayaga tabbabarka uu leeyahay awood xaddidan oo uu nooca ku bari karo awoodo cusub marka loo eego waxa la barto inta lagu jiro wejiga hore ee tabbabarka, maadaama uu adeegsado wax ka yar 2% xisaabinta iyo xogta marka loo eego wejiga hore ee tabbabarka nooca.

Xaddidaad ka mid ah habkan ayaa ah inuu soo geliyo “canshuurta u hoggaansanaanta”: ku waafajinta noocyada hawlaha macaamiisha oo keliya waxay ka dhigi kartaa waxqabadkooda mid ka liita qaar ka mid ah hawlaha kale ee akademiga ah ee NLP. Tani waa wax aan la rabin maadaama, haddii farsamooyinkayaga hoggaansanaantu ay noocyada ka dhigaan kuwo ka liita hawlaha ay dadku daneeyaan, ay u badan tahay inaan si dhab ah loo qaadan. Waxaan helnay isbeddel algoritim fudud oo yareeya canshuurta u hoggaansanaanta: inta lagu jiro sifeynta RL waxaan ku qasnaa qayb yar oo ka mid ah xogtii asalka ahayd ee loo isticmaalay tabbabarka GPT‑3, waxaana xogtan ku tabbabarnaa annagoo adeegsanayna kordhinta caadiga ah ee suurtagalnimada log-ga.^D Tani qiyaas ahaan waxay ilaalisaa waxqabadka amniga iyo doorbidyada aadanaha, iyadoo yaraynaysa hoos-u-dhacyada waxqabadka ee hawlaha akademiga ah, mararka qaarna xitaa ka sarreysa saldhigga GPT‑3.

Habraaceennu wuxuu waafajiyaa hab-dhaqanka noocyadayada iyo doorbidyada summadiyeyaashayada, kuwaas oo si toos ah u soo saara xogta loo isticmaalo tabbabarka noocyadayada, iyo annaga cilmi-baarayaasha ah, kuwaas oo siinna summadiyeyaasha hagid iyada oo loo marayo tilmaamo qoran, jawaabcelin toos ah oo ku saabsan tusaalooyin gaar ah, iyo wada sheekaysi aan rasmi ahayn. Waxa kale oo saameeya macaamiisheena iyo doorbidyada ku dhex qarsoon siyaasadaha API-gayaga. Waxaan doorannay summadiyeyaal si fiican uga soo baxay imtixaan kala-soocid oo lagu qiimeeyo kartida lagu aqoonsado laguna jawaabo weydiimaha xasaasiga ah. Hase yeeshee, ilahan kala duwan ee saamaynta ku leh xogtu ma dammaanad qaadaan in noocyadeennu waafaqsan yihiin doorbidyada koox kasta oo ballaaran.

Waxaan sameynay laba tijaabo si aan arrintan u baadhno. Marka hore, waxaan ku qiimeynaa GPT‑3 iyo InstructGPT annagoo adeegsanayna falanqeeye madax-bannaan^E oo aan soo saarin wax ka mid ah xogta tabbabarka, waxaanan ogaanay in summadiyeyaashani ay natiijooyinka noocyada InstructGPT u doorbidaan qiyaastii isla heerka ay doorbidaan summadiyeyaashayada tabbabarku. Marka labaad, waxaan ku tabbabarnaa noocyada abaalmarinta xog ka timaadda qaybo ka mid ah summadiyeyaashayada, waxaanan ogaanay inay si fiican ugu guudmarayaan saadaalinta doorbidyada qayb kale oo summadiyeyaal ah. Tani waxay soo jeedinaysaa in noocyadeennu aanay si keliya ugu xad-dhaafin doorbidyada summadiyeyaashayada tabbabarka. Si kastaba, shaqo dheeraad ah ayaa loo baahan yahay si loo barto sida noocyadani uga shaqeeyaan kooxo adeegsadayaal oo ballaaran, iyo sida ay uga shaqeeyaan gelinnada ay aadanuhu ku kala aragti duwan yihiin hab-dhaqanka la doonayo.

In kasta oo aan sameynay horumar weyn, noocyadayada InstructGPT aad bay uga fog yihiin inay si buuxda u waafaqsan yihiin ama si buuxda u badbaadsan yihiin; weli waxay soo saaraan natiijooyin sun leh ama eex leh, waxay sameeyaan xaqiiqooyin been abuur ah, waxayna soo saaraan waxyaabo galmo iyo rabshad leh iyada oo aan si cad loo weydiin. Laakiin badbaadada nidaamka barashada mashiinka kuma xirna oo keliya hab-dhaqanka noocyada hoose, balse sidoo kale waxay ku xiran tahay sida noocyadan loo hawlgeliyo. Si aan u taageerno badbaadada API-gayaga, waxaan sii wadi doonnaa inaan dib u eegno adeegsiyada suurtagalka ah⁠(ku furmaa daaqad cusub) ka hor inta aan la hawlgelin, bixino shaandhooyin nuxur oo lagu ogaado dhammaystirrada aan badbaadsanayn, oo aan la soconno si xun u isticmaalka.

Wax-soo-saar ka dhasha tabbabarka noocyadayada si ay u raacaan tilmaamaha isticmaalaha ayaa ah inay u nuglaan karaan si xun u isticmaalid haddii lagu faro inay soo saaraan natiijooyin aan badbaado lahayn. Xallinta arrintani waxay u baahan tahay in noocyadeennu diidaan tilmaamo gaar ah; in tan si lagu kalsoonaan karo loo sameeyo waa dhibaato cilmi-baariseed furan oo muhiim ah oo aan ku faraxsanahay inaan wax ka qabanno.

Intaa waxaa dheer, xaalado badan ku waafajinta celceliska doorbidka summadiyeyaha ma noqon karto mid la jecel yahay. Tusaale ahaan, marka la soo saarayo qoraal si aan sinnayn u saameeya koox laga tiro badan yahay, doorbidyada kooxdaas waa in miisaan dheeraad ah la siiyaa. Hadda, InstructGPT waxaa loo tabbabaraa inuu ku raaco tilmaamaha af Ingiriisi; sidaas darteed, wuxuu u janjeeraa qiyamka dhaqan ee dadka ku hadla Ingiriisiga. Waxaan wadnaa cilmi-baaris lagu fahmayo kala duwanaanshaha iyo is-afgaranwaaga la’aanta u dhexeysa doorbidyada summadiyeyaasha si aan noocyadayada ugu shuruudeyno qiyamka bulshooyin gaar ah. Guud ahaan, ku waafajinta natiijooyinka nooca qiyamka aadanaha gaar ah waxay keenaysaa doorashooyin adag oo leh saameyn bulsho, ugu dambayna waa inaan dhisnaa habraacyo masuul ah oo loo dhan yahay oo go’aamadan lagu gaaro.

Tani waa codsigii ugu horreeyay ee cilmi-baaristayada hoggaansanaanta loogu dabaqo badeecaddeenna. Natiijooyinkayagu waxay muujinayaan in farsamooyinkani wax ku ool u yihiin si weyn u hagaajinta hoggaansanaanta nidaamyada AI ee ujeeddo-guud iyo rabitaannada aadanaha. Si kastaba ha ahaatee, tani waa bilow oo keliya: waxaan sii wadi doonnaa horumarinta farsamooyinkan si aan u wanaajino hoggaansanaanta noocyadayada hadda iyo kuwa mustaqbalka ee ku wajahan qalab luuqadeed oo badbaado leh oo waxtar u leh aadanaha.

Haddii aad xiisaynayso jihooyinkan cilmi-baarista, waxaan shaqaaleysiinaynaa⁠(ku furmaa daaqad cusub)!