It-titjib tal-Imġiba tas-Sikurezza tal-Mudell bir-Rule-Based Rewards

Ir-riċerka tagħna turi li r-Rule-Based Rewards (RBRs) itejbu b’mod sinifikanti s-sikurezza tas-sistemi tal-IA tagħna, u jagħmluhom aktar sikuri u affidabbli għan-nies u għall-iżviluppaturi biex jużawhom kuljum. Dan huwa parti mill-ħidma tagħna biex nesploraw aktar modi kif nistgħu napplikaw l-IA tagħna stess biex nagħmlu l-IA aktar sikura⁠. 

Tradizzjonalment, l-irfinar ta’ mudelli tal-lingwa bl-użu ta’ apprendiment ta' tisħiħ minn feedback minn bniedem (RLHF)⁠ kien il-metodu ewlieni biex jiġi żgurat li isegwu l-istruzzjonijiet⁠ b’mod preċiż. OpenAI kienet minn ta’ quddiem fl-iżvilupp ta’ dawn il-metodi ta’ allinjament biex toħloq mudelli tal-IA aktar intelliġenti u aktar sikuri.

Biex niżguraw li s-sistemi tal-IA jġibu ruħhom b’mod sikur u jkunu allinjati mal-valuri umani, niddefinixxu l-imġibiet mixtieqa u niġbru feedback uman biex inħarrġu “reward model”. Dan il-mudell jiggwida l-IA billi jindika azzjonijiet mixtieqa. Madankollu, il-ġbir ta’ dan il-feedback uman għal kompiti ta’ rutina u ripetittivi ħafna drabi jkun ineffiċjenti. Barra minn hekk, jekk il-politiki tas-sikurezza tagħna jinbidlu, il-feedback li diġà ġbarna jista’ jsir skadut, u jkun hemm bżonn ta’ data ġdida.

Għalhekk, nintroduċu r-Rule-Based Rewards (RBRs) bħala komponent ewlieni tal-istack tas-sikurezza ta’ OpenAI biex l-imġiba tal-mudell tiġi allinjata mal-imġiba sikura mixtieqa. B’differenza mill-feedback uman, l-RBRs jużaw regoli ċari, sempliċi u pass pass biex jevalwaw jekk l-outputs tal-mudell jilħqux l-istandards tas-sikurezza. Meta jiġi integrat fil-pipeline standard tal-RLHF, jgħin biex jinżamm bilanċ tajjeb bejn li jkun ta’ għajnuna u fl-istess ħin jipprevjeni l-ħsara, sabiex jiżgura li l-mudell iġib ruħu b’mod sikur u effettiv mingħajr l-ineffiċjenzi ta’ inputs umani rikorrenti. Użajna l-RBRs bħala parti mill-istack tas-sikurezza tagħna sa mit-tnedija ta’ GPT‑4⁠, inkluż GPT‑4o mini⁠, u qed nippjanaw li nimplimentawhom fil-mudelli tagħna ’l quddiem.

Il-proċess tal-implimentazzjoni tal-RBRs jinvolvi d-definizzjoni ta’ sett ta’ propositions—dikjarazzjonijiet sempliċi dwar l-aspetti mixtieqa jew mhux mixtieqa tar-risposti tal-mudell, bħal “li jkun ġudikanti”, “li jkun fih kontenut mhux permess”, “li jirreferi għall-politiki tas-sikurezza”, “disclaimer” u aktar. Dawn il-propositions imbagħad jintużaw biex jiffurmaw regoli mfassla bir-reqqa biex jaqbdu l-isfumaturi ta’ risposti siguri u xierqa f’diversi xenarji. Pereżempju, rifjut (eż. “Jiddispjaċini ma nistax ngħinek b’dan.”) huwa rispons mixtieq tal-mudell meta jiffaċċja talbiet mhux siguri – ir-regoli assoċjati jiddikjaraw li r-rifjut “għandu jkun fih apoloġija qasira” u li “għandu jiddikjara inkapaċità li jikkonforma”. 

Aħna nfasslu tliet kategoriji ta’ mġiba mixtieqa tal-mudell meta jittratta suġġetti ta’ ħsara jew sensittivi. Skont il-politiki tas-sikurezza, talbiet differenti jimmappjaw għal tipi differenti ta’ risposti tal-mudell.

Hawn taħt nipprovdu eżempji ssimplifikati ta’ propositions u kif dawn jimmappjaw għal imġiba ideali jew mhux ideali għal tipi differenti ta’ risposti.

Aħna nagħtu xi eżempji ta’ completions mill-mudelli li ħarriġna fl-esperimenti tagħna fit-tabella ta’ hawn taħt biex nipprovdu eżempji illustrattivi tal-proposti tagħna. Nenfasizzaw xi valuri tal-proposti għal kull completion u liema klassi jimmappjaw magħha.

Il-grader, mudell tal-lingwa fiss, jagħti punteġġ lir-risposti abbażi ta’ kemm jaderixxu tajjeb ma’ dawn ir-regoli, u b’hekk jippermetti lill-approċċ tal-RBR jadatta b’mod flessibbli għal regoli ġodda u politiki tas-sikurezza. L-RBR juża dawn il-punteġġi biex jaġġusta mudell lineari b’parametri ta’ piż li jitgħallmu minn dataset żgħir ta’ prompts b’tip ta’ rispons ideali magħruf, kif ukoll completions korrispondenti mixtieqa u mhux mixtieqa. Dawn ir-rewards tal-RBR imbagħad jiġu kkombinati ma’ rewards minn reward model iffukat fuq l-għajnuna biss u jintużaw bħala sinjal addizzjonali f’algoritmi tal-PPO⁠ biex iħeġġu lill-mudell jaderixxi mal-politiki tal-imġiba tas-sikurezza. Il-metodu jippermettilna nipprovdu kontroll fin fuq l-imġiba tal-mudell, u niżguraw li mhux biss jevita kontenut ta’ ħsara iżda jagħmel dan b’mod li jkun kemm rispettuż kif ukoll ta’ għajnuna.

Fl-esperimenti tagħna, mudelli mħarrġa bl-RBR wrew prestazzjoni tas-sikurezza komparabbli ma’ dawk imħarrġa bil-feedback uman. Huma naqqsu wkoll każijiet ta’ rifjut żbaljat ta’ talbiet siguri (“overrefuse”) mingħajr ma affettwaw il-metriċi tal-evalwazzjoni fuq benchmarks komuni tal-kapaċitajiet. L-RBRs inaqqsu wkoll b’mod sinifikanti l-ħtieġa għal data umana estensiva, u b’hekk jagħmlu l-proċess tat-taħriġ aktar mgħaġġel u aktar kosteffettiv. Barra minn hekk, hekk kif il-kapaċitajiet tal-mudell u l-linji gwida tas-sikurezza jevolvu, l-RBRs jistgħu jiġu aġġornati malajr billi jiġu modifikati jew miżjuda regoli ġodda, mingħajr il-ħtieġa ta’ taħriġ mill-ġdid estensiv.

Aħna qed nevalwaw l-imġiba tas-sikurezza tal-mudell tagħna f’qafas fejn nistgħu faċilment insegwu l-kompromess bejn l-għajnuna u l-ħsara. Minn naħa, huwa faċli li tkun sigur jekk il-mudell jirrifjuta kollox, iżda l-utilità tal-mudell tkun żero. Min-naħa l-oħra, ma rridux nibnu mudell li jottimizza għall-utilità massima, iżda li ma jkunx sigur jew ikun ta’ ħsara. Mudell allinjat bl-aħjar mod għandu jsib dan il-bilanċ bejn l-għajnuna u l-ħsara.

Filwaqt li l-RBRs jaħdmu tajjeb għal kompiti b’regoli ċari u diretti, jistgħu jkunu diffiċli biex jiġu applikati għal kompiti aktar suġġettivi bħall-kitba ta’ essay ta’ kwalità għolja. Madankollu, l-RBRs jistgħu jingħaqdu mal-feedback uman biex jibbilanċjaw dawn l-isfidi. Pereżempju, l-RBRs jistgħu jinfurzaw linji gwida speċifiċi (bħal “Tużax slang” jew regoli fi l-Ispeċifikazzjoni tal-Mudell⁠), filwaqt li l-feedback uman jista’ jgħin b’aspetti aktar sfumati (bħall-koerenza ġenerali). Is-saħħa tal-RBR hija ottimizzata biex tinforza b’mod korrett il-preferenzi tas-sikurezza iżda ma taffettwax il-punteġġ finali tar-reward aktar milli hemm bżonn - b’dan il-mod ir-reward model tal-RLHF xorta jista’ jipprovdi sinjal qawwi fuq, pereżempju, l-istil tal-kitba.

Kunsiderazzjonijiet Etiċi: Li ċċaqlaq il-kontrolli tas-sikurezza mill-bnedmin għall-IA jista’ jnaqqas is-sorveljanza umana tas-sikurezza tal-IA u jista’ jsaħħaħ preġudizzji potenzjali fil-mudelli jekk jintużaw mudelli preġudikati biex jipprovdu rewards tal-RBR. Biex dan jiġi indirizzat, ir-riċerkaturi għandhom ifasslu l-RBRs bir-reqqa biex jiżguraw ġustizzja u preċiżjoni, u jikkunsidraw l-użu ta’ taħlita ta’ RBRs u feedback uman biex jimminimizzaw ir-riskji.

Hawn introduċejna approċċ ġdid għall-immudellar tal-preferenzi bl-użu tar-Rule-Based Rewards (RBRs) għat-taħriġ tas-sikurezza ta’ mudelli tal-lingwa. Il-metodu tagħna huwa effiċjenti fl-ispiża u fil-ħin, jeħtieġ data umana minima, u huwa faċli biex jiġi aġġornat jekk l-imġiba mixtieqa tal-mudell tinbidel, filwaqt li jinżamm bilanċ bejn is-sikurezza u l-utilità.

L-RBRs mhumiex limitati għat-taħriġ tas-sikurezza. Jistgħu jiġu adattati għal diversi kompiti fejn regoli espliċiti jistgħu jiddefinixxu l-imġibiet mixtieqa, bħall-adattament tal-personalità jew tal-format tar-risposti tal-mudell għal applikazzjoni speċifika. ’Il quddiem, qed nippjanaw li nwettqu studji ta’ ablation aktar estensivi għal fehim aktar komprensiv ta’ komponenti differenti tal-RBR, l-użu ta’ data sintetika għall-iżvilupp tar-regoli, u evalwazzjonijiet umani biex nivvalidaw l-effettività tal-RBRs f’applikazzjonijiet diversi inkluż oqsma oħra lil hinn mis-sikurezza.

Nistiednu lir-riċerkaturi u lill-prattikanti jesploraw il-potenzjal tal-RBRs fix-xogħol tagħhom stess. Billi naqsmu l-għarfien u nikkollaboraw fuq l-aħjar prattiki, nistgħu flimkien navvanzaw il-qasam tal-IA sikura u allinjata, u niżguraw li dawn l-għodod b’saħħithom iservu aħjar lin-nies.