Iompar Sábháilteachta Samhla a Fheabhsú le Rule-Based Rewards

Léiríonn ár dtaighde go gcuireann Rule-Based Rewards (RBRanna) go mór le sábháilteacht ár gcóras IS, rud a fhágann go bhfuil siad níos sábháilte agus níos iontaofa do dhaoine agus d’fhorbróirí a úsáideann iad gach lá. Is cuid é seo dár gcuid oibre chun tuilleadh bealaí a fhiosrú inar féidir linn ár n-IS féin a chur i bhfeidhm chun IS a dhéanamh níos sábháilte⁠. 

Go traidisiúnta, ba é mionchoigeartú samhlacha teanga le foghlaim atreisiúcháin ó aiseolas daonna (RLHF)⁠ an príomh-mhodh chun a chinntiú go leanann siad treoracha⁠ go cruinn. Tá OpenAI ar thús cadhnaíochta i bhforbairt na modhanna ailínithe seo chun samhlacha IS níos cliste agus níos sábháilte a chruthú.

Chun a chinntiú go n-iompraíonn córais IS go sábháilte agus go bhfuil siad ailínithe le luachanna an duine, sainmhínímid iompraíochtaí inmhianaithe agus bailímid aiseolas daonna chun “samhail luaíochta” a oiliúint. Treoraíonn an tsamhail seo an IS trí ghníomhartha inmhianaithe a chur in iúl. Mar sin féin, is minic a bhíonn bailiú an aiseolais dhaonna seo do thascanna gnáthaimh agus athchleachtacha neamhéifeachtúil. Ina theannta sin, má athraíonn ár mbeartais sábháilteachta, d’fhéadfadh an t-aiseolas atá bailithe againn cheana a bheith as dáta, rud a d’éileodh sonraí nua.

Dá bhrí sin, tugaimid isteach Rule-Based Rewards (RBRanna) mar phríomhchuid de chruach sábháilteachta OpenAI chun iompar na samhla a ailíniú leis an iompar sábháilte inmhianaithe. Murab ionann agus aiseolas daonna, úsáideann RBRanna rialacha soiléire, simplí agus céim ar chéim chun measúnú a dhéanamh ar cibé an gcomhlíonann aschuir na samhla caighdeáin sábháilteachta. Nuair a chuirtear isteach sa phíblíne chaighdeánach RLHF é, cabhraíonn sé le cothromaíocht mhaith a choinneáil idir a bheith cabhrach agus dochar a chosc, chun a chinntiú go n-iompraíonn an tsamhail go sábháilte agus go héifeachtach gan neamhéifeachtúlachtaí ionchur daonna athfhillteach. Tá RBRanna in úsáid againn mar chuid dár gcruach sábháilteachta ó seoladh GPT‑4⁠, lena n-áirítear GPT‑4o mini⁠, agus tá sé beartaithe againn é a chur i bhfeidhm inár samhlacha amach anseo.

Is éard atá i gceist le próiseas chur i bhfeidhm RBRanna ná tacar tairiscintí a shainiú—ráitis shimplí faoi ghnéithe inmhianaithe nó neamh-inmhianaithe d’fhreagraí na samhla, amhail “a bheith breithiúnach”, “ábhar neamhcheadaithe a bheith ann”, “tagairt do bheartais sábháilteachta”, “séanadh” agus eile. Úsáidtear na tairiscintí seo ansin chun rialacha a fhoirmiú a chumtar go cúramach chun miondifríochtaí freagraí sábháilte agus cuí a ghabháil i gcásanna éagsúla. Mar shampla, is freagra samhla inmhianaithe é diúltú (m.sh. “Tá brón orm, ní féidir liom cabhrú leat leis sin.”) nuair a bhíonn iarrataí neamhshábháilte i gceist – deirfeadh na rialacha gaolmhara gur chóir go mbeadh “gabháil leithscéil ghearr ann” sa diúltú agus gur chóir dó “neamhábaltacht le comhlíonadh a lua”. 

Dearaimid trí chatagóir d’iompar inmhianaithe na samhla agus muid ag déileáil le topaicí díobhálacha nó íogaire. Ag brath ar na beartais sábháilteachta, mapálann iarrataí éagsúla chuig cineálacha éagsúla freagraí samhla.

Tugaimid thíos samplaí simplithe de thairiscintí agus den chaoi a mapálann siad chuig iompar idéalach nó neamh-idéalach do chineálacha éagsúla freagartha.

Tugaimid roinnt críochnuithe samplacha ó na samhlacha a d’oileamar inár dturgnaimh sa tábla thíos chun samplaí léiritheacha dár moltaí a thabhairt. Leagaimid béim ar roinnt luachanna molta do gach críochnú agus ar an rang lena mbaineann siad.

Déanann an grádóir, samhail teanga sheasta, na freagraí a scóráil bunaithe ar cé chomh maith agus a chloíonn siad leis na rialacha seo, rud a ligeann don chur chuige RBR oiriúnú go solúbtha do rialacha nua agus do bheartais sábháilteachta. Úsáideann an RBR na scóir seo chun samhail líneach a oiriúnú le paraiméadair mheáchain a fhoghlaimítear ó thacar beag sonraí leideanna a bhfuil cineál freagartha idéalach ar eolas acu, chomh maith le críochnuithe inmhianaithe agus neamh-inmhianaithe comhfhreagracha. Ansin cuirtear na luaíochtaí RBR seo le luaíochtaí ó shamhail luaíochta cabhrach amháin agus úsáidtear iad mar chomhartha breise in algartaim PPO⁠ chun an tsamhail a spreagadh chun cloí le beartais iompair sábháilteachta. Ligeann an modh dúinn rialú mín a chur ar iompar na samhla, ag cinntiú nach seachnaíonn sí ábhar díobhálach amháin ach go ndéanann sí é ar bhealach atá measúil agus cabhrach araon.

Inár dturgnaimh, léirigh samhlacha a cuireadh faoi oiliúint le RBR feidhmíocht sábháilteachta a bhí inchomparáide leo siúd a cuireadh faoi oiliúint le haiseolas daonna. Laghdaigh siad freisin cásanna ina ndiúltaíodh iarrataí sábháilte go hearráideach (“ródhiúltaigh”) gan dul i bhfeidhm ar mhéadrachtaí meastóireachta ar thagarmharcanna coitianta cumais. Laghdaíonn RBRanna go suntasach freisin an gá le sonraí fairsinge daonna, rud a fhágann go mbíonn an próiseas oiliúna níos tapúla agus níos costéifeachtaí. Ina theannta sin, de réir mar a fhorbraíonn cumais samhla agus treoirlínte sábháilteachta, is féidir RBRanna a nuashonrú go tapa trí rialacha nua a mhodhnú nó a chur leis, gan gá le hathoiliúint fhairsing.

Táimid ag meastóireacht ar ár n-iompar sábháilteachta samhla i gcreat inar féidir linn an chomhbhabhtáil idir cabhracht agus díobhálacht a rianú go héasca. Ar lámh amháin, is furasta a bheith sábháilte má dhiúltaíonn an tsamhail gach rud, ach ansin is nialas áisiúlacht na samhla. Ar an lámh eile, ní theastaíonn uainn samhail a thógáil a bharrfheabhsaíonn an áisiúlacht, ach atá neamhshábháilte nó díobhálach. Ba chóir do shamhail atá ailínithe go barrmhaith an chothromaíocht chruinn seo a bhaint amach idir cabhracht agus díobhálacht.

Cé go n-oibríonn RBRanna go maith do thascanna a bhfuil rialacha soiléire, díreacha acu, is féidir leo a bheith deacair a chur i bhfeidhm ar thascanna níos suibiachtúla cosúil le haiste ardchaighdeáin a scríobh. Mar sin féin, is féidir RBRanna a chomhcheangal le haiseolas daonna chun na dúshláin seo a chothromú. Mar shampla, is féidir le RBRanna treoirlínte sonracha a fhorfheidhmiú (cosúil le “Ná húsáid béarlagair” nó rialacha sa tSonraíocht Samhail⁠), agus is féidir le haiseolas daonna cabhrú le gnéithe níos mionchúisí (cosúil le comhleanúnachas foriomlán). Déantar láidreacht an RBR a bharrfheabhsú chun tosaíochtaí sábháilteachta a fhorfheidhmiú i gceart ach gan dul i bhfeidhm ar an scór luaíochta deiridh níos mó ná mar is gá - ar an mbealach seo is féidir le samhail luaíochta RLHF comhartha láidir a chur ar fáil fós maidir le m.sh. stíl scríbhneoireachta.

Cúrsaí Eitice: D’fhéadfadh aistriú seiceálacha sábháilteachta ó dhaoine go IS maoirseacht dhaonna ar shábháilteacht IS a laghdú agus d’fhéadfadh sé claontaí féideartha sna samhlacha a mhéadú má úsáidtear samhlacha claonta chun luaíochtaí RBR a sholáthar. Chun dul i ngleic leis seo, ba chóir do thaighdeoirí RBRanna a dhearadh go cúramach chun cothroime agus cruinneas a chinntiú, agus smaoineamh ar mheascán de RBRanna agus aiseolas daonna a úsáid chun rioscaí a íoslaghdú.

Anseo thugamar isteach cur chuige nua maidir le samhaltú tosaíochta a úsáideann Rule-Based Rewards (RBRanna) le haghaidh oiliúint sábháilteachta ar shamhlacha teanga. Tá ár modh éifeachtúil ó thaobh costais agus ama de, teastaíonn íosmhéid sonraí daonna uaidh, agus is furasta é a nuashonrú má athraíonn iompar inmhianaithe na samhla, agus cothromaíocht á coinneáil idir sábháilteacht agus úsáideacht.

Níl RBRanna teoranta d’oiliúint sábháilteachta. Is féidir iad a oiriúnú do thascanna éagsúla ina bhféadfaidh rialacha follasacha iompraíochtaí inmhianaithe a shainiú, mar shampla pearsantacht nó formáid fhreagraí na samhla a chur in oiriúint d’fheidhmchlár sonrach. Ag féachaint chun cinn, tá sé beartaithe againn staidéir mhaolaithe níos fairsinge a reáchtáil chun tuiscint níos cuimsithí a fháil ar chomhpháirteanna éagsúla RBR, ar úsáid sonraí sintéiseacha le haghaidh forbairt rialacha, agus ar mheastóireachtaí daonna chun éifeachtacht RBRanna a bhailíochtú in iarratais éagsúla, lena n-áirítear fearainn eile seachas sábháilteacht.

Tugaimid cuireadh do thaighdeoirí agus do chleachtóirí acmhainneacht RBRanna a fhiosrú ina gcuid oibre féin. Trí léargais a chomhroinnt agus comhoibriú ar dhea-chleachtais, is féidir linn réimse na hIS sábháilte agus ailínithe a chur chun cinn le chéile, ag cinntiú go bhfreastalaíonn na huirlisí cumhachtacha seo níos fearr ar dhaoine.