L-allinjament tal-mudelli tal-lingwa biex isegwu l-istruzzjonijiet

Ħarriġna mudelli tal-lingwa li huma ferm aħjar biex isegwu l-intenzjonijiet tal-utent minn GPT‑3 filwaqt li jagħmluhom ukoll aktar veritieri u inqas tossiċi, bl-użu ta’ tekniki żviluppati permezz tar-riċerka tagħna dwar l-allinjament. Dawn il-mudelli InstructGPT, li huma mħarrġa bil-bnedmin fiċ-ċirku, issa huma implimentati bħala l-mudelli tal-lingwa awtomatiċi fl-API tagħna.

L-API ta’ OpenAI hija mħaddma minn mudelli tal-lingwa GPT‑3⁠ li jistgħu jiġu mħeġġa jwettqu kompiti tal-lingwa naturali billi jintużaw prompts tat-test maħduma bir-reqqa. Iżda dawn il-mudelli jistgħu wkoll jiġġeneraw outputs li mhumiex veri, tossiċi, jew jirriflettu sentimenti ta’ ħsara. Dan huwa parzjalment minħabba li GPT‑3 huwa mħarreġ biex ibassar il-kelma li jmiss fuq dataset kbir ta’ test mill-Internet, aktar milli biex iwettaq b’mod sigur il-kompitu tal-lingwa li l-utent irid. Fi kliem ieħor, dawn il-mudelli mhumiex allinjati mal-utenti tagħhom.

Biex nagħmlu l-mudelli tagħna aktar siguri, aktar ta’ għajnuna, u aktar allinjati, nużaw teknika eżistenti msejħa Apprendiment ta' Tisħiħ minn Feedback minn Bniedem (RLHF)⁠. Fuq prompts sottomessi mill-klijenti tagħna lill-API,^A it-tikkettaturi tagħna jipprovdu dimostrazzjonijiet tal-imġiba mixtieqa tal-mudell, u jikklassifikaw diversi outputs mill-mudelli tagħna. Imbagħad nużaw din id-data biex nirfinaw GPT‑3.

Il-mudelli InstructGPT li jirriżultaw huma ferm aħjar biex isegwu l-istruzzjonijiet minn GPT‑3. Barra minn hekk, jivvintaw fatti inqas ta’ spiss, u juru tnaqqis żgħir fil-ġenerazzjoni ta’ outputs tossiċi. It-tikkettaturi tagħna jippreferu outputs mill-mudell InstructGPT 1.3B tagħna fuq outputs minn mudell GPT‑3 175B, minkejja li għandu aktar minn 100x inqas parametri. Fl-istess ħin, nuru li ma għandniex għalfejn nikkompromettu l-kapaċitajiet ta’ GPT‑3, kif imkejla mill-prestazzjoni tal-mudell tagħna fuq evalwazzjonijiet akkademiċi ta’ NLP.

Dawn il-mudelli InstructGPT, li ilhom fil-beta fuq l-API għal aktar minn sena, issa huma l-mudelli tal-lingwa awtomatiċi aċċessibbli fuq l-API tagħna.^B Aħna nemmnu li r-rfinar tal-mudelli tal-lingwa bil-bnedmin fiċ-ċirku huwa għodda qawwija biex tittejjeb is-sikurezza u l-affidabbiltà tagħhom, u se nkomplu nimxu f’din id-direzzjoni.

Din hija l-ewwel darba li r-riċerka tagħna dwar l-allinjament, li ilna insegwuha⁠ għal diversi⁠ snin⁠,^{1, 2, u 3} ġiet applikata għall-prodott tagħna. Ix-xogħol tagħna huwa relatat ukoll ma’ riċerka reċenti li tirfina mudelli tal-lingwa biex isegwu l-istruzzjonijiet billi tuża datasets akkademiċi ta’ NLP, b’mod notevoli FLAN⁴ u T0.⁵ Motivazzjoni ewlenija tax-xogħol tagħna hija li nżidu l-għajnuna u l-verità filwaqt li nnaqqsu l-ħsarat u l-preġudizzji tal-mudelli tal-lingwa.^{6, 7, 8, 9, u 10} Xi wħud mir-riċerka preċedenti tagħna⁠ f’din id-direzzjoni sabu li nistgħu nnaqqsu outputs ta’ ħsara billi nirfinaw fuq dataset żgħir ikkurat ta’ dimostrazzjonijiet umani.¹¹ Riċerka oħra ffukat fuq l-iffiltrar tad-dataset ta’ qabel it-taħriġ,¹² tokens ta’ kontroll speċifiċi għas-sikurezza,^{13 u 14} jew l-istering tal-ġenerazzjonijiet tal-mudell.^{15 u 16} Aħna qed nesploraw dawn l-ideat u oħrajn fir-riċerka kontinwa tagħna dwar l-allinjament.

L-ewwel nivvalutaw kemm l-outputs ta’ InstructGPT isegwu sew l-istruzzjonijiet tal-utent, billi nġiegħlu lit-tikkettaturi jqabblu l-outputs tiegħu ma’ dawk ta’ GPT‑3. Insibu li l-mudelli InstructGPT huma preferuti b’mod sinifikanti fuq prompts sottomessi kemm lill-mudelli InstructGPT kif ukoll lil dawk GPT‑3 fl-API. Dan jibqa’ minnu meta nżidu prefiss mal-prompt ta’ GPT‑3 biex jidħol f’“modalità ta’ segwitu tal-istruzzjonijiet.”

Biex inkejlu s-sikurezza tal-mudelli tagħna, primarjament nużaw sett ta’ metriċi eżistenti fuq datasets disponibbli pubblikament. Meta mqabbel ma’ GPT‑3, InstructGPT jipproduċi inqas falsitajiet imitattivi (skont TruthfulQA¹⁷) u huwa inqas tossiku (skont RealToxicityPrompts¹⁸). Nagħmlu wkoll evalwazzjonijiet umani fuq id-distribuzzjoni tal-prompts tal-API tagħna, u nsibu li InstructGPT jivvinta fatti (“jalluċina”) inqas ta’ spiss, u jiġġenera outputs aktar xierqa.^C

Fl-aħħar, insibu li l-outputs ta’ InstructGPT huma preferuti fuq dawk minn FLAN⁴ u T0⁵ fid-distribuzzjoni tal-klijenti tagħna. Dan jindika li d-data użata biex jitħarrġu FLAN u T0, l-aktar kompiti akkademiċi ta’ NLP, mhijiex rappreżentattiva għal kollox ta’ kif il-mudelli tal-lingwa implimentati jintużaw fil-prattika.

Biex inħarrġu l-mudelli InstructGPT, it-teknika ewlenija tagħna hija Apprendiment ta' Tisħiħ minn Feedback minn Bniedem (RLHF)⁠, metodu li għenna nkunu fost il-pijunieri tiegħu fir-riċerka preċedenti tagħna dwar l-allinjament. Din it-teknika tuża preferenzi umani bħala sinjal ta' premju biex tirfina l-mudelli tagħna, li huwa importanti peress li l-problemi ta’ sikurezza u allinjament li qed nippruvaw insolvu huma kumplessi u suġġettivi, u mhumiex maqbuda kompletament minn metriċi awtomatiċi sempliċi.

L-ewwel niġbru dataset ta’ dimostrazzjonijiet miktuba mill-bniedem fuq prompts sottomessi lill-API tagħna, u nużaw dan biex inħarrġu l-linji bażiċi tagħna ta’ apprendiment sorveljat. Wara, niġbru dataset ta’ tqabbil ittikkettat mill-bniedem bejn żewġ outputs tal-mudell fuq sett akbar ta’ prompts tal-API. Imbagħad inħarrġu reward model (RM) fuq dan id-dataset biex ibassar liema output jippreferu t-tikkettaturi tagħna. Fl-aħħar, nużaw dan l-RM bħala funzjoni ta’ premju u nirfinaw il-policy GPT‑3 tagħna biex nimmassimizzaw dan il-premju billi nużaw l-algoritmu PPO⁠.

Mod wieħed kif naħsbu dwar dan il-proċess huwa li “jiftaħ” kapaċitajiet li GPT‑3 diġà kellu, iżda li kienu diffiċli biex jinkisbu permezz ta’ inġinerija tal-prompts biss: dan għaliex il-proċedura tat-taħriġ tagħna għandha kapaċità limitata biex tgħallem kapaċitajiet ġodda lill-mudell meta mqabbla ma’ dak li jitgħallem waqt qabel it-taħriġ, peress li tuża inqas minn 2% tal-komputazzjoni u d-data relattivament għal qabel it-taħriġ tal-mudell.

Limitazzjoni ta’ dan l-approċċ hija li jintroduċi “spiża tal-allinjament”: l-allinjament tal-mudelli biss fuq kompiti tal-klijenti jista’ jaggrava l-prestazzjoni tagħhom fuq xi kompiti akkademiċi oħra ta’ NLP. Dan mhux mixtieq għax, jekk it-tekniki ta’ allinjament tagħna jagħmlu l-mudelli agħar fuq kompiti li n-nies jimpurtahom minnhom, ikunu inqas probabbli li jiġu adottati fil-prattika. Sibna bidla algoritmika sempliċi li tnaqqas kemm jista’ jkun din l-ispiża tal-allinjament: waqt ir-rfinar RL inħalltu frazzjoni żgħira mid-data oriġinali użata biex jitħarreġ GPT‑3, u nħarrġu fuq din id-data billi nużaw il-massimizzazzjoni normali tal-log likelihood.^D Dan bejn wieħed u ieħor iżomm il-prestazzjoni fuq is-sikurezza u l-preferenzi umani, filwaqt li jtaffi t-tnaqqis fil-prestazzjoni fuq kompiti akkademiċi, u f’diversi każijiet saħansitra jaqbeż il-linja bażi ta’ GPT‑3.

Il-proċedura tagħna tallinja l-imġiba tal-mudelli tagħna mal-preferenzi tat-tikkettaturi tagħna, li jipproduċu direttament id-data użata biex jitħarrġu l-mudelli tagħna, u magħna r-riċerkaturi, li nipprovdu gwida lit-tikkettaturi permezz ta’ istruzzjonijiet bil-miktub, feedback dirett fuq eżempji speċifiċi, u konversazzjonijiet informali. Hija influwenzata wkoll mill-klijenti tagħna u mill-preferenzi impliċiti fil-politiki tal-API tagħna. Aħna għażilna tikkettaturi li marru tajjeb f’test ta’ skrining għall-kapaċità li jidentifikaw u jirrispondu għal prompts sensittivi. Madankollu, dawn is-sorsi differenti ta’ influwenza fuq id-data ma jiggarantux li l-mudelli tagħna huma allinjati mal-preferenzi ta’ xi grupp usa’.

Għamilna żewġ esperimenti biex ninvestigaw dan. L-ewwel, nivvalutaw GPT‑3 u InstructGPT billi nużaw annotaturi indipendenti^E li ma pproduċew ebda waħda mid-data tat-taħriġ, u sibna li dawn it-tikkettaturi jippreferu outputs mill-mudelli InstructGPT bejn wieħed u ieħor bl-istess rata bħat-tikkettaturi tat-taħriġ tagħna. It-tieni, inħarrġu reward models fuq data minn sottogrupp tat-tikkettaturi tagħna, u nsibu li jiġġeneralizzaw tajjeb biex ibassru l-preferenzi ta’ sottogrupp differenti ta’ tikkettaturi. Dan jissuġġerixxi li l-mudelli tagħna ma overfittewx biss għall-preferenzi tat-tikkettaturi tat-taħriġ tagħna. Madankollu, hemm bżonn aktar xogħol biex jiġi studjat kif dawn il-mudelli jġibu ruħhom ma’ gruppi usa’ ta’ utenti, u kif jaħdmu fuq inputs fejn il-bnedmin ma jaqblux dwar l-imġiba mixtieqa.

Minkejja li għamilna progress sinifikanti, il-mudelli InstructGPT tagħna għadhom ’il bogħod milli jkunu allinjati jew siguri għal kollox; għadhom jiġġeneraw outputs tossiċi jew preġudikati, jivvintaw fatti, u jiġġeneraw kontenut sesswali u vjolenti mingħajr prompting espliċitu. Iżda s-sikurezza ta’ sistema ta’ apprendiment awtomatiku tiddependi mhux biss fuq l-imġiba tal-mudelli sottostanti, iżda wkoll fuq kif dawn il-mudelli jiġu implimentati. Biex nappoġġjaw is-sikurezza tal-API tagħna, se nkomplu nirrevedu applikazzjonijiet potenzjali⁠(jinfetaħ f’tieqa ġdida) qabel ma jmorru live, nipprovdu filtri tal-kontenut biex jidentifikaw completions mhux siguri, u nissorveljaw għall-użu ħażin.

Prodott sekondarju tat-taħriġ tal-mudelli tagħna biex isegwu l-istruzzjonijiet tal-utent huwa li jistgħu jsiru aktar suxxettibbli għall-użu ħażin jekk jiġu istruwiti jipproduċu outputs mhux siguri. Is-soluzzjoni għal dan teħtieġ li l-mudelli tagħna jirrifjutaw ċerti istruzzjonijiet; li nagħmlu dan b’mod affidabbli hija problema importanti ta’ riċerka miftuħa li ninsabu eċċitati biex nindirizzawha.

Barra minn hekk, f’ħafna każijiet l-allinjament mal-preferenza medja tat-tikkettaturi jista’ ma jkunx mixtieq. Pereżempju, meta jiġi ġġenerat test li jaffettwa b’mod sproporzjonat grupp minoritarju, il-preferenzi ta’ dak il-grupp għandhom jingħataw aktar piż. Bħalissa, InstructGPT huwa mħarreġ biex isegwi istruzzjonijiet bl-Ingliż; għalhekk, huwa preġudikat lejn il-valuri kulturali ta’ nies li jitkellmu bl-Ingliż. Qegħdin nagħmlu riċerka biex nifhmu d-differenzi u n-nuqqas ta’ qbil bejn il-preferenzi tat-tikkettaturi sabiex inkunu nistgħu nikkundizzjonaw il-mudelli tagħna fuq il-valuri ta’ popolazzjonijiet aktar speċifiċi. B’mod aktar ġenerali, l-allinjament tal-outputs tal-mudell mal-valuri ta’ bnedmin speċifiċi jintroduċi għażliet diffiċli b’implikazzjonijiet soċjali, u fl-aħħar mill-aħħar irridu nistabbilixxu proċessi responsabbli u inklużivi biex jittieħdu dawn id-deċiżjonijiet.

Din hija l-ewwel applikazzjoni tar-riċerka tagħna dwar l-allinjament għall-prodott tagħna. Ir-riżultati tagħna juru li dawn it-tekniki huma effettivi biex itejbu b’mod sinifikanti l-allinjament ta’ sistemi tal-IA għal skop ġenerali mal-intenzjonijiet umani. Madankollu, dan huwa biss il-bidu: se nibqgħu nkomplu nimbuttaw dawn it-tekniki biex intejbu l-allinjament tal-mudelli attwali u futuri tagħna lejn għodod tal-lingwa li huma siguri u ta’ għajnuna għall-bnedmin.

Jekk inti interessat f’dawn id-direzzjonijiet ta’ riċerka, qegħdin nirreklutaw⁠(jinfetaħ f’tieqa ġdida)!