Усклађивање језичких модела да прате упутства

Обучили смо језичке моделе који су много бољи у праћењу корисничких намера од GPT‑3, а истовремено су истинитији и мање токсични, користећи технике развијене кроз наше истраживање усклађивања. Ови InstructGPT модели, који се обучавају уз учешће људи, сада су распоређени као подразумевани језички модели у нашем API-ју.

OpenAI API покрећу GPT‑3 језички модели⁠ који се могу навести да извршавају задатке са природним језиком помоћу пажљиво осмишљених текстуалних инструкција. Али ови модели такође могу да генеришу излазе који су неистинити, токсични или одражавају штетна осећања. То је делимично зато што је GPT‑3 обучен да предвиђа следећу реч на великом скупу интернет текста, а не да безбедно извршава задатак са природним језиком који корисник жели. Другим речима, ови модели нису усклађени са својим корисницима.

Да бисмо наше моделе учинили безбеднијим, кориснијим и више усклађеним, користимо постојећу технику која се зове подстицајно учење из повратних информација од људи (RLHF)⁠. На инструкцијама које наши клијенти шаљу API-ју,^A наши означивачи дају демонстрације жељеног понашања модела и рангирају више излаза наших модела. Затим користимо ове податке да фино подесимо GPT‑3.

Настали модели InstructGPT много су бољи у праћењу упутстава од GPT‑3. Такође ређе измишљају чињенице и показују мала смањења у генерисању токсичних излаза. Наши означивачи преферирају излазе нашег InstructGPT модела 1.3B у односу на излазе GPT‑3 модела 175B, упркос томе што има више од 100x мање параметара. Истовремено, показујемо да не морамо да правимо компромисе у погледу способности GPT‑3, мерено перформансама нашег модела на академским NLP евалуацијама.

Ови модели InstructGPT, који су у бета верзији на API-ју већ више од годину дана, сада су подразумевани језички модели доступни у нашем API-ју.^B Верујемо да је фино подешавање језичких модела уз учешће људи моћан алат за побољшање њихове безбедности и поузданости, и наставићемо да напредујемо у овом правцу.

Ово је први пут да је наше истраживање усклађивања, којим се бавимо⁠ већ неколико⁠ година⁠,^{1, 2 и 3} примењено на наш производ. Наш рад је повезан и са недавним истраживањима која фино подешавају језичке моделе да прате упутства користећи академске NLP скупове података, посебно FLAN⁴ и T0.⁵ Једна од кључних мотивација нашег рада јесте повећање корисности и истинитости уз ублажавање штете и пристрасности језичких модела.^{6, 7, 8, 9 и 10} Нека од наших претходних истраживања⁠ у овом правцу показала су да можемо смањити штетне излазе финим подешавањем на малом курираном скупу података људских демонстрација.¹¹ Друга истраживања су се фокусирала на филтрирање скупа података за предобуку,¹² контролне токене специфичне за безбедност,^{13 и 14} или усмеравање генерисања модела.^{15 и 16} Истражујемо ове и друге идеје у нашем текућем истраживању усклађивања.

Прво процењујемо колико добро излази из InstructGPT прате корисничка упутства, тако што означивачи пореде његове излазе са онима из GPT‑3. Утврдили смо да се модели InstructGPT значајно више преферирају за инструкције послате и моделима InstructGPT и GPT‑3 на API-ју. То важи и када GPT‑3 инструкцији додамо префикс тако да уђе у „режим праћења упутстава“.

Да бисмо измерили безбедност наших модела, првенствено користимо скуп постојећих метрика на јавно доступним скуповима података. У поређењу са GPT‑3, InstructGPT производи мање имитативних неистина (према TruthfulQA¹⁷) и мање је токсичан (према RealToxicityPrompts¹⁸). Такође спроводимо људске евалуације на дистрибуцији инструкција нашег API-ја и утврђујемо да InstructGPT ређе измишља чињенице („халуцинира”) и генерише прикладније излазе.^C

Коначно, утврдили смо да се излази InstructGPT преферирају у односу на оне из FLAN⁴ и T0⁵ на нашој дистрибуцији клијената. То указује да подаци коришћени за обуку FLAN-а и T0, углавном академски NLP задаци, не представљају у потпуности начин на који се распоређени језички модели користе у пракси.

Да бисмо обучили моделе InstructGPT, наша основна техника је подстицајно учење из повратних информација од људи (RLHF)⁠, метод чијем смо развоју помогли у нашем ранијем истраживању усклађивања. Ова техника користи људске преференције као сигнал награде за фино подешавање наших модела, што је важно јер су проблеми безбедности и усклађивања које настојимо да решимо сложени и субјективни и нису у потпуности обухваћени једноставним аутоматским метрикама.

Прво прикупљамо скуп података демонстрација које су написали људи на основу инструкција послатих нашем API-ју и користимо га за обуку наших базних модела надгледаног учења. Затим прикупљамо скуп података поређења између два излаза модела које су људи означили на већем скупу API инструкција. Потом обучавамо модел награде (RM) на овом скупу података да предвиди који би излаз наши означивачи преферирали. На крају користимо овај RM као функцију награде и фино подешавамо нашу GPT‑3 политику да максимизује ову награду помоћу PPO алгоритма⁠.

Један начин да се размишља о овом процесу јесте да он „откључава” способности које је GPT‑3 већ имао, али које је било тешко изазвати само формулисањем инструкције: то је зато што наш поступак обуке има ограничену способност да научи модел новим способностима у односу на оно што се усваја током предобуке, пошто користи мање од 2% рачунарских ресурса и података у односу на предобуку модела.

Ограничење овог приступа је што уводи „порез на усклађивање”: усклађивање модела само на задацима клијената може погоршати њихове перформансе на неким другим академским NLP задацима. То је непожељно јер, ако наше технике усклађивања погоршају моделе на задацима до којих је људима стало, мања је вероватноћа да ће бити усвојене у пракси. Пронашли смо једноставну алгоритамску измену која минимизује овај порез на усклађивање: током RL финог подешавања убацујемо мали део оригиналних података коришћених за обуку GPT‑3 и обучавамо на тим подацима користећи уобичајену максимизацију логаритамске вероватноће.^D Ово приближно одржава перформансе у погледу безбедности и људских преференција, уз ублажавање пада перформанси на академским задацима, а у више случајева чак и премашује GPT‑3 базну линију.

Наш поступак усклађује понашање наших модела са преференцијама наших означивача, који директно производе податке коришћене за обуку наших модела, и нас истраживача, који означивачима дајемо смернице путем писаних упутстава, директних повратних информација о конкретним примерима и неформалних разговора. На њега утичу и наши клијенти и преференције које су имплицитне у нашим API политикама. Изабрали смо означиваче који су се добро показали на тесту провере способности за препознавање и одговарање на осетљиве инструкције. Међутим, ови различити извори утицаја на податке не гарантују да су наши модели усклађени са преференцијама било које шире групе.

Спровели смо два експеримента да бисмо то истражили. Прво, процењујемо GPT‑3 и InstructGPT користећи означивач-људско биће^E које није произвело ниједан део података за обуку, и утврдили смо да ови означивачи преферирају излазе модела InstructGPT отприлике истом стопом као и наши означивачи за обуку. Друго, обучавамо моделе награде на подацима из подскупа наших означивача и утврђујемо да се они добро уопштавају на предвиђање преференција другог подскупа означивача. То указује да се наши модели нису само превише прилагодили преференцијама наших означивача за обуку. Ипак, потребно је више рада да би се проучило како се ови модели понашају у ширим групама корисника и како се понашају на уносима код којих се људи не слажу око жељеног понашања.

Упркос значајном напретку, наши InstructGPT модели су далеко од потпуно усклађених или потпуно безбедних; и даље генеришу токсичне или пристрасне излазе, измишљају чињенице и генеришу сексуални и насилни садржај без експлицитне инструкције. Али безбедност система машинског учења не зависи само од понашања основних модела, већ и од тога како су ти модели распоређени. Да бисмо подржали безбедност нашег API-ја, наставићемо да прегледамо потенцијалне примене⁠(отвара се у новом прозору) пре него што постану активне, обезбеђујемо филтере садржаја за откривање небезбедних довршетака и пратимо злоупотребу.

Нуспроизвод обуке наших модела да прате корисничка упутства јесте то што могу постати подложнији злоупотреби ако добију инструкцију да производе небезбедне излазе. Решавање тога захтева да наши модели одбију одређене инструкције; поуздано спровођење тога важан је отворен истраживачки проблем којим се радо бавимо.

Даље, у многим случајевима усклађивање са просечном преференцијом означивача можда није пожељно. На пример, при генерисању текста који несразмерно утиче на мањинску групу, преференције те групе требало би снажније уважити. Тренутно је InstructGPT обучен да прати упутства на енглеском; стога је пристрасан ка културним вредностима људи који говоре енглески. Спроводимо истраживања како бисмо разумели разлике и неслагања између преференција означивача, да бисмо могли да условимо наше моделе вредностима конкретнијих популација. Уопштеније, усклађивање излаза модела са вредностима конкретних људи уводи тешке изборе са друштвеним импликацијама, и на крају морамо успоставити одговорне, инклузивне процесе за доношење ових одлука.

Ово је прва примена нашег истраживања усклађивања на наш производ. Наши резултати показују да су ове технике ефикасне у значајном побољшању усклађености AI система опште намене са људским намерама. Међутим, ово је тек почетак: наставићемо да унапређујемо ове технике како бисмо побољшали усклађеност наших садашњих и будућих модела ка језичким алатима који су безбедни и корисни за људе.

Ако вас занимају ови правци истраживања, запошљавамо⁠(отвара се у новом прозору)!