Unapređivanje bezbednosnog ponašanja modela pomoću nagrada zasnovanih na pravilima

Naša istraživanja pokazuju da nagrade zasnovane na pravilima (RBR) značajno unapređuju bezbednost naših AI sistema, čineći ih bezbednijim i pouzdanijim za svakodnevnu upotrebu za ljude i programere. Ovo je deo našeg rada na istraživanju više načina na koje možemo da primenimo sopstveni AI kako bismo AI učinili bezbednijim⁠. 

Tradicionalno, fino podešavanje jezičkih modela pomoću podsticajnog učenja iz povratnih informacija od ljudi (RLHF)⁠ bilo je glavni metod za obezbeđivanje da oni tačno prate instrukcije⁠. OpenAI je bio na čelu razvoja ovih metoda usklađivanja kako bi stvorio pametnije i bezbednije AI modele.

Da bismo obezbedili da se AI sistemi ponašaju bezbedno i budu usklađeni sa ljudskim vrednostima, definišemo željena ponašanja i prikupljamo povratne informacije ljudi kako bismo obučili „model nagrađivanja“. Ovaj model usmerava AI signalizirajući poželjne radnje. Međutim, prikupljanje ovih ljudskih povratnih informacija za rutinske i repetitivne zadatke često je neefikasno. Dodatno, ako se naše bezbednosne politike promene, povratne informacije koje smo već prikupili mogle bi da zastare, što zahteva nove podatke.

Zato uvodimo nagrade zasnovane na pravilima (RBR) kao ključnu komponentu OpenAI bezbednosnog steka za usklađivanje ponašanja modela sa željenim bezbednim ponašanjem. Za razliku od ljudskih povratnih informacija, RBR koristi jasna, jednostavna i postupna pravila da proceni da li izlazi modela ispunjavaju bezbednosne standarde. Kada se uključi u standardni RLHF proces, pomaže da se održi dobar balans između korisnosti i sprečavanja štete, kako bi se obezbedilo da se model ponaša bezbedno i efikasno bez neefikasnosti ponovljenih ljudskih unosa. RBR koristimo kao deo našeg bezbednosnog steka još od lansiranja GPT‑4⁠, uključujući GPT‑4o mini⁠, i planiramo da ga ubuduće primenjujemo u našim modelima.

Proces primene RBR-a podrazumeva definisanje skupa propozicija — jednostavnih izjava o poželjnim ili nepoželjnim aspektima odgovora modela, kao što su „osuđujući ton“, „sadrži nedozvoljen sadržaj“, „upućivanje na bezbednosne smernice“, „odricanje od odgovornosti“ i drugo. Te propozicije se zatim koriste za formiranje pravila koja su pažljivo osmišljena da obuhvate nijanse bezbednih i primerenih odgovora u različitim scenarijima. Na primer, odbijanje (npr. „Žao mi je, ne mogu da vam pomognem s tim.“) je poželjan odgovor modela kada se suoči sa nebezbednim zahtevima — povezana pravila bi navela da odbijanje „treba da sadrži kratko izvinjenje“ i da „treba da navede nemogućnost postupanja“. 

Projektujemo tri kategorije poželjnog ponašanja modela kada se bavi štetnim ili osetljivim temama. U zavisnosti od bezbednosnih smernica, različiti zahtevi mapiraju se na različite tipove odgovora modela.

U nastavku dajemo pojednostavljene primere propozicija i kako se one mapiraju na idealno ili neidealno ponašanje za različite tipove odgovora.

U tabeli ispod dajemo nekoliko primera završetaka modela koje smo obučavali u našim eksperimentima kako bismo ilustrativno prikazali naše tvrdnje. Ističemo neke vrednosti tvrdnji za svaki završetak i klasu kojoj pripadaju.

Ocjenjivač, fiksni jezički model, boduje odgovore na osnovu toga koliko se dobro pridržavaju ovih pravila, što omogućava da se pristup RBR fleksibilno prilagođava novim pravilima i bezbednosnim smernicama. RBR koristi ove ocene da prilagodi linearni model sa težinskim parametrima naučenim iz malog skupa podataka sa instrukcijama poznatog idealnog tipa odgovora, kao i odgovarajućim poželjnim i nepoželjnim završecima. Ove RBR nagrade se zatim kombinuju sa nagradama iz modela nagrađivanja fokusiranog samo na korisnost i koriste se kao dodatni signal u algoritmima PPO⁠ kako bi se model podstakao da se pridržava politika bezbednosnog ponašanja. Ova metoda nam omogućava da obezbedimo fino podešenu kontrolu nad ponašanjem modela, osiguravajući da on ne samo da izbegava štetan sadržaj, već to čini na način koji je i pun poštovanja i koristan.

U našim eksperimentima, modeli obučeni pomoću RBR-a pokazali su bezbednosne performanse uporedive sa onima obučеним uz ljudske povratne informacije. Takođe su smanjili broj slučajeva netačnog odbijanja bezbednih zahteva („preterano odbijanje“) bez uticaja na evaluacione metrike na uobičajenim reperima sposobnosti. RBR takođe značajno smanjuje potrebu za obimnim ljudskim podacima, čineći proces obuke bržim i isplativijim. Pored toga, kako se sposobnosti modela i bezbednosne smernice razvijaju, RBR se može brzo ažurirati izmenom ili dodavanjem novih pravila, bez potrebe za obimnim ponovnim obučavanjem.

Procenujemo bezbednosno ponašanje našeg modela u okviru koji nam omogućava da lako pratimo kompromis između korisnosti i štetnosti. S jedne strane, lako je biti bezbedan ako model odbija sve, ali je korisnost modela tada nula. S druge strane, ne želimo da napravimo model koji optimizuje maksimalnu korisnost, ali je nebezbedan ili štetan. Optimalno usklađen model treba da pronađe pravu meru između korisnosti i štetnosti.

Iako RBR dobro funkcioniše za zadatke sa jasnim, direktnim pravilima, njegova primena može biti zahtevna kod subjektivnijih zadataka, poput pisanja kvalitetnog eseja. Međutim, RBR se može kombinovati sa ljudskim povratnim informacijama kako bi se ove teškoće uravnotežile. Na primer, RBR može da sprovodi specifične smernice (kao što su „Ne koristi sleng“ ili pravila iz specifikacije modela⁠), dok ljudske povratne informacije mogu pomoći kod nijansiranijih aspekata (kao što je ukupna koherentnost). Jačina RBR-a optimizuje se tako da ispravno sprovodi bezbednosne preference, ali da ne utiče na konačni rezultat nagrađivanja više nego što je potrebno — na taj način RLHF model nagrađivanja i dalje može da daje snažan signal za npr. stil pisanja.

Etička razmatranja: Premeštanje bezbednosnih provera sa ljudi na AI može smanjiti ljudski nadzor nad bezbednošću AI-ja i moglo bi pojačati potencijalne pristrasnosti u modelima ako se pristrasni modeli koriste za dodelu RBR nagrada. Da bi se to rešilo, istraživači treba pažljivo da osmisle RBR kako bi obezbedili pravičnost i tačnost, i da razmotre korišćenje kombinacije RBR-a i ljudskih povratnih informacija radi smanjenja rizika.

Ovde smo predstavili nov pristup modelovanju preferencija korišćenjem nagrada zasnovanih na pravilima (RBR) za bezbednosnu obuku jezičkih modela. Naš metod je efikasan po troškovima i vremenu, zahteva minimalno ljudskih podataka i lako se ažurira ako se željeno ponašanje modela promeni, uz održavanje ravnoteže između bezbednosti i korisnosti.

RBR nije ograničen samo na bezbednosnu obuku. Može se prilagoditi različitim zadacima u kojima eksplicitna pravila mogu definisati željena ponašanja, kao što je prilagođavanje ličnosti ili formata odgovora modela za određenu primenu. Gledajući unapred, planiramo da sprovedemo opsežnije ablacione studije radi sveobuhvatnijeg razumevanja različitih komponenti RBR-a, upotrebe sintetičkih podataka za razvoj pravila i ljudskih evaluacija radi potvrde efikasnosti RBR-a u raznolikim primenama, uključujući i druge oblasti osim bezbednosti.

Pozivamo istraživače i praktičare da istraže potencijal RBR-a u sopstvenom radu. Deljenjem uvida i saradnjom na najboljim praksama možemo zajednički unaprediti oblast bezbednog i usklađenog AI-ja, obezbeđujući da ovi moćni alati bolje služe ljudima.