Millora del comportament de seguretat del model amb recompenses basades en regles

La nostra recerca mostra que les recompenses basades en regles (RBR) milloren significativament la seguretat dels nostres sistemes d’IA, fent-los més segurs i fiables perquè persones i desenvolupadors els facin servir cada dia. Això forma part de la nostra feina per explorar més maneres d’aplicar la nostra pròpia IA per fer la IA més segura⁠. 

Tradicionalment, l’ajust fi dels models de llenguatge mitjançant aprenentatge per reforç a partir de la retroacció humana (RLHF)⁠ ha estat el mètode de referència per garantir que segueixin instruccions⁠ amb precisió. OpenAI ha estat a l’avantguarda del desenvolupament d’aquests mètodes d’alineament per crear models d’IA més intel·ligents i segurs.

Per garantir que els sistemes d’IA es comportin de manera segura i s’alineïn amb els valors humans, definim comportaments desitjats i recopilem retroacció humana per entrenar un «model de recompensa». Aquest model guia la IA indicant les accions desitjables. Tanmateix, recopilar aquesta retroacció humana per a tasques rutinàries i repetitives sovint és ineficient. A més, si les nostres polítiques de seguretat canvien, la retroacció que ja hem recopilat pot quedar obsoleta i exigir dades noves.

Per això, presentem les recompenses basades en regles (RBR) com un component clau de la pila de seguretat d’OpenAI per alinear el comportament del model amb el comportament segur desitjat. A diferència de la retroacció humana, les RBR fan servir regles clares, simples i pas a pas per avaluar si les sortides del model compleixen els estàndards de seguretat. Quan s’integren en el pipeline estàndard de RLHF, ajuden a mantenir un bon equilibri entre ser útil i prevenir danys, per garantir que el model es comporti de manera segura i eficaç sense les ineficiències d’aportacions humanes recurrents. Hem fet servir les RBR com a part de la nostra pila de seguretat des del llançament de GPT‑4⁠, inclòs GPT‑4o mini⁠, i tenim previst implementar-les en els nostres models d’ara endavant.

El procés d’implementació de les RBR implica definir un conjunt de proposicions —afirmacions simples sobre aspectes desitjats o no desitjats de les respostes del model, com ara «ser moralista», «contenir contingut no permès», «fer referència a polítiques de seguretat», «descàrrec de responsabilitat» i més. Aquestes proposicions s’utilitzen després per formar regles curosament elaborades per captar els matisos de respostes segures i adequades en diversos escenaris. Per exemple, un rebuig (p. ex. «Ho sento, no et puc ajudar amb això.») és una resposta desitjada del model davant de sol·licituds insegures; les regles associades indicarien que el rebuig «ha de contenir una breu disculpa» i que «ha d’indicar una incapacitat per complir». 

Dissenyem tres categories de comportament desitjat del model quan tracta temes nocius o sensibles. Segons les polítiques de seguretat, diferents sol·licituds es corresponen amb diferents tipus de resposta del model.

A continuació oferim exemples simplificats de proposicions i de com es corresponen amb comportaments ideals o no ideals per a diferents tipus de resposta.

Oferim alguns exemples de complecions dels models que vam entrenar en els nostres experiments a la taula següent per il·lustrar les nostres proposicions. Destaquem alguns valors de proposició per a cada compleció i la classe a la qual corresponen.

L’avaluador, un model de llenguatge fix, puntua les respostes segons com s’ajusten a aquestes regles, cosa que permet que l’enfocament RBR s’adapti amb flexibilitat a noves regles i polítiques de seguretat. L’RBR fa servir aquestes puntuacions per ajustar un model lineal amb paràmetres de pes apresos a partir d’un petit conjunt de dades d’indicacions amb un tipus de resposta ideal conegut, així com les complecions desitjades i no desitjades corresponents. Aquestes recompenses RBR es combinen després amb recompenses d’un model de recompensa només d’ajuda i s’utilitzen com a senyal addicional en algorismes PPO⁠ per incentivar el model a seguir les polítiques de comportament segur. El mètode ens permet proporcionar un control detallat sobre el comportament del model, garantint que no només eviti contingut nociu, sinó que ho faci d’una manera respectuosa i útil.

En els nostres experiments, els models entrenats amb RBR van demostrar un rendiment en seguretat comparable al dels entrenats amb retroacció humana. També van reduir els casos de rebutjar incorrectament sol·licituds segures («sobrerebuig») sense afectar les mètriques d’avaluació en punts de referència comuns de capacitats. Les RBR també redueixen significativament la necessitat d’una gran quantitat de dades humanes, fent que el procés d’entrenament sigui més ràpid i més rendible. A més, a mesura que evolucionen les capacitats dels models i les directrius de seguretat, les RBR es poden actualitzar ràpidament modificant o afegint noves regles, sense necessitat d’un reentrenament extens.

Estem avaluant el comportament de seguretat dels nostres models en un marc en què podem seguir fàcilment la compensació entre utilitat i perjudicialitat. D’una banda, és fàcil ser segur si el model ho rebutja tot, però la utilitat del model és zero. De l’altra, no volem construir un model que optimitzi la utilitat màxima però que sigui insegur o perjudicial. Un model alineat de manera òptima ha de saber trobar aquest equilibri entre utilitat i perjudicialitat.

Tot i que les RBR funcionen bé per a tasques amb regles clares i senzilles, poden ser difícils d’aplicar a tasques més subjectives, com ara escriure un assaig d’alta qualitat. Tanmateix, les RBR es poden combinar amb retroacció humana per equilibrar aquests reptes. Per exemple, les RBR poden fer complir directrius específiques (com ara «No facis servir argot» o regles de l’especificació del model⁠), mentre que la retroacció humana pot ajudar amb aspectes més matisats (com ara la coherència general). La força de la RBR s’optimitza per aplicar correctament les preferències de seguretat, però sense afectar la puntuació final de recompensa més del necessari; d’aquesta manera, el model de recompensa de RLHF encara pot proporcionar un senyal fort sobre, per exemple, l’estil d’escriptura.

Consideracions ètiques: Traslladar les comprovacions de seguretat d’éssers humans a la IA pot reduir la supervisió humana de la seguretat de la IA i podria amplificar possibles biaixos en els models si s’utilitzen models esbiaixats per proporcionar recompenses RBR. Per abordar-ho, els investigadors han de dissenyar les RBR amb cura per garantir equitat i precisió, i considerar l’ús d’una combinació de RBR i retroacció humana per minimitzar riscos.

Aquí hem presentat un nou enfocament de modelatge de preferències que utilitza recompenses basades en regles (RBR) per a l’entrenament de seguretat de models de llenguatge. El nostre mètode és eficient en costos i temps, requereix poques dades humanes i és fàcil d’actualitzar si canvia el comportament desitjat del model, tot mantenint un equilibri entre seguretat i utilitat.

Les RBR no es limiten a l’entrenament de seguretat. Es poden adaptar a diverses tasques en què regles explícites poden definir comportaments desitjats, com ara ajustar la personalitat o el format de les respostes del model per a una aplicació específica. De cara al futur, tenim previst dur a terme més estudis d’ablació extensos per obtenir una comprensió més completa dels diferents components de les RBR, l’ús de dades sintètiques per al desenvolupament de regles i avaluacions humanes per validar l’eficàcia de les RBR en aplicacions diverses, inclosos altres àmbits més enllà de la seguretat.

Convidem investigadors i professionals a explorar el potencial de les RBR en la seva pròpia feina. Compartint coneixements i col·laborant en bones pràctiques, podem avançar col·lectivament en el camp de la IA segura i alineada, i garantir que aquestes eines potents serveixin millor les persones.