Una especificació del model actualitzada per a una IA més capaç i beneficiosa
A mesura que els nostres models es tornen més intel·ligents i duen a terme accions amb més conseqüències al món, és cada cop més important que vagin més enllà d’interpretar les instruccions concretes que reben. Els models també han d’entendre les intencions i els valors humans per poder actuar amb bon criteri en situacions que les instruccions no preveuen explícitament, sense deixar de ser fidels a les intencions humanes ni de sotmetre’s a la supervisió humana.
Avui actualitzem l’especificació del model(s'obre en una finestra nova), la descripció pública de com volem que es comportin els nostres models. L’actualització reorganitza les directrius al voltant de cinc valors fonamentals: fidelitat a les intencions humanes, minimització dels danys, honestedat i transparència, autonomia humana i cura. Això reflecteix un dels objectius de la nostra feina en l’alineament amb els valors: que els models entenguin i apliquin els valors humans en situacions desconegudes, sense deixar de ser fidels a les intencions humanes. A més d’explicar amb més claredat els principis existents, la revisió afegeix directrius sobre el context, la supervisió i l’autonomia, ajusta algunes pautes de comportament per defecte i retira bona part de les directrius d’estil detallades.
Els cinc valors anteriors expressen compromisos generals que ja es reflecteixen al llarg de l’especificació del model: servir els propòsits humans, dir la veritat, minimitzar els danys, respectar la llibertat de les persones per formar-se opinions pròpies i prendre’s seriosament les seves circumstàncies. Reunir aquests compromisos ajuda a explicar per què l’especificació demana als models que es comportin d’aquesta manera, i ens ajuda a elaborar directrius més clares allà on aquests compromisos no estaven prou desenvolupats. Aquesta actualització és un pas més en la nostra feina per perfeccionar l’especificació a través de la recerca, l’experiència en el desplegament de models, les aportacions del públic sobre l’especificació i el comportament dels models, i les converses amb usuaris i experts externs.
Volem que la IA beneficiï un món de persones amb necessitats, valors i esperances de futur diferents.
La fidelitat a les intencions humanes és la base d’aquest enfocament: entendre les persones i ajudar-les a perseguir allò que els importa. OpenAI redacta l’especificació, estableix límits i entrena els models perquè els respectin; els desenvolupadors dirigeixen les aplicacions dins d’aquests límits, i els usuaris dirigeixen la feina del model respectant aquestes restriccions. Els nostres models haurien d’ampliar la capacitat de les persones per decidir el rumb de la seva vida, ajudant-les a entendre el món, descobrir possibilitats i perseguir els objectius que triïn, sense deixar de prendre’s seriosament com aquesta ajuda afecta els altres. La fidelitat a les intencions humanes i els altres quatre valors estructuren l’especificació i orienten els models a l’hora de sospesar algunes de les tensions més importants entre objectius. No pretenen abastar tot el ventall de valors humans que els nostres models haurien de respectar i ajudar les persones a posar en pràctica.
La fidelitat implica anar més enllà de seguir les instruccions al peu de la lletra: entendre a fons què pretenen i què valoren OpenAI, els desenvolupadors i els usuaris, i actuar amb seny quan aquesta comprensió és incompleta. També implica reconèixer que les creences i els valors de les persones poden canviar, i ajudar-les a reflexionar i créixer de maneres que elles mateixes aprovarien, sense dirigir-les d’amagat ni anul·lar les seves decisions. Per exemple, quan ajuda algú a comparar ofertes de feina, el model podria basar-se en prioritats que aquesta persona hagi compartit abans —com ara tenir horaris previsibles—, però fent explícites aquestes suposicions i facilitant que es puguin corregir.
La nostra missió és garantir que la intel·ligència artificial general beneficiï tota la humanitat. Això exigeix tenir en compte no només les intencions immediates d’una persona, sinó també els seus interessos a més llarg termini i els efectes sobre els altres. Els altres quatre valors fan explícites aquestes consideracions:
Minimitzar els danys implica respectar límits de seguretat ferms i tenir en compte les conseqüències previsibles de les accions del model.
L’honestedat i la transparència impliquen dir la veritat sobre què sap el model, què fa i sobre què té dubtes, perquè les persones puguin entendre i avaluar el seu raonament i la seva feina.
Facilitar l’autonomia humana implica reforçar la capacitat de les persones per entendre, triar i actuar per si mateixes.
La cura implica atendre les circumstàncies de les persones afectades, seguir les normes socials i professionals pertinents i fer una feina en què es pugui confiar.
L’especificació converteix aquests valors en directrius pràctiques, amb límits ferms quan cal protegir les persones i la societat. En la resta de casos, adopta majoritàriament la forma de pautes per defecte que els usuaris i els desenvolupadors poden modificar.
Paral·lelament a aquesta actualització de l’especificació del model, hem explorat nous mètodes d’entrenament per ajudar els nostres models a aprendre aquests valors fonamentals i a entendre i seguir millor els principis de comportament concrets de l’especificació. L’objectiu és que entenguin per què aquests principis són importants i com aplicar-los en situacions noves: fer el que és correcte pels motius correctes. Volem que aquesta comprensió fomenti el bon criteri en les decisions de gran transcendència i la cura en les decisions quotidianes que, sumades, poden aportar beneficis duradors per a les persones i la societat(s'obre en una finestra nova). En properes actualitzacions compartirem els resultats i les lliçons apreses d’aquesta feina d’entrenament.
Aquesta reorganització també ens ha ajudat a identificar on calien més directrius, elaborar nous principis per cobrir aquestes mancances i revisar o retirar les directrius existents quan calia.
La nova secció sobre la fidelitat a les intencions humanes parteix de la idea que allò que les persones valoren és prioritari, i que les instruccions solen ser els indicadors més clars i importants d’aquests valors. Aquest enfocament s’inspira en el plantejament de l’alineament com a jocs d’assistència (vegeu els primers treballs(s'obre en una finestra nova) i una visió de conjunt posterior(s'obre en una finestra nova)). La secció incorpora una cadena de comandament(s'obre en una finestra nova) actualitzada, que explica quines instruccions s’apliquen i com es resolen els conflictes. Una nova subsecció, considerar el context amb cura(s'obre en una finestra nova), explica com les converses, els records i altres indicis contextuals han d’ajudar el model a entendre les intencions i les preferències de les persones.
També hem afegit pautes per defecte per fomentar l’autonomia humana(s'obre en una finestra nova) i seguir les normes socials pertinents(s'obre en una finestra nova), i hem ampliat les directrius existents per controlar i comunicar els efectes secundaris(s'obre en una finestra nova). Aquests principis recullen altres maneres, sovint subtils però importants, en què la resta de valors s’han de reflectir en el comportament del model: tenir en compte els efectes de la feina sobre els altres, reforçar les capacitats dels usuaris i fer una feina en què les persones puguin confiar, respectant alhora els objectius i les instruccions de l’usuari.
Alhora, retirem la major part de les directrius d’estil detallades de l’especificació. L’estil s’ha d’adaptar a les preferències de les persones —en conjunt, dins de cada llengua i cultura, i individualment—, a partir dels indicis que aporten els comentaris dels usuaris i el context. L’especificació manté les pautes per defecte més fermes, com ara abordar les qüestions amb objectivitat(s'obre en una finestra nova). Els usuaris i els desenvolupadors poden demanar explícitament al model que adopti una perspectiva concreta, però el model no hauria de deduir aquesta preferència només a partir del que creu que volen sentir.
Finalment, per reflectir la diversitat creixent dels casos d’ús i dels entorns de desplegament dels nostres models, ara ens referim al model com a "GPT" en lloc de "l’assistent" a l’especificació.
Aquesta actualització és un primer pas per fer més explícits els valors i els raonaments que fonamenten l’especificació a mesura que els models es tornen més capaços. L’especificació del model descriu el comportament que treballem per assolir; els nostres models encara no el reflecteixen plenament. Continuarem millorant tant l’especificació com els models a mesura que aprenguem de la recerca, de l’ús real i dels comentaris rebuts.
Volem saber quines parts de l’especificació et convencen, en quins punts discrepes de l’equilibri que estableix i què passa per alt o deixa poc clar. Els comentaris sobre els valors, els equilibris entre objectius i la redacció concreta ens poden ajudar a millorar-la. Et convidem a llegir l’especificació del model actualitzada(s'obre en una finestra nova) i a compartir el teu punt de vista(s'obre en una finestra nova).
