Specifica modello aggiornata per un’IA più capace e utile

Man mano che i nostri modelli diventano più intelligenti e compiono azioni con conseguenze più rilevanti nel mondo, è sempre più importante che vadano oltre la semplice interpretazione delle istruzioni specifiche che ricevono. I modelli devono anche comprendere le intenzioni e i valori umani, per poter esercitare buon giudizio nelle situazioni non contemplate esplicitamente dalle istruzioni, pur restando fedeli alle intenzioni delle persone e soggetti alla loro supervisione.

Oggi aggiorniamo la specifica modello⁠(si apre in una nuova finestra), il documento pubblico che descrive come vogliamo che si comportino i nostri modelli. L’aggiornamento riorganizza le indicazioni attorno a cinque valori fondamentali: fedeltà alle intenzioni umane, riduzione al minimo dei danni, onestà e trasparenza, autonomia delle persone e cura. Questo riflette uno degli obiettivi del nostro lavoro sull’allineamento ai valori: far sì che i modelli comprendano e applichino i valori umani in situazioni nuove, restando fedeli alle intenzioni delle persone. Oltre a spiegare più chiaramente i principi esistenti, la revisione aggiunge indicazioni su contesto, supervisione e autonomia, modifica alcuni comportamenti predefiniti ed elimina gran parte delle indicazioni stilistiche dettagliate.

I cinque valori sopra elencati esprimono impegni generali già presenti in tutta la specifica modello: servire gli scopi delle persone, essere veritieri, ridurre al minimo i danni, rispettare la libertà di ciascuno di formarsi le proprie opinioni e prendere sul serio le circostanze in cui si trova. Riunire questi impegni aiuta a spiegare il perché dei comportamenti che la specifica richiede ai modelli e ci permette di formulare indicazioni più chiare dove tali impegni erano espressi in modo meno completo. Questo aggiornamento è un ulteriore passo nel nostro lavoro di perfezionamento della specifica, basato sulla ricerca, sull’esperienza acquisita mettendo a disposizione i modelli, sui riscontri del pubblico sulla specifica e sul comportamento dei modelli, e sul confronto con utenti ed esperti esterni.

Vogliamo che l’IA porti benefici a un mondo di persone con esigenze, valori e speranze per il futuro diversi.

La fedeltà alle intenzioni umane è alla base di questo approccio: comprendere ciò che conta per le persone e aiutarle a perseguirlo. OpenAI redige la specifica, stabilisce i limiti e addestra i modelli a rispettarli; gli sviluppatori definiscono il funzionamento delle applicazioni entro quei limiti; gli utenti orientano il lavoro del modello nel rispetto di tali vincoli. I nostri modelli dovrebbero accrescere la capacità delle persone di plasmare la propria vita, aiutandole a comprendere il mondo, scoprire nuove possibilità e perseguire gli obiettivi che scelgono, tenendo al contempo in seria considerazione gli effetti di questo aiuto sugli altri. La fedeltà alle intenzioni umane e gli altri quattro valori danno struttura alla specifica e guidano i nostri modelli nel trovare un equilibrio tra alcune delle esigenze più importanti con cui si confrontano. Non intendono rappresentare l’intera gamma dei valori umani che i nostri modelli dovrebbero rispettare e aiutare le persone a perseguire.

Essere fedeli alle intenzioni significa andare oltre l’esecuzione letterale delle istruzioni, comprendere a fondo ciò che OpenAI, gli sviluppatori e gli utenti intendono e ritengono importante, e agire con saggezza quando tale comprensione è incompleta. Significa anche riconoscere che le convinzioni e i valori delle persone possono cambiare, e aiutarle a riflettere e crescere in modi che approverebbero, senza influenzarle di nascosto né scavalcare le loro scelte. Ad esempio, nell’aiutare una persona a confrontare offerte di lavoro, il modello potrebbe basarsi su priorità che questa ha già condiviso, come orari prevedibili, rendendo però esplicite e facilmente correggibili tali supposizioni.

La nostra missione è garantire che l’intelligenza artificiale generale porti benefici a tutta l’umanità. Questo richiede di considerare non solo le intenzioni immediate di una persona, ma anche i suoi interessi a lungo termine e gli effetti sugli altri. Gli altri quattro valori rendono esplicite queste considerazioni:

• Ridurre al minimo i danni significa rispettare limiti di sicurezza inderogabili e tenere conto delle conseguenze prevedibili delle azioni del modello.

• Onestà e trasparenza significano dire la verità su ciò che il modello sa, fa e considera incerto, affinché le persone possano comprenderne e valutarne il ragionamento e il lavoro.

• Favorire l’autonomia delle persone significa rafforzare la loro capacità di comprendere, scegliere e agire in modo indipendente.

• Cura significa prestare attenzione alle circostanze delle persone coinvolte, seguire le norme sociali e professionali pertinenti e svolgere un lavoro su cui le persone possano contare.

La specifica traduce questi valori in indicazioni pratiche, con limiti inderogabili dove servono a proteggere le persone e la società; negli altri casi, si tratta perlopiù di comportamenti predefiniti che utenti e sviluppatori possono modificare.

Parallelamente a questo aggiornamento della specifica modello, stiamo esplorando nuovi metodi di addestramento per aiutare i nostri modelli ad apprendere questi valori fondamentali e a comprendere e seguire meglio i principi comportamentali specifici del documento. L’obiettivo è sviluppare una comprensione del perché questi principi siano importanti e di come applicarli in situazioni nuove: fare le cose giuste per le ragioni giuste. Vogliamo che questa comprensione favorisca il buon giudizio nelle decisioni di grande impatto e la cura nelle scelte quotidiane che, nel loro insieme, possono produrre benefici duraturi per le persone e la società⁠(si apre in una nuova finestra). Nei prossimi aggiornamenti condivideremo i risultati e gli insegnamenti di questo lavoro sull’addestramento.

Questa riorganizzazione ci ha anche aiutato a individuare dove servivano ulteriori indicazioni, a sviluppare nuovi principi per rispondere a tali esigenze e, quando necessario, a rivedere o eliminare le indicazioni esistenti.

La nuova sezione sulla fedeltà alle intenzioni umane parte dall’idea che ciò che conta per le persone venga prima di tutto e che le istruzioni siano, di norma, i segnali più chiari e importanti di questi valori. Questo approccio si ispira ai giochi di assistenza come quadro teorico per l’allineamento (si vedano i primi lavori⁠(si apre in una nuova finestra) e una panoramica successiva⁠(si apre in una nuova finestra)). La sezione include una catena di comando⁠(si apre in una nuova finestra) aggiornata, che spiega quali istruzioni si applicano e come vengono risolti i conflitti. Una nuova sottosezione, considerare attentamente il contesto⁠(si apre in una nuova finestra), spiega come conversazioni, ricordi e altri elementi contestuali debbano contribuire alla comprensione, da parte del modello, delle intenzioni e delle preferenze delle persone.

Abbiamo anche aggiunto comportamenti predefiniti per sostenere l’autonomia delle persone⁠(si apre in una nuova finestra) e seguire le norme sociali pertinenti⁠(si apre in una nuova finestra), e ampliato le indicazioni esistenti su come controllare e comunicare gli effetti collaterali⁠(si apre in una nuova finestra). Questi principi esprimono ulteriori modi, spesso sottili ma importanti, in cui gli altri valori dovrebbero manifestarsi nel comportamento del modello: considerare gli effetti del lavoro sugli altri, rafforzare le capacità degli utenti e produrre risultati su cui le persone possano contare, rispettando al contempo gli obiettivi e le istruzioni dell’utente.

Allo stesso tempo, eliminiamo gran parte delle indicazioni stilistiche dettagliate della specifica. Lo stile dovrebbe adattarsi alle preferenze delle persone, sia in generale sia nelle diverse lingue e culture sia a livello individuale, basandosi sui riscontri degli utenti e sul contesto per comprenderle. La specifica mantiene comportamenti predefiniti più vincolanti, come affrontare le questioni in modo obiettivo⁠(si apre in una nuova finestra). Utenti e sviluppatori possono chiedere esplicitamente al modello di adottare una prospettiva particolare, ma il modello non dovrebbe dedurre tale preferenza solo da ciò che pensa vogliano sentirsi dire.

Infine, per riflettere la crescente varietà di casi d’uso e contesti di impiego dei nostri modelli, nella specifica ci riferiamo ora al modello come “GPT” anziché “l’assistente”.

Questo aggiornamento è un primo passo per rendere più espliciti i valori e le motivazioni alla base della specifica, mentre i modelli diventano sempre più capaci. La specifica modello descrive il comportamento a cui stiamo lavorando; i nostri modelli non lo rispecchiano ancora pienamente. Continueremo a migliorare sia la specifica sia i modelli sulla base di ciò che apprendiamo dalla ricerca, dall’uso concreto e dai riscontri ricevuti.

Vogliamo sapere quali parti della specifica trovi convincenti, su quali equilibri tra le diverse esigenze non sei d’accordo e quali aspetti trascura o lascia poco chiari. I riscontri sui valori, sui compromessi e sulle formulazioni specifiche possono aiutarci a migliorarla. Ti invitiamo a leggere la specifica modello aggiornata⁠(si apre in una nuova finestra) e a condividere il tuo punto di vista⁠(si apre in una nuova finestra).