Un sostegno concreto alle persone nel momento del bisogno

La diffusione di ChatGPT a livello mondiale ha mostrato che le persone lo utilizzano non solo per ricerche, programmazione e scrittura, ma anche per questioni molto personali, come consigli su come affrontare la vita⁠(si apre in una nuova finestra), coaching⁠(si apre in una nuova finestra) e sostegno⁠(si apre in una nuova finestra).

A questo livello, a volte incontriamo persone che soffrono di gravi disturbi mentali ed emotivi. Ne abbiamo parlato alcune settimane fa e avevamo in programma di approfondire l’argomento dopo il nostro prossimo importante aggiornamento. Tuttavia, i recenti episodi drammatici riguardanti persone che sono ricorse a ChatGPT in un momento di grave crisi ci toccano profondamente e riteniamo sia importante parlarne ora.

Il nostro obiettivo è che i nostri strumenti siano di massimo aiuto alle persone. Per questo, con la guida di esperti, cerchiamo di migliorare costantemente il modo in cui i nostri modelli riconoscono e reagiscono ai segnali di disagio mentale ed emotivo e mettono in contatto le persone con i servizi di assistenza.

Mentre il mondo si adatta a questa nuova tecnologia, ci sentiamo profondamente responsabili di aiutare chi ne ha più bisogno. Desideriamo spiegare a cosa serve ChatGPT, quali sono i margini di miglioramento dei nostri sistemi e quali sono i nostri progetti futuri.

Il nostro obiettivo non è catturare l’attenzione delle persone. Non misuriamo il successo in base al tempo trascorso o ai clic, ma piuttosto ci importa essere realmente utili. Quando una conversazione suggerisce che qualcuno è vulnerabile e potrebbe essere a rischio, vengono attivate una serie di misure di sicurezza integrate in ChatGPT.

Saper riconoscere e rispondere con empatia.

Dall’inizio del 2023, i nostri modelli sono stati addestrati a non fornire istruzioni relative all’autolesionismo e a utilizzare un linguaggio empatico e di sostegno. Ad esempio, se qualcuno scrive di volersi fare del male, ChatGPT è addestrato per non assecondarlo, ma piuttosto per riconoscere i suoi sentimenti e indirizzarlo verso forme di aiuto.

In linea con il nostro approccio di difesa integrata, le risposte in contrasto con l’addestramento sulla sicurezza dei nostri modelli, così come identificato dai nostri classificatori, vengono automaticamente bloccate, con protezioni più elevate per i minori e l’uso senza login. Anche le immagini che ritraggono atti di autolesionismo sono bloccate per tutti, con protezioni più elevate per i minori.

In caso di sessioni molto lunghe, ChatGPT invita gli utenti a fare una pausa.

Indirizzare le persone verso risorse reali.

Se una persona esprime intenzioni di suicidio, ChatGPT è addestrato per consigliare di rivolgersi a un professionista. Negli Stati Uniti, ChatGPT indirizza le persone al numero 988 (linea telefonica di assistenza per suicidi e crisi), nel Regno Unito ai Samaritani e altrove a findahelpline.com⁠(si apre in una nuova finestra). Questa logica è integrata nel comportamento del modello.

Lavoriamo a stretto contatto con oltre 90 medici in più di 30 Paesi, tra cui psichiatri, pediatri e medici generici. Stiamo inoltre riunendo un gruppo consultivo di esperti in salute mentale, sviluppo dei giovani e interazione uomo-computer per assicurarci che il nostro approccio rifletta le ultime ricerche e le migliori pratiche.

Il rischio di danni fisici ad altri viene segnalato e verificato da parte di un essere umano.

Se individuiamo utenti che intendono danneggiare altri utenti, le loro conversazioni vengono inoltrate a canali specializzati per essere analizzate da un ristretto team addestrato sulle politiche di utilizzo e autorizzato a intervenire, anche bloccando gli account. Se i revisori umani ritengono che un determinato caso comporti una minaccia imminente di grave danno fisico ad altri, possiamo segnalarlo alle forze dell’ordine. Al momento non stiamo segnalando i casi di autolesionismo alle forze dell’ordine per rispettare la privacy delle persone, data la natura particolarmente riservata delle interazioni su ChatGPT.

Miglioriamo costantemente il comportamento dei nostri modelli nelle interazioni delicate, e cerchiamo di aumentare la sicurezza in diversi ambiti, tra cui la dipendenza emotiva, le emergenze di salute mentale e l’adulazione.

Ad agosto abbiamo lanciato GPT‑5 come modello predefinito alla base di ChatGPT. Rispetto alla versione 4o, GPT‑5 ha mostrato nel complesso miglioramenti significativi di oltre il 25% in aree quali: prevenzione di livelli malsani di dipendenza emotiva, riduzione dell’adulazione e riduzione della prevalenza di risposte non ideali in situazioni di emergenza di salute mentale. GPT‑5 si basa anche su un nuovo metodo di addestramento alla sicurezza chiamato completamenti sicuri, che insegna al modello ad essere il più utile possibile pur rimanendo entro i limiti di sicurezza. Ciò potrebbe implicare una risposta parziale o di alto livello invece di dettagli che potrebbero essere pericolosi.

Nonostante queste misure di sicurezza, ci sono stati momenti in cui i nostri sistemi non hanno funzionato come previsto in situazioni delicate. Ecco alcuni aspetti su cui stiamo lavorando per ottenere miglioramenti.

Rafforzamento delle misure di sicurezza nelle conversazioni lunghe.

Le nostre misure di sicurezza funzionano in modo più affidabile negli scambi comuni e brevi. Nel tempo abbiamo imparato che queste misure di sicurezza possono talvolta rivelarsi meno affidabili nelle interazioni più lunghe: con l’aumentare dei passaggi di conversazione, alcune parti dell’addestramento alla sicurezza del modello possono indebolirsi. Ad esempio, ChatGPT potrebbe indicare correttamente un numero verde per la prevenzione del suicidio quando un utente menziona per la prima volta l’intenzione di suicidarsi. Successivamente, però, dopo numerosi messaggi in un periodo di tempo prolungato, potrebbe infine fornire una risposta che va contro le misure di sicurezza. Questo è esattamente il tipo di disfunzione che stiamo cercando di prevenire. Stiamo rafforzando le misure di mitigazione affinché si mantengano affidabili nelle conversazioni lunghe e stiamo studiando le modalità per garantire un comportamento robusto in conversazioni multiple. In questo modo, se qualcuno esprime intenzioni suicide in una chat e poi ne avvia un’altra, il modello è comunque in grado di rispondere in modo appropriato.

Perfezionare il meccanismo di blocco dei contenuti.

Abbiamo osservato che in alcuni casi non sono stati bloccati i contenuti che avrebbero dovuto esserlo. Queste lacune si verificano solitamente perché il classificatore sottovaluta la gravità di ciò che vede. Stiamo calibrando tali soglie in modo che le protezioni si attivino quando necessario.

La nostra priorità assoluta è garantire che ChatGPT non peggiori ulteriormente una situazione già difficile.

Il compito non si esaurisce con la risoluzione dei problemi sopra indicati. Abbiamo anche in previsione di: 

Ampliare gli interventi a un numero maggiore di persone in situazione di crisi.

Le nostre misure iniziali di mitigazione hanno considerato prioritario il rischio elevato di autolesionismo, ma alcune persone sperimentano altre forme di disagio mentale. Ad esempio, qualcuno potrebbe raccontare con entusiasmo al modello di poter guidare 24 ore su 24, 7 giorni su 7, perché si è reso conto di essere invincibile dopo non aver dormito per due notti. Il ChatGPT di oggi potrebbe non cogliere il pericolo o interpretarlo come un gioco e, interagendo in modo curioso, potrebbe in qualche modo incoraggiarlo.

Stiamo lavorando a un aggiornamento di GPT‑5 che consentirà a ChatGPT di ridimensionare tali situazioni riportando la persona alla realtà. In questo caso, spiegherebbe che la privazione del sonno è pericolosa e consiglierebbe di riposarsi prima di intraprendere qualsiasi azione.

Facilitare il contatto con i servizi di emergenza e l’assistenza da parte di esperti.

Attualmente, quando le persone esprimono l’intenzione di farsi del male, le incoraggiamo a cercare aiuto e le indirizziamo verso risorse concrete. Abbiamo iniziato a localizzare le risorse negli Stati Uniti e in Europa e intendiamo espanderci in altri mercati globali. Verrà inoltre potenziata l’accessibilità mediante la possibilità di accedere ai servizi di emergenza con un solo clic.

Stiamo studiando come intervenire precocemente e facilitare il contatto con terapeuti certificati prima che le persone si trovino in una situazione di crisi acuta. Dobbiamo quindi andare oltre le linee telefoniche di emergenza e pensare a come creare una rete di professionisti abilitati che si possano contattare direttamente tramite ChatGPT. Saranno necessari tempo e impegno per ottenere il risultato desiderato.

Attivare le connessioni ai contatti fidati.

Oltre ai servizi di emergenza, stiamo valutando soluzioni per facilitare il contatto tra le persone e i loro cari. Ciò potrebbe includere messaggi o chiamate con un solo clic ai contatti di emergenza salvati, agli amici o ai familiari, con suggerimenti linguistici per rendere meno difficile l’avvio della conversazione.

Stiamo anche considerando funzionalità che permettano alle persone di scegliere ChatGPT per contattare un referente designato per loro conto nei casi più gravi.

Rafforzare le misure di protezione per gli adolescenti.

In passato abbiamo definito un unico modello di comportamento ideale per tutti i nostri utenti. Con il diffondersi di ChatGPT, abbiamo iniziato ad aggiungere ulteriori protezioni quando il nostro sistema rileva che l’utente ha meno di 18 anni. Proseguiamo nello sviluppo e nell’implementazione di misure di sicurezza che rispondano alle esigenze specifiche degli adolescenti, con una maggiore protezione nei confronti di contenuti sensibili e comportamenti a rischio.

Presto introdurremo anche il controllo parentale che consentirà ai genitori di sapere meglio come i loro figli adolescenti usano ChatGPT e di regolarne l’uso. Stiamo inoltre valutando la possibilità di consentire agli adolescenti di designare un contatto di emergenza di fiducia, naturalmente sotto la supervisione dei genitori. In questo modo, nei momenti di grave disagio, ChatGPT può fare molto di più che indicare delle risorse: può mettere in contatto gli adolescenti direttamente con qualcuno pronto a intervenire.

Siamo profondamente consapevoli che le misure di sicurezza sono più efficaci quando ogni elemento funziona come previsto. Ci impegniamo a migliorare costantemente, sotto la guida di esperti e con grande responsabilità nei confronti delle persone che utilizzano i nostri strumenti. Auspichiamo che altri si uniscano a noi per garantire che questa tecnologia tuteli le persone più vulnerabili.