Offrir son aide dans les moments critiques

Aujourd’hui, ChatGPT est présent partout dans le monde. Au cours de sa démocratisation, des personnes se sont tournées vers l’outil non pas pour de la recherche, du code ou de la rédaction, mais pour des questions bien plus personnelles, comme des conseils de vie⁠(ouverture dans une nouvelle fenêtre), du coaching⁠(ouverture dans une nouvelle fenêtre) ou de l’aide⁠(ouverture dans une nouvelle fenêtre).

Compte tenu de son ampleur, il est arrivé que des personnes se trouvent dans des situations de détresse mentale ou émotionnelle profonde. Nous avons abordé ce sujet quelques semaines en arrière et prévoyions d’en parler plus en détail, après la sortie de notre prochaine grande mise à jour. Nous avons toutefois été particulièrement bouleversés par les récentes et tristes nouvelles de personnes ayant eu recours à ChatGPT dans des périodes extrêmement difficiles de leur vie. C’est pourquoi nous pensons qu’il est important de développer notre approche.

Notre ambition est de créer des outils aussi utiles que possible. À ce titre, nous cherchons constamment à améliorer nos modèles afin qu’ils puissent reconnaître les signes de détresse mentale et émotionnelle, y répondre et accompagner ces personnes dans la bienveillance, tout en étant guidés par des conseils d’experts.

Petit à petit, le monde s’adapte à cette nouvelle technologie. Et nous pensons qu’il en va de notre devoir d’aider les personnes qui en ont le plus besoin. Nous souhaitons donc expliquer les points suivants : ce pourquoi ChatGPT a été conçu, les domaines d’amélioration de nos systèmes et les mesures que nous comptons prendre à l’avenir.

Notre objectif n’est pas de monopoliser l’attention des utilisateur. Notre succès ne se mesure pas en quantité de temps passé ni en nombre de clics ; ce qui nous importe, c’est l’aide que nous apportons. Lorsqu’une conversation laisse entrevoir qu’une personne est vulnérable, voire en danger, différentes niveaux de mesures de protection intégrées à ChatGPT se déclenchent.

Reconnaître la situation et y répondre avec empathie.

Depuis début 2023, nous entraînons nos modèles à ne pas donner d’instructions autour de l’automutilation et à employer, plutôt, un langage encourageant et empathique. Par exemple, si une personne décrit son envie de se faire du mal, ChatGPT est entraîné à ne pas satisfaire la demande de l’utilisateur. À la place, il reconnaît ses sentiments et le redirige vers des ressources d’aide.

De plus, conformément à notre approche sur la protection approfondie, les réponses allant à l’encontre de l’entraînement de nos modèles sur le plan de la sécurité (tel qu’identifié par nos classifications) sont automatiquement bloquées. Ces mesures sont d’autant plus strictes dans le cas des mineurs ou d’utilisation sans connexion préalable au compte. Les images d’automutilation générées sont également bloquées pour tout le monde, mais cette protection est renforcée chez les mineurs.

Lors de sessions de conversation très longues, ChatGPT encourage l’utilisateur à faire une pause.

Orienter les utilisateurs vers des ressources pertinentes.

Si une personne exprime des intentions suicidaires, ChatGPT la pousse à demander une aide professionnelle. Aux États-Unis, ChatGPT oriente les personnes vers le 988 (la ligne d’écoute de prévention au suicide), au Royaume-Uni vers Samaritans et dans les autres pays vers findahelpline.com⁠(ouverture dans une nouvelle fenêtre). Cette logique est intégrée au comportement du modèle.

Nous travaillons en étroite collaboration avec plus de 90 médecins dans une trentaine de pays (psychiatres, pédiatres et médecins généralistes) et convoquons un comité consultatif composé d’experts en santé mentale, en développement de la jeunesse et en interaction homme-machine pour nous assurer que notre approche tient compte des dernières études ainsi que des bonnes pratiques.

Faire remonter le risque de violence physique envers autrui en vue d’une vérification humaine.

Lorsque nous identifions des utilisateurs susceptibles de s’en prendre physiquement aux autres, nous transférons leurs conversations vers des pipelines spécialisés. Leurs chats sont alors étudiés par une petite équipe, formée sur nos politiques d’utilisation et autorisée à prendre les mesures nécessaires, notamment la décision de bannir un compte. Si les examinateurs déterminent qu’un cas représente un risque immédiat de violence physique envers autrui, nous pouvons être amenés à faire appel aux forces de l’ordre. Actuellement, nous ne rapportons pas les cas d’automutilation aux forces de l’ordre afin de respecter la vie privée des utilisateurs, compte tenu du caractère confidentiel des interactions avec ChatGPT.

Nous améliorons constamment la réaction de nos modèles face à des interactions sensibles et travaillons, actuellement, sur des points de sécurité ciblés dans différents domaines, notamment la dépendance émotionnelle, les urgences visant les cas de santé mentale et la flatterie excessive.

En août dernier, nous avons lancé GPT‑5, le nouveau modèle par défaut de ChatGPT. Dans l’ensemble, GPT‑5 montre des améliorations significatives : il cherche à limiter la dépendance émotionnelle et la flatterie excessive et a réduit le nombre de réponses inappropriées du modèle dans les cas d’urgences liés à la santé mentale de plus de 25 %, par rapport à 4o. GPT‑5 s’appuie également sur une nouvelle méthode d’entraînement appelée « les sorties sûres » qui apprend au modèle à être le plus utile possible, dans les limites de la sécurité. Comment cela se traduit-il ? L’outil peut donner une réponse partielle ou générale, au lieu d’une réponse détaillée potentiellement dangereuse.

Même en ayant mis ces mesures de protection en place, parfois, nos systèmes n’ont pas le comportement escompté dans des situations délicates. Voici quelques domaines sur lesquels nous travaillons.

Renforcer les mesures de protection dans les longues conversations.

Nos mesures de protection sont plus fiables dans les échanges courts et courants. Nous avons appris progressivement que la fiabilité de ces mesures de sécurité s’amoindrit dans les longues interactions : au fil des échanges, une partie de l’entraînement en sécurité du modèle peut se dégrader. Par exemple, ChatGPT peut, comme attendu, mentionner une ligne d’écoute de prévention au suicide lorsqu’une personne parle pour la première fois de ses intentions. Mais après plusieurs messages sur une longue période, le modèle peut finir par offrir une réponse qui enfreint nos mesures de protection. C’est précisément ce type de défaillance que nous cherchons à corriger. Nous sommes en train de renforcer ces mesures d’atténuation afin qu’elles restent fiables dans les conversations les plus longues, et cherchons à garantir un comportement stable dans différents chats. De cette façon, si quelqu’un exprime des intentions suicidaires dans un chat, puis en lance un nouveau plus tard, le modèle proposera dans tous les cas une réponse appropriée.

Améliorer notre façon de bloquer du contenu.

Nous avons observé des situations dans lesquelles du contenu, qui aurait normalement dû être bloqué, ne l’était pas. Généralement, ces problèmes sont dus à des erreurs de jugement des classifications, qui sous-estiment le degré de gravité. Nous sommes en train de régler ces seuils afin que les mesures de protection puissent se déclencher dans les cas nécessaires.

Notre priorité absolue est que ChatGPT n’empire pas un moment déjà difficile.

Notre travail ne s’arrête pas aux corrections. Nous prévoyons également les choses suivantes : 

Toucher davantage de personnes en détresse grâce à nos interventions.

Alors que nos mesures d’atténuation initiales ciblaient d’abord les cas d’automutilation graves, certaines personnes peuvent ressentir d’autres formes de détresse mentale. Par exemple, quelqu’un qui explique avec entrain au modèle qu’il pense pouvoir conduire non-stop, pensant être invincible après deux nuits blanches. Aujourd’hui, ChatGPT peut ne pas considérer cette situation comme dangereuse. Au contraire, il peut penser qu’il s’agit d’un jeu et renforcer subtilement cette idée, en posant des questions.

Nous travaillons sur une mise à jour de GPT‑5 qui poussera ChatGPT à désamorcer la situation en ancrant la personne dans la réalité. Dans notre exemple, il expliquerait que le manque de sommeil est dangereux et recommanderait de se reposer avant d’agir.

Faciliter la mise en relation avec les services d’urgences et recevoir l’aide d’experts.

Aujourd’hui, lorsque des personnes expriment leurs intentions de se faire du mal, nous les encourageons à demander de l’aide et les orientons vers les ressources pertinentes. Nous avons commencé à adapter les ressources aux marchés américains et européens, et prévoyons de poursuivre cette démarche dans d’autres pays. Nous allons également améliorer l’accessibilité aux services d’urgences en permettant d’y accéder en un seul clic.

Nous cherchons à intervenir le plus tôt possible afin de mettre les personnes en contact avec des psychologues certifiées, avant qu’elles ne traversent une crise aiguë. Nous souhaitons donc aller plus loin que les lignes d’assistance téléphonique : envisager la possibilité de faire appel à un réseau de professionnels directement joignable depuis ChatGPT. Pour pouvoir le mettre en place, ce projet demande du temps et de l’attention.

Contacter des personnes de confiance.

En plus des services d’urgences, nous aimerions que les utilisateurs puissent facilement contacter leurs proches. Il pourrait s’agir de messages ou d’appels à leurs contacts d’urgence enregistrés (famille ou amis), que les utilisateurs pourraient envoyer ou passer en un clic. Un exemple de message pourrait également être suggéré pour amorcer plus facilement la discussion.

Nous envisageons également des fonctionnalités permettant aux utilisateurs de donner leur accord pour que ChatGPT contacte, à leur place, une personne désignée dans les cas les plus graves.

Renforcer la protection des plus jeunes.

Au départ, nous avions défini un comportement modèle unique pour tous nos utilisateurs. Au fil de l’évolution de ChatGPT, nous avons commencé à ajouter d’autres protections, lorsque l’utilisateur est âgé de moins de 18 ans. Nous continuons à développer et déployer des mesures de protection qui reconnaissent les besoins uniques des mineurs en matière de développement. Ces sécurités sont renforcées dans les cas de contenu sensible et de comportement à risque.

Bientôt, nous lancerons le contrôle parental, une fonctionnalité qui permettra aux parents de connaître l’utilisation que font leurs enfants de ChatGPT mais aussi de la contrôler. Nous souhaitons également que les mineurs puissent (sous la surveillance de leurs parents) désigner un contact d’urgence. De cette manière, dans les moments de crise, ChatGPT peut aller plus loin que la recommandation de ressources. Il pourra mettre l’adolescent en contact avec une personne en mesure d’intervenir.

Nous sommes bien conscients que ces mesures de protection sont les plus efficaces lorsque tous les éléments fonctionnent comme prévu. Guidés par des experts et animés par notre devoir vis-à-vis de nos utilisateurs, nous continuerons à améliorer notre modèle. Nous espérons que d’autres se joindront à nous et nous aideront à faire en sorte que cette technologie protège les personnes les plus vulnérables.