Amélioration des réponses de ChatGPT lors de conversations sensibles

Nous avons mis à jour il y a peu le modèle par défaut de ChatGPT⁠(ouverture dans une nouvelle fenêtre) pour lui permettre de mieux reconnaître les moments de détresse des utilisateurs et de leur apporter un soutien plus approprié. Dans cet article, nous vous présentons les améliorations que nous avons mis en place et les résultats obtenus. Nous nous sommes entourés d’experts en santé mentale disposant d’une expérience clinique concrète pour apprendre au modèle à mieux reconnaître les signes de détresse, à apaiser les conversations tendues et à guider les utilisateurs vers des professionnels lorsque cela s’avère nécessaire. Nous avons également élargi l’accès aux numéros d’urgence, réacheminé⁠(ouverture dans une nouvelle fenêtre) les conversations sensibles avec d’autres modèles vers des modèles plus sûrs et ajouté des rappels discrets invitant les utilisateurs discutant trop longuement avec ChatGPT à faire des pauses⁠.

Nous sommes convaincus que ChatGPT peut aider ses utilisateurs à faire le point sur leurs sentiments et les encourager à contacter des amis, leur famille ou un professionnel de santé mentale si nécessaire. Les améliorations de la sécurité introduites par la dernière mise à jour du modèle concernent trois axes : 1) problèmes de santé mentale, comme les épisodes psychotiques et maniaques, 2) l’automutilation et le suicide et 3) l’attachement émotionnel à l’IA. Nous ajouterons l’attachement émotionnel à l’IA les urgences de santé mentale hors suicide aux tests de sécurité de base de nos futurs modèles, au même titre que nos indicateurs de sécurité déjà en place pour le suicide et l’automutilation. 

Ces mises à jour s’inscrivent dans le cadre de notre vision du comportement que doivent suivre les modèles, présentée dans notre spécification des modèles⁠(ouverture dans une nouvelle fenêtre). Nous avons mis à jour cette spécification pour clarifier certains de nos objectifs historiques. Ainsi, le modèle doit : encourager et respecter les relations de l’utilisateur dans le monde réel, éviter d’encourager des idées sans fondement potentiellement liées à une détresse mentale ou émotionnelle, répondre de manière sécurisante et empathique aux signes de délire ou d’épisode maniaque, et se montrer plus attentif aux signaux indirects témoignant d’un risque d’automutilation ou de suicide.

Pour optimiser les réponses de ChatGPT en lien avec chacun de nos axes prioritaires, nous procédons en 5 étapes : 

• Définition du problème : nous identifions les différents dangers potentiels.
• Mesure des risques : nous utilisons divers outils, comme des évaluations, des données tirées de conversations du monde réel et des recherches utilisateur, pour comprendre les situations et circonstances à l’origine des risques.
• Validation de notre approche : nous soumettons nos définitions et politiques à des experts indépendants en santé mentale et en sécurité.
• Limitation des risques : nous procédons à un nouvel entraînement du modèle et mettons à jour les garde-fous pour réduire les réponses dangereuses.
• Poursuite de l’évaluation et des itérations : nous confirmons que nos mesures ont amélioré la sécurité et les retravaillons quand c’est nécessaire. 

Dans le cadre de ce processus, nous créons et actualisons régulièrement des guides détaillés (appelés « taxonomies ») qui expliquent les propriétés des conversations sensibles et décrivent les comportements idéaux et indésirables. Ces taxonomies nous aident à apprendre au modèle à répondre de manière plus appropriée et à suivre ses performances avant et après le déploiement. Il en résulte des réponses plus fiables pour les utilisateurs montrant des signes de psychose ou de manie, évoquant des idées suicidaires ou une volonté d’automutilation, ou faisant preuve d’un attachement dangereux au modèle.

Les difficultés psychologiques et émotionnelles sont universelles, il est donc normal que ces thèmes apparaissent parfois dans les conversations avec ChatGPT, d’autant plus que le nombre d’utilisateurs ne cesse de croître. Toutefois, les conversations autour de la santé mentale qui aboutissent à des problèmes de sécurité, comme un épisode psychotique ou maniaque, ou des pensées suicidaires, restent extrêmement rares. En raison de cette rareté, la moindre évolution de notre méthode de mesure peut avoir des conséquences importantes sur les chiffres que nous publions. ¹

Les estimations de prévalence dans le trafic en production que nous présentons ci-dessous sont les meilleures que nous pouvons calculer actuellement. Elles sont susceptibles d’évoluer sensiblement à mesure que nos taxonomies se précisent, que nos méthodes de mesure gagnent en maturité et que les comportements de nos utilisateurs changent. 

En raison de la très faible prévalence de ces conversations, nous ne nous appuyons pas uniquement sur des conversations réelles avec ChatGPT. Nous procédons également à des tests structurés avant le déploiement (appelés « évaluations hors ligne ») qui se concentrent sur les scénarios les plus complexes et à haut risque. Ces évaluations visent un degré de complexité que nos modèles ne maîtrisent pas encore totalement, les exemples étant volontairement choisis pour générer une réponse indésirable. Elles nous montrent ainsi ce que nous pouvons encore améliorer. Elles nous aident aussi à mesurer nos progrès avec plus de précision en se concentrant sur les scénarios difficiles plutôt que sur les scénarios classiques et en notant les réponses sur la base de plusieurs critères de sécurité. Les résultats ci-dessous proviennent d’évaluations conçues pour ne pas générer des performances idéales, et les taux d’erreurs ne sont donc pas représentatifs de ceux du trafic de production moyen.

Pour muscler les garde-fous de nos modèles et mieux comprendre l’utilisation de ChatGPT, nous avons défini plusieurs domaines d’intérêt, puis quantifié leur étendue et étudié les comportements des modèles qui leur sont associés. Dans chacun de ces trois domaines, nous avons constaté des améliorations notables des comportements du modèle en production, à la fois dans les évaluations automatisées et dans les évaluations d’experts en santé mentale indépendants. Nous estimons que le modèle renvoie désormais 65 à 80 % moins souvent des réponses non conformes à nos taxonomies sur divers domaines liés à la santé mentale. 

Notre taxonomie est conçue pour identifier les cas dans lesquels les utilisateurs laissent paraître des signes inquiétants pour leur santé mentale, par exemple des épisode psychotiques et maniaques, ainsi que des signes moins alarmants, comme des délires ponctuels. Nous avons d’abord travaillé sur les épisodes psychotiques et maniaques, car ces symptômes sont relativement courants dans le monde des urgences psychiatriques, et ils tendent à être très intenses et graves. Si des symptômes comme la dépression sont relativement fréquents, leur présentation les plus sérieuses étaient déjà prises en compte par nos mesures visant à prévenir le suicide et l’automutilation. Les professionnels que nous avons consultés ont approuvés nos axes de travail.  

• Nous estimons que la dernière mise à jour de GPT‑5 a réduit de 65 % le taux de réponses non conformes à nos taxonomies, sur le trafic de production récent, dans les conversations complexes liées à la santé mentale. ²
• Comme nous l’avons mentionné précédemment, ces conversations sont difficiles à détecter et évaluer en raison de leur rareté, mais notre analyse initiale a conclu qu’environ 0,07 % des utilisateurs actifs sur une semaine donnée et 0,01 % des messages laissent percevoir des signes potentiels d’urgence psychiatrique liée à un épisode psychotique ou maniaque. ³
• Sur les conversations complexes autour de la santé mentale, nos experts ont constaté que la nouvelle version de GPT‑5 utilisée par défaut par ChatGPT réduisait de 39 % les réponses indésirables par rapport à GPT‑4o (n=677).
• Sur une évaluation portant sur plus de 1 000 conversations complexes autour de la santé mentale, nos nouvelles évaluations automatisées attribuent une note de conformité de 92 % au nouveau modèle GPT‑5, alors que l’ancienne version de GPT‑5 n’était conforme que dans 27 % des cas aux comportements définis par nos taxonomies. Comme indiqué ci-dessus, cette tâche se veut délibérément complexe pour permettre une amélioration continue.

Nous nous sommes appuyés sur nos travaux précédents⁠ sur la prévention du suicide et de l’automutilation pour détecter les situations dans lesquelles un utilisateur pourrait avoir de telles pensées et réunir les signes pouvant témoigner d’une volonté suicidaire. Ces conversations étant rares, la détection des conversation contenant des signes potentiels d’automutilation ou de volonté suicidaire reste un sujet de recherche actif sur lequel nous essayons en permanence de faire mieux. 

• Nous entraînons nos modèles à répondre de manière sûre, notamment en redirigeant nos utilisateurs vers des ressources professionnelles, comme des lignes d’urgence. Dans de rares cas, le modèle peut ne pas se comporter comme attendu dans ces situations sensibles. Après le déploiement de garde-fous supplémentaires et du modèle amélioré, nous avons observé une réduction d’environ 65 % du taux de réponses non conformes au comportement défini par nos taxonomies.
• Comme nous l’avons déjà mentionné, ces conversations sont difficiles à détecter et évaluer de par leur rareté, mais notre première analyse montre qu’environ 0,15 % des utilisateurs actifs sur une semaine donnée ont des discussions avec ChatGPT qui incluent des signes explicites de préparation d’un suicide ou de volonté suicidaire et que 0,05 % des messages contiennent des indicateurs implicites ou explicites d’idées ou de volonté suicidaires.
• Sur les conversations complexes autour de l’automutilation et du suicide, nos experts ont constaté que la nouvelle version de GPT‑5 réduisait de 52 % les réponses indésirables par rapport à GPT‑4o (n=630).
• Sur une évaluation portant sur plus de 1 000 conversations complexes autour du suicide et de l’automutilation, nos nouvelles évaluations automatisées attribuent une note de conformité de 91 % au nouveau modèle GPT‑5, alors que l’ancienne version de GPT‑5 n’était conforme que dans 77 % des cas aux comportements souhaités.
• Nous avons également poursuivi nos travaux sur la fiabilité de GPT‑5 dans les conversations prolongées. Nous avons créé un nouvel ensemble de conversations prolongées complexes ancrées sur des scénarios réels sélectionnés pour leur propension à générer des échecs. Nous estimons que nos modèles les plus récents maintiennent une fiabilité supérieure à 95 % sur les conversations longues, ce qui montre une amélioration sur une problématique particulièrement complexe dont nous avons déjà parlé⁠.

Notre taxonomie consacré à l’attachement émotionnel (qui s’appuie sur nos travaux précédents⁠(ouverture dans une nouvelle fenêtre) dans ce domaine) fait la distinction entre des échanges sains et des habitudes d’utilisation inquiétantes, par exemple lorsqu’un utilisateur montre des signes potentiels d’un attachement exclusif au modèle, aux dépens de relations réelles, de son bien-être ou de ses obligations. 

• Nous estimons que la dernière mise à jour a réduit de 80 % le taux de réponses non conformes à nos taxonomies, sur le trafic de production récent, dans les conversations complexes liées à l’attachement émotionnel. ² 
• Comme nous l’avons mentionné précédemment, ces conversations sont difficiles à détecter et évaluer en raison de leur rareté, mais notre analyse initiale a conclut qu’environ 0,15 % des utilisateurs actifs sur une semaine donnée et 0,03 % des messages laissent percevoir des signes d’un attachement émotionnel fort à ChatGPT. 
• Sur les conversations complexes autour de l’attachement émotionnel, nos experts ont constaté que la nouvelle version de GPT‑5 utilisée par défaut par ChatGPT réduisait de 42 % les réponses indésirables par rapport à GPT‑4o (n=507).
• Sur une évaluation portant sur plus de 1 000 conversations complexes autour de l’attachement émotionnel, nos nouvelles évaluations automatisées attribuent une note de conformité de 97 % au nouveau modèle GPT‑5, alors que l’ancienne version de GPT‑5 n’était conforme que dans 50 % des cas aux comportements souhaités.

Dans les conversations témoignant d’un attachement émotionnel fort, nous apprenons aux modèles à encourager les relations dans le monde réel.

Lors des conversations impliquant des idées délirantes, nous apprenons nos modèles à répondre de manière sûre, empathique et à éviter d’encourager les croyances sans fondement :

Nous avons mis sur pied un réseau international de professionnels de santé réunissant environ 300 médecins et psychologues qui ont exercé dans 60 pays. Nous avons directement mis à profit ce réseau pour éclairer nos recherches en matière de sécurité et réunir des opinions du monde entier. Plus de 170 de ces experts et plus précisément des psychiatres, psychologues et médecins généralistes) ont contribué à nos recherches des derniers mois par les actions suivantes :

• Rédaction de réponses idéales à des prompts liés à la santé mentale
• Analyses personnalisées et basées sur des données cliniques des réponses des modèles
• Évaluation de la sécurité des réponses de différents modèles
• Formulation de recommandations et conseils d’ordre général concernant notre approche

Ces experts ont constaté que le modèle le plus récent répond de manière plus appropriée et cohérente que les versons précédentes. 

Dans le cadre de ces actions, des psychiatres et psychologues ont passé en revue plus de 1 800 réponses de modèle sen lien avec des situations graves liées à la santé mentale et ont comparé les réponses du nouveau modèle GPT‑5 aux modèles précédents. Ces experts ont relevé que le nouveau modèle se montrait bien meilleur que GPT‑4o, avec une réduction des réponses indésirable dans l’ensemble des catégories comprises entre 39 et 52 %. Ces commentaires sur la qualité font écho aux améliorations quantitatives observées dans le trafic en production depuis le lancement du nouveau modèle.

Comme sur tout sujet complexe, les experts ne sont pas toujours d’accord sur ce qui constitue une réponse optimale. Nous mesurons cette variabilité par un score de consensus interne qui correspond à la fréquence à laquelle les experts arrivent à la même conclusion quant à l’adéquation ou la non-adéquation d’une réponse du modèle. Ce score nous permet de mieux identifier les divergences d’opinion des professionnels et de mieux aligner le comportement du modèle sur un jugement clinique valide. Nous avons constaté un consensus élevé des experts évaluant les réponses des modèles liées à la santé mentale, l’attachement émotionnel et le suicide, mais aussi certains désaccords, avec un taux de consensus compris entre 71 et 77 %.

Comme nous l’avons déjà fait pour HealthBench⁠, nous avons collaboré avec notre réseau international de professionnels de santé pour créer des évaluations ciblées que nous utilisons en interne pour évaluer les performances de nos modèles dans le contexte de la santé mentale, y compris pour des modèles encore non déployés. 

Ces actions sont très importantes pour nous et nous tenons à remercier les nombreux experts en santé mentale du monde entier qui nous accompagnent. Nous avons fait de vrais progrès, mais il reste beaucoup à faire. Nous allons continuer à faire évoluer nos taxonomies et les systèmes techniques que nous utilisons pour évaluer le comportement de nos modèles et les rendre plus robustes dans ces domaines et dans d’autres. Ces outils vont évoluer et nos mesures futures ne seront peut-être pas directement comparables aux précédentes. Pour autant, elles forment un indicateur important de la direction que nous prenons et de nos progrès.

Pour en savoir plus sur nos travaux autour de la santé mentale, consultez l’annexe⁠ de la fiche système de GPT‑5.