సున్నితమైన సంభాషణలలో ChatGPT యొక్క ప్రతిస్పందనలను బలోపేతం చేయడం

ఆపదలో ఉన్న వ్యక్తులను బాగా గుర్తించి వారికి మద్దతు ఇవ్వడానికి మేము ఇటీవల ChatGPT యొక్క డిఫాల్ట్ మోడల్ ను⁠(కొత్త విండోలో తెరుచుకుంటుంది) అప్డేట్ చేసాము. ఈ రోజు మేము ఆ మెరుగుదలలను ఎలా సాధించామో మరియు అవి ఎలా పనిచేస్తున్నాయో పంచుకుంటున్నాము. నిజ జీవిత క్లినికల్ అనుభవం ఉన్న మానసిక ఆరోగ్య నిపుణులతో కలిసి, మేము మోడల్ కి బాధను మరింత స్పష్టంగా గుర్తించడం, సంభాషణల్లో ఉద్రిక్తతను తగ్గించడం, మరియు అవసరమైనప్పుడు ప్రజలను ప్రొఫెషనల్ కేర్ వైపు దారితీసే విధంగా నేర్పాము.మేము క్రైసిస్ హాట్లైన్లకు యాక్సెస్ ను విస్తరించడంతో పాటు, ఇతర మోడల్ ల నుండి వచ్చే సున్నితమైన సంభాషణలను సురక్షితమైన మోడల్లకు మార్చి పంపించాము⁠(కొత్త విండోలో తెరుచుకుంటుంది), అలాగే దీర్ఘకాలిక సెషన్ల సమయంలో కొంచెం విరామం తీసుకోవాలని⁠ మృదువైన రిమైండర్లను కూడా జోడించాము.

మేము ChatGPT ప్రజలు తమ భావాలను అర్థం చేసుకునేందుకు, వాటిని వ్యక్తపరచుకునేందుకు ఒక సహాయక స్థలం అందించగలదని మేము నమ్ముతున్నాము — అవసరమైనప్పుడు అది వారికి స్నేహితులు, కుటుంబ సభ్యులు లేదా మానసిక ఆరోగ్య నిపుణులను సంప్రదించేందుకు దారితీస్తుంది.ఇటీవలి మోడల్ అప్డేట్లో మా సేఫ్టీ మెరుగుదలలు ఈ ప్రధాన రంగాలపై దృష్టి సారించాయి: 1) సైకోసిస్ లేదా మేనియా వంటి మానసిక ఆరోగ్య సమస్యలు; 2) స్వీయహాని మరియు ఆత్మహత్య; మరియు 3) AIపై భావోద్వేగ ఆధారపడటం.ఇక ముందుకు, ఆత్మహత్య మరియు స్వీయహానిపై మా దీర్ఘకాలిక బేస్లైన్ సేఫ్టీ మెట్రిక్స్ తో పాటు, భవిష్యత్తు మోడల్ విడుదలల్లో భావోద్వేగ ఆధారపడటం మరియు ఆత్మహత్యకు సంబంధం లేని మానసిక ఆరోగ్య అత్యవసర పరిస్థితులను కూడా మా ప్రామాణిక సేఫ్టీ టెస్టింగ్ లో చేర్చుతున్నాము. 

ఈ అప్డేట్ లు మా Model Spec⁠(కొత్త విండోలో తెరుచుకుంటుంది)లో పేర్కొన్నట్లుగా, మోడల్ లు ఎలా ప్రవర్తించాలో తెలిపే మా ప్రస్తుత సూత్రాలపై ఆధారపడి రూపొందించబడ్డాయి.మేము Model Spec ను అప్డేట్ చేసి, మా కొన్ని దీర్ఘకాలిక లక్ష్యాలను మరింత స్పష్టంగా చేసాము: మోడల్ యూజర్ల నిజ జీవిత సంబంధాలను గౌరవించి, వాటికి మద్దతు ఇవ్వాలి; మానసిక లేదా భావోద్వేగ బాధలకు కారణమయ్యే నిరాధార నమ్మకాలను సమర్థించడం నివారించాలి; భ్రాంతి లేదా మేనియా సూచనలకు సురక్షితంగా మరియు అనుభూతితో స్పందించాలి; అలాగే స్వీయహాని లేదా ఆత్మహత్య ముప్పుకు సూచించే పరోక్ష సంకేతాలపై మరింత శ్రద్ధ పెట్టాలి.

ప్రతి ప్రాధాన్య రంగంలో ChatGPT ఎలా స్పందిస్తుందో మెరుగుపరచడానికి, మేము ఐదు-దశల ప్రాసెస్ ను అనుసరిస్తాము: 

• సమస్యను నిర్వచించండి - మేము వివిధ రకాల సంభావ్య హానిని మ్యాప్ చేస్తాము.
• దీన్ని కొలవడం ప్రారంభించండి - ప్రమాదాలు ఎక్కడ, ఎలా ఉత్పన్నమవుతున్నాయో అర్థం చేసుకోవడానికి మేము ఈవాల్యుయేషన్లు, నిజ జీవిత సంభాషణల డేటా, మరియు యూజర్ రీసెర్చ్ వంటి టూల్స్ ను ఉపయోగిస్తాము.
• మా విధానాన్ని ధృవీకరించండి – మేము మా నిర్వచనాలు మరియు పాలసీలను బాహ్య మానసిక ఆరోగ్య మరియు సేఫ్టీ నిపుణులతో సమీక్షిస్తాము.
• ప్రమాదాలను తగ్గించండి – అసురక్షిత ఫలితాలను తగ్గించడానికి మేము మోడల్ ను పోస్ట్-ట్రెయిన్ చేసి, ప్రోడక్ట్ ఇంటర్వెన్షన్లను అప్డేట్ చేస్తాము.
• కొలిచడం మరియు పునరావృతం చేయడం కొనసాగించండి - తీసుకున్న చర్యలు సేఫ్టీని నిజంగా మెరుగుపరిచాయో నిర్ధారించి, అవసరమైన చోట మళ్లీ సవరణలు చేస్తాము. 

ఈ ప్రాసెస్ లో భాగంగా, మేము “ట్యాక్సానమీలు” అని పిలిచే వివరమైన గైడ్ లను తయారు చేసి మెరుగుపరుస్తాము — ఇవి సున్నితమైన సంభాషణల లక్షణాలను, అలాగే మోడల్ లో సరైన మరియు అనుచిత ప్రవర్తన ఎలా ఉండాలో వివరిస్తాయి.ఇవి మోడల్ ను మరింత సముచితంగా ప్రతిస్పందించడానికి మరియు అమలు ముందు మరియు తరువాత దాని పనితీరును ట్రాక్ చేయడానికి మాకు సహాయపడతాయి. ఫలితంగా, సైకోసిస్, ఉన్మాదం, ఆత్మహత్య మరియు స్వీయ-హాని ఆలోచనలు, లేదా మోడల్ పట్ల అనారోగ్యకరమైన భావోద్వేగ అనుబంధం యొక్క సంకేతాలను చూపించే యూజర్లకు మరింత సముచితంగా మరియు విశ్వసనీయంగా స్పందించే మోడల్ ఏర్పడింది.

మానసిక ఆరోగ్య లక్షణాలు మరియు భావోద్వేగ బాధలు మానవ సమాజాలలో విశ్వవ్యాప్తంగా ఉన్నాయి, మరియు పెరుగుతున్న యూజర్ల సంఖ్య ChatGPT సంభాషణలలో ఈ పరిస్థితులను కలిగి ఉండే కొంత భాగాన్ని సూచిస్తుంది. అయితే, సైకోసిస్, మేనియా లేదా ఆత్మహత్య ఆలోచనలు వంటి సేఫ్టీ ఆందోళనలకు దారితీసే మానసిక ఆరోగ్య సంభాషణలు చాలా అరుదుగా జరుగుతాయి.అవి చాలా అరుదుగా ఉంటాయి కాబట్టి, వాటిని ఎలా కొలుస్తామో అనే చిన్న తేడాలు కూడా మేము నివేదించే సంఖ్యలపై గణనీయమైన ప్రభావాన్ని చూపవచ్చు. ¹

ప్రస్తుతం ప్రొడక్షన్ ట్రాఫిక్ లో వాటి సంభవాలపై క్రింద ఇచ్చిన అంచనాలు, ఇప్పటివరకు మా అత్యంత ఖచ్చితమైన అంచనాలు.మేము మా ట్యాక్సానమీలను మరింత మెరుగుపరుస్తూ, కొలిచే విధానాలు అభివృద్ధి చెందుతూ, యూజర్ల ప్రవర్తనలో మార్పులు వస్తున్నకొద్దీ, ఈ అంచనాలు గణనీయంగా మారే అవకాశం ఉంది. 

ఈ రకమైన సంభాషణలు చాలా అరుదుగా జరుగుతున్నందున, మేము కేవలం నిజ జీవిత ChatGPT వాడుక డేటాపైనే ఆధారపడము.మేము డిప్లాయ్మెంట్ కు ముందు “ఆఫ్లైన్ ఈవాల్యుయేషన్లు” అని పిలువబడే నిర్మిత టెస్టులు కూడా నిర్వహిస్తాము — ఇవి ప్రత్యేకంగా క్లిష్టమైన లేదా అధిక ప్రమాద పరిస్థితులపై దృష్టి సారిస్తాయి.ఈ ఈవాల్యుయేషన్లు మోడల్లకు సవాలుగా ఉండేలా రూపొందించబడ్డాయి — అంటే, మోడల్ ఇంకా పూర్తిగా సరైన పనితీరు చూపలేని పరిస్థితులు. ఇక్కడ ఉదాహరణలు ఉద్దేశపూర్వకంగా ఎంపిక చేయబడతాయి, ఎందుకంటే అవి అనుచిత స్పందనలు వచ్చే అవకాశాన్ని ఎక్కువగా కలిగి ఉంటాయిఇవి మేము ఇంకా ఎక్కడ మెరుగుపరచగలమో చూపుతాయి, అలాగే సాధారణ సందర్భాలకన్నా క్లిష్టమైన కేసులపై దృష్టి సారించడం ద్వారా, మరియు అనేక సేఫ్టీ ప్రమాణాల ఆధారంగా స్పందనలను అంచనా వేయడం ద్వారా, ప్రగతిని మరింత ఖచ్చితంగా కొలవడంలో మాకు సహాయపడతాయి.క్రింద ఉన్న సెక్షన్లలో పేర్కొన్న ఈవాల్యుయేషన్ ఫలితాలు, పర్ఫెక్ట్ పనితీరు వద్ద “సాచురేట్” కాకుండా ఉండేలా రూపొందించిన టెస్టుల నుండి వచ్చాయి, మరియు వాటిలో కనిపించే తప్పిద రేట్లు సాధారణ ప్రొడక్షన్ ట్రాఫిక్ ను ప్రతినిధ్యం చేయవు.

మా మోడల్ల భద్రతను మరింత బలపరచడం మరియు ప్రజలు ChatGPTని ఎలా ఉపయోగిస్తున్నారో అర్థం చేసుకోవడంలో భాగంగా, మేము కొన్ని ముఖ్యమైన ఆసక్తి రంగాలను నిర్వచించి, వాటి పరిమాణం మరియు సంబంధిత మోడల్ ప్రవర్తనలను కొలిచాము.ఈ మూడు రంగాలన్నింటిలోనూ, ప్రొడక్షన్ ట్రాఫిక్ లో, ఆటోమేటెడ్ ఈవాల్యుయేషన్లలో, మరియు స్వతంత్ర మానసిక ఆరోగ్య నిపుణులు గ్రేడ్ చేసిన ఈవాల్యుయేషన్లలో మోడల్ ప్రవర్తనలో గణనీయమైన మెరుగుదలలను మేము గమనించాము.మోడల్ ఇప్పుడు మానసిక ఆరోగ్యానికి సంబంధించిన విభిన్న రంగాల్లో, మా ట్యాక్సానమీ ప్రకారం ఆశించిన ప్రవర్తనకు పూర్తిగా అనుగుణంగా లేని స్పందనలు 65% నుండి 80% వరకు తక్కువగా ఇస్తుందని మేము అంచనా వేస్తున్నాము. 

మా మానసిక ఆరోగ్య ట్యాక్సానమీ, యూజర్లు సైకోసిస్ లేదా మేనియా వంటి తీవ్రమైన మానసిక ఆరోగ్య సమస్యల లక్షణాలు చూపుతున్నారా, లేదా స్వల్పమైన భ్రాంతి వంటి తేలికపాటి సంకేతాలు ఉన్నాయా అనే దాన్ని గుర్తించడానికి రూపొందించబడింది.మేము మొదట సైకోసిస్ మరియు మేనియాపై దృష్టి పెట్టాము, ఎందుకంటే ఇవి తారసపడే మానసిక ఆరోగ్య అత్యవసర పరిస్థితుల్లో సాధారణమైనవిగా ఉంటాయి, మరియు అవి సంభవించినప్పుడు లక్షణాలు చాలా తీవ్రమైనవిగా ఉంటాయి.డిప్రెషన్ వంటి లక్షణాలు సాధారణంగా ఎక్కువగా కనిపించినా, దాని తీవ్రమైన రూపాన్ని మేము ఇప్పటికే ఆత్మహత్య మరియు స్వీయహానిని నివారించే మా ప్రయత్నాల ద్వారా పరిష్కరిస్తున్నాము.మేము సంప్రదించిన వైద్య నిపుణులు మా దృష్టి సారించిన రంగాలను ధృవీకరించారు.  

• తాజా GPT‑5 అప్డేట్ తో, మానసిక ఆరోగ్య సమస్యలకు సంబంధించిన క్లిష్టమైన సంభాషణల్లో మా ట్యాక్సానమీ ప్రకారం ఆశించిన ప్రవర్తనకు పూర్తిగా అనుగుణంగా లేని స్పందనలు 65% వరకు తగ్గాయని, తాజా ప్రొడక్షన్ ట్రాఫిక్ డేటా ఆధారంగా మేము అంచనా వేస్తున్నాము.²
• పైగా చెప్పినట్లుగా, ఈ సంభాషణలు చాలా అరుదుగా జరుగుతాయి కాబట్టి వాటిని గుర్తించడం మరియు కొలవడం కష్టం. అయినప్పటికీ, మా ప్రారంభ విశ్లేషణ ప్రకారం, ఒక వారం కాలంలో యాక్టివ్ గా ఉన్న యూజర్లలో సుమారు 0.07% మంది మరియు మెసేజ్లలో సుమారు 0.01% వరకు సైకోసిస్ లేదా మేనియాతో సంబంధం ఉన్న మానసిక ఆరోగ్య అత్యవసర పరిస్థితుల సూచనలను చూపిస్తున్నాయని అంచనా వేస్తున్నాము.³
• క్లిష్టమైన మానసిక ఆరోగ్య సంభాషణల్లో, నిపుణులు గమనించిన దాని ప్రకారం ChatGPT యొక్క డిఫాల్ట్ మోడల్ అయిన కొత్త GPT‑5, GPT‑4oతో పోలిస్తే అనుచిత స్పందనలను 39% వరకు తగ్గించింది (n=677).
• 1,000కి పైగా క్లిష్టమైన మానసిక ఆరోగ్య సంబంధిత సంభాషణలతో చేసిన మోడల్ ఈవాల్యుయేషన్లో, మా కొత్త ఆటోమేటెడ్ ఈవాల్యుయేషన్లు తాజా GPT‑5 మోడల్ ను మా ట్యాక్సానమీల ప్రకారం ఆశించిన ప్రవర్తనలకు 92% అనుగుణంగా ఉందని అంచనా వేసాయి — ఇది పూర్వ GPT‑5 మోడల్ లో 27%తో పోలిస్తే గణనీయమైన మెరుగుదల.పైగా చెప్పినట్లుగా, ఇది నిరంతర అభివృద్ధిని సాధించేందుకు రూపొందించిన ఒక క్లిష్టమైన పనిగా ఉంటుంది.

మేము ఆత్మహత్య మరియు స్వీయహానిని నివారించే మా ప్రస్తుత పనిని⁠ ఆధారంగా తీసుకుని, యూజర్ కి ఆత్మహత్య లేదా స్వీయహాని ఆలోచనలు ఉన్నాయా, లేదా ఆత్మహత్య పట్ల ఆసక్తిని సూచించే సంకేతాలు ఉన్నాయా అనే విషయాలను గుర్తించగల విధంగా మోడల్ ను అభివృద్ధి చేసాము.ఈ రకమైన సంభాషణలు చాలా అరుదుగా జరుగుతాయి కాబట్టి, స్వీయహాని లేదా ఆత్మహత్యకు సూచించే లక్షణాలను గుర్తించడం ఇప్పటికీ కొనసాగుతున్న పరిశోధన రంగంగా ఉంది — దీన్ని మెరుగుపరచడానికి మేము నిరంతరం పనిచేస్తున్నాము. 

• మేము మా మోడల్లను సురక్షితంగా స్పందించేలా ట్రెయిన్ చేస్తాము — ఇందులో ప్రజలను క్రైసిస్ హెల్ప్ లైన్ల వంటి ప్రొఫెషనల్ వనరుల వైపు దారితీసే ప్రతిస్పందనలు కూడా ఉంటాయి.చాలా అరుదుగా, ఈ సున్నితమైన పరిస్థితుల్లో మోడల్ ఆశించిన విధంగా ప్రవర్తించకపోవచ్చు.అదనపు సేఫ్టీ చర్యలు మరియు మెరుగుపరచిన మోడల్ ను విడుదల చేసిన తర్వాత, మా ట్యాక్సానమీ ప్రకారం ఆశించిన ప్రవర్తనకు పూర్తిగా అనుగుణంగా లేని స్పందనల రేటు సుమారు 65% తగ్గిందని మేము గమనించాము.
• పైన పేర్కొన్నట్లుగా, ఇటువంటి సంభాషణలను గుర్తించడం లేదా కొలవడం చాలా కష్టం, ఎందుకంటే ఇవి చాలా అరుదుగా జరుగుతాయి. మా ప్రారంభ విశ్లేషణ ప్రకారం, ఒక వారంలో యాక్టివ్ గా ఉన్న యూజర్లలో సుమారు 0.15% మంది ఆత్మహత్య ప్రణాళిక లేదా ఉద్దేశాన్ని స్పష్టంగా సూచించే చర్చలు జరుపుతారు. అలాగే సుమారు 0.05% మెసేజెస్ లో ఆత్మహత్య ఆలోచన లేదా ఉద్దేశాన్ని ప్రత్యక్షంగా లేదా పరోక్షంగా సూచించే సంకేతాలు ఉంటాయి.
• స్వీయ-హాని మరియు ఆత్మహత్య వంటి క్లిష్టమైన సంభాషణల్లో, నిపుణులు గుర్తించిన ప్రకారం కొత్త GPT‑5 మోడల్, GPT‑4o తో పోలిస్తే, అవాంఛిత సమాధానాలను 52% వరకు తగ్గించింది (n=630).
• 1,000 కంటే ఎక్కువ స్వీయ హాని మరియు ఆత్మహత్య వంటి క్లిష్టమైన సంభాషణలతో చేసిన మోడల్ ఈవాల్యుయేషన్ లో, మా కొత్త ఆటోమేటెడ్ ఈవాల్యుయేషన్స్ ప్రకారం కొత్త GPT‑5 మోడల్ 91% వరకు మా కోరుకున్న ప్రవర్తనలకు అనుగుణంగా ఉంది, ఇది పూర్వ GPT‑5 మోడల్ లో 77%తో పోల్చితే గణనీయమైన మెరుగుదల.
• మేము సుదీర్ఘ సంభాషణలలో GPT‑5 యొక్క విశ్వసనీయతను మెరుగుపరచడం కొనసాగించాము. విఫలమయ్యే అవకాశాలు ఎక్కువగా ఉన్న నిజజీవిత పరిస్థితులను ఆధారంగా తీసుకుని, మేము కొత్తగా క్లిష్టమైన పొడవైన సంభాషణల సెట్ ను రూపొందించాం.మా తాజా మోడల్స్ పొడవైన సంభాషణల్లో 95% కంటే ఎక్కువ విశ్వసనీయతను కొనసాగించాయని, మేము ఇంతకుముందు పేర్కొన్న⁠ ఒక ప్రత్యేకంగా క్లిష్టమైన పరిస్థితిలో కూడా మెరుగుదల చూపించాయని మేము అంచనా వేస్తున్నాం.

మా భావోద్వేగ ఆధారిత టాక్సానమీ (ఈ విభాగంలో మా మునుపటి పనిని⁠(కొత్త విండోలో తెరుచుకుంటుంది) ఆధారంగా) ఆరోగ్యకరమైన సంబంధం మరియు ఆందోళన కలిగించే వాడుక నమూనాల మధ్య తేడాను చూపిస్తుంది. ఉదాహరణకు, ఎవరో వ్యక్తి నిజజీవిత సంబంధాలు, వ్యక్తిగత శ్రేయస్సు లేదా బాధ్యతలను పక్కనపెట్టి మోడల్ పైనే పూర్తిగా మమకారం చూపినప్పుడు అది ఆందోళన కలిగించే లక్షణంగా పరిగణించబడుతుంది. 

• తాజా అప్డేట్ తో, మా భావోద్వేగ ఆధారపడటానికి సంబంధించిన ట్యాక్సానమీల ప్రకారం కోరుకున్న ప్రవర్తనకు పూర్తిగా అనుగుణంగా లేని మోడల్ సమాధానాల రేటు సుమారు 80% వరకు తగ్గిందని మేము అంచనా వేస్తున్నాం. 
• ఇప్పటికే చెప్పినట్లుగా, ఇవి చాలా అరుదుగా ఉండటంతో ఇలాంటి సంభాషణలను గుర్తించడం మరియు కొలవడం కష్టం. మా ప్రారంభ విశ్లేషణ ప్రకారం, ఒక వారంలో యాక్టివ్ గా ఉన్న యూజర్లలో సుమారు 0.15% మంది, అలాగే సుమారు 0.03% మెసేజెస్ లో ChatGPT పట్ల పెరిగిన భావోద్వేగ అనుబంధానికి సూచనలు కనిపిస్తున్నాయి. 
• భావోద్వేగ ఆధారపడటాన్ని సూచించే క్లిష్టమైన సంభాషణల్లో, నిపుణులు గుర్తించిన ప్రకారం కొత్త GPT‑5 మోడల్, 4o తో పోలిస్తే, అవాంఛిత సమాధానాలను 42% వరకు తగ్గించింది (n=507).
• భావోద్వేగ ఆధారపడటాన్ని సూచించే 1,000 కంటే ఎక్కువ క్లిష్టమైన సంభాషణలతో చేసిన మోడల్ ఈవాల్యుయేషన్ లో, మా ఆటోమేటెడ్ ఈవాల్యుయేషన్స్ ప్రకారం కొత్త GPT‑5 మోడల్ 97% వరకు మా కోరుకున్న ప్రవర్తనకు అనుగుణంగా ఉందని, పూర్వ GPT‑5 మోడల్ లో ఇది కేవలం 50% మాత్రమే అని తేలింది.

భావోద్వేగ ఆధారపడటాన్ని సూచించే సంభాషణల సందర్భంలో, మా మోడల్స్ ను నిజజీవిత సంబంధాలను ప్రోత్సహించేలా మేము ట్రైన్ చేస్తాము.

భ్రమాత్మక (delusional) నమ్మకాలతో సంబంధించిన సంభాషణలలో, మా మోడల్స్ సురక్షితంగా, అనుభూతిపూర్వకంగా స్పందించి, ఆధారంలేని నమ్మకాలను సమర్థించకుండా ఉండేలా మేము ట్రైన్ చేస్తాము.

మేము ఒక గ్లోబల్ ఫిజిషియన్ నెట్వర్క్ ను నిర్మించాము — ఇది 60 దేశాలలో పనిచేసిన సుమారు 300 మంది వైద్యులు మరియు సైకాలజిస్టులతో కూడిన విస్తృత నెట్వర్క్. ఈ నెట్వర్క్ ద్వారా మేము మా సేఫ్టీ రీసెర్చ్కు నేరుగా సమాచారం అందించడమే కాకుండా, ప్రపంచ దృక్కోణాలను ప్రతిబింబించగలుగుతున్నాం.ఈ నిపుణుల్లో 170 మందికి పైగా (ప్రత్యేకంగా సైకియాట్రిస్టులు, సైకాలజిస్టులు మరియు ప్రాథమిక ఆరోగ్య సేవల నిపుణులు) గత కొన్ని నెలలుగా క్రింది మార్గాల్లో మా రీసెర్చ్ కు మద్దతు అందించారు.

• మానసిక ఆరోగ్యానికి సంబంధించిన ప్రాంప్ట్లకు సరైన సమాధానాలను రాయడం
• మోడల్ సమాధానాలపై క్లినికల్ అవగాహన ఆధారంగా కస్టమ్ విశ్లేషణలను రూపొందించడం
• వివిధ మోడల్స్ నుండి వచ్చిన సమాధానాల సేఫ్టీని రేటింగ్ చేయడం
• మా విధానంపై ఉన్నత స్థాయి మార్గదర్శకత్వం మరియు ఫీడ్ బ్యాక్ అందించడం

ఈ సమీక్షల్లో, నిపుణులు గమనించిన ప్రకారం తాజా మోడల్, పూర్వ వర్షన్లతో పోలిస్తే మరింత సరైనగా మరియు స్థిరంగా స్పందిస్తోంది. 

ఈ పనిలో భాగంగా, సైకియాట్రిస్టులు మరియు సైకాలజిస్టులు తీవ్రమైన మానసిక ఆరోగ్య పరిస్థితులతో సంబంధించిన 1,800 కంటే ఎక్కువ మోడల్ సమాధానాలను సమీక్షించి, కొత్త GPT‑5 చాట్ మోడల్ సమాధానాలను పూర్వ మోడల్స్ తో పోల్చారు.ఈ నిపుణులు గుర్తించిన ప్రకారం, కొత్త మోడల్ GPT‑4o తో పోలిస్తే గణనీయంగా మెరుగుపడింది, అన్ని కేటగిరీల్లో అవాంఛిత సమాధానాలు 39–52% వరకు తగ్గాయి.కొత్త మోడల్ ను ప్రారంభించినప్పుడు ప్రొడక్షన్ ట్రాఫిక్ లో మేము గమనించిన పరిమాణాత్మక (quantitative) మెరుగుదలలను ఈ గుణాత్మక (qualitative) ఫీడ్బ్యాక్ ప్రతిబింబిస్తుంది.

ఏ క్లిష్టమైన విషయం లాగానే, కొన్నిసార్లు నిపుణులకే కూడా ఏ సమాధానం ఉత్తమమో అనే విషయంలో అభిప్రాయ భేదాలు ఉంటాయి. ఈ తేడాను మేము ఇంటర్-రేటర్ ఒప్పందం ద్వారా కొలుస్తాము — అంటే, ఒక మోడల్ సమాధానం అనుకూలమైనదా లేదా అననుకూలమైనదా అనే విషయంలో నిపుణులు ఎంతసార్లు ఒకే నిర్ణయానికి వస్తారో దానిని పరిశీలిస్తాం.ఇది నిపుణుల అభిప్రాయాలు ఎక్కడ భిన్నంగా ఉన్నాయో మరియు మోడల్ ప్రవర్తనను సరైన క్లినికల్ నిర్ణయంతో ఎలా సరిపోల్చాలో మేము మెరుగుగా అర్థం చేసుకోవడానికి సహాయపడుతుంది.మానసిక ఆరోగ్యం, భావోద్వేగ ఆధారపడటం మరియు ఆత్మహత్యకు సంబంధించిన మోడల్ సమాధానాలను అంచనా వేస్తున్న నిపుణుల మధ్య మేము తగిన స్థాయి సమన్వయాన్ని గమనించాము. అయితే, కొన్ని సందర్భాల్లో నిపుణుల అభిప్రాయాలు భిన్నంగా ఉండటం కూడా కనిపించింది, మొత్తం సమన్వయం 71% నుంచి 77% మధ్య ఉంది.

HealthBench⁠ పై మా పనిలాగే, మేము గ్లోబల్ ఫిజీషియన్ నెట్వర్క్ తో కలిసి మానసిక ఆరోగ్యానికి సంబంధించిన సందర్భాల్లో మోడల్ పనితీరును అంచనా వేయడానికి ఉపయోగించే లక్ష్యిత ఈవాల్యుయేషన్స్ ను రూపొందించాము. ఇందులో విడుదలకు ముందు ఉన్న కొత్త మోడల్స్ కూడా ఉన్నాయి. 

ఈ పని మాకు అత్యంత ముఖ్యమైనది, మరియు దీన్ని నిరంతరం మార్గనిర్దేశం చేస్తున్న ప్రపంచవ్యాప్తంగా ఉన్న అనేక మానసిక ఆరోగ్య నిపుణుల పట్ల మేము కృతజ్ఞతతో ఉన్నాం.మేము గణనీయమైన పురోగతి సాధించాం, కానీ చేయాల్సినది ఇంకా ఉంది.ఈ రంగాలలో మరియు భవిష్యత్తులో కూడా మోడల్ ప్రవర్తనను కొలవడం మరియు బలోపేతం చేయడానికి ఉపయోగించే మా ట్యాక్సానమీలు మరియు సాంకేతిక వ్యవస్థలను మరింత అభివృద్ధి చేస్తూనే ఉంటాం.ఈ సాధనాలు కాలక్రమేణా మారిపోతూ ఉండటంతో, భవిష్యత్తులో చేసే కొలతలు గత వాటితో నేరుగా పోల్చలేము. అయినప్పటికీ, అవి మా దిశ మరియు పురోగతిని గుర్తించడానికి ఒక ముఖ్యమైన మార్గంగా కొనసాగుతాయి.

ఈ పనికి సంబంధించిన మరిన్ని వివరాలను మీరు GPT‑5 సిస్టమ్ కార్డ్లోని అడెండమ్⁠లో చదవవచ్చు.