ChatGPT‑ის პასუხების გაძლიერება სენსიტიურ საუბრებში

ცოტა ხნის წინ განვაახლეთ ChatGPT‑ის ნაგულისხმევი მოდელი⁠(იხსნება ახალ ფანჯარაში), რათა მან უკეთ ამოიცნოს და დაეხმაროს ადამიანებს დისტრესის მომენტებში. დღეს გაგიზიარებთ, როგორ განვახორციელეთ ეს გაუმჯობესებები და როგორ მუშაობს ისინი. ფსიქიკური ჯანმრთელობის ექსპერტებთან თანამშრომლობით, რომლებსაც რეალურ სამყაროში კლინიკური გამოცდილება აქვთ, მოდელს ვასწავლეთ უკეთ ამოიცნოს დისტრესი, შეამციროს დაძაბულობა საუბრებში და, საჭიროების შემთხვევაში, ადამიანები პროფესიონალურ დახმარებამდე მიიყვანოს. ასევე გავაფართოვეთ კრიზისული ცხელი ხაზების ხელმისაწვდომობა, გადავამისამართეთ⁠(იხსნება ახალ ფანჯარაში) სხვა მოდელებიდან დაწყებული სენსიტიური საუბრები უფრო უსაფრთხო მოდელებზე და დავამატეთ რბილი შეხსენებები, რომ შესვენებები აიღონ⁠ ხანგრძლივი სესიების დროს.

გვჯერა, რომ ChatGPT‑ს შეუძლია ადამიანებისთვის მხარდამჭერი სივრცე შექმნას, სადაც ისინი საკუთარ განცდებს გადაამუშავებენ, და საჭიროების შემთხვევაში უბიძგოს, მიმართონ მეგობრებს, ოჯახს ან ფსიქიკური ჯანმრთელობის სპეციალისტს. მოდელის ბოლო განახლებაში ჩვენი უსაფრთხოების გაუმჯობესებები ფოკუსირებულია შემდეგ მიმართულებებზე: 1) ფსიქიკური ჯანმრთელობის საკითხები, როგორიცაა ფსიქოზი ან მანია; 2) თვითდაზიანება და სუიციდი; და 3) AI-ზე ემოციური დამოკიდებულება. მომავალში, სუიციდისა და თვითდაზიანების ჩვენი ხანგრძლივი საბაზისო უსაფრთხოების მეტრიკების გარდა, მომავალი მოდელების გამოშვებებისთვის საბაზისო უსაფრთხოების სტანდარტულ ტესტირებას ვუმატებთ ემოციურ დამოკიდებულებას და არასუიციდურ ფსიქიკური ჯანმრთელობის გადაუდებელ შემთხვევებს. 

ეს განახლებები ეფუძნება ჩვენს არსებულ პრინციპებს იმის შესახებ, თუ როგორ უნდა იქცეოდნენ მოდელები, რაც აღწერილია ჩვენს მოდელის სპეციფიკაციაში⁠(იხსნება ახალ ფანჯარაში). ჩვენ განვაახლეთ მოდელის სპეციფიკაცია, რათა უფრო მკაფიოდ გამოგვეხატა ჩვენი ზოგიერთი ხანგრძლივი მიზანი: მოდელმა უნდა დაუჭიროს მხარი და პატივი სცეს მომხმარებლების რეალურ ურთიერთობებს, თავი აარიდოს დაუდასტურებელი რწმენების დადასტურებას, რომლებიც შესაძლოა ფსიქიკურ ან ემოციურ დისტრესს უკავშირდებოდეს, უსაფრთხოდ და ემპათიურად უპასუხოს შესაძლო ბოდვის ან მანიის ნიშნებს და უფრო ყურადღებით მიაქციოს ყურადღება თვითდაზიანების ან სუიციდის რისკის არაპირდაპირ სიგნალებს.

იმისთვის, რომ ChatGPT‑ის პასუხები თითოეულ პრიორიტეტულ სფეროში გავაუმჯობესოთ, ხუთსაფეხურიან პროცესს მივყვებით: 

• პრობლემის განსაზღვრა - ვადგენთ შესაძლო ზიანის სხვადასხვა ტიპებს.
• მისი გაზომვის დაწყება - გამოვიყენებთ ისეთ ინსტრუმენტებს, როგორიცაა შეფასებები, რეალური საუბრებიდან მიღებული მონაცემები და მომხმარებელთა კვლევა, რათა გავიგოთ, სად და როგორ ჩნდება რისკები.
• ჩვენი მიდგომის ვალიდაცია - ჩვენს განსაზღვრებებსა და პოლიტიკებს გარე ფსიქიკური ჯანმრთელობისა და უსაფრთხოების ექსპერტებთან ერთად ვამოწმებთ.
• რისკების შემცირება - მოდელს პოსტტრენინგს ვუტარებთ და პროდუქტში ინტერვენციებს ვაახლებთ, რათა არაუსაფრთხო შედეგები შევამციროთ.
• გაზომვის გაგრძელება და იტერაცია - ვამოწმებთ, გააუმჯობესა თუ არა უსაფრთხოება მიღებულმა ზომებმა და საჭიროების შემთხვევაში ვიმეორებთ პროცესს. 

ამ პროცესის ფარგლებში ვქმნით და ვხვეწთ დეტალურ სახელმძღვანელოებს (ე.წ. „ტაქსონომიებს“), რომლებიც ხსნის სენსიტიური საუბრების თვისებებს და აჩვენებს, როგორ გამოიყურება მოდელის იდეალური და არასასურველი ქცევა. ეს გვეხმარება, მოდელს უფრო შესაბამისი რეაგირება ვასწავლოთ და მისი შესრულება დანერგვამდე და დანერგვის შემდეგ ვაკვირდეთ. შედეგად ვიღებთ მოდელს, რომელიც უფრო საიმედოდ რეაგირებს იმ მომხმარებლებზე, ვინც ფსიქოზის, მანიის, სუიციდის ან თვითდაზიანების ფიქრების, ან მოდელზე არაჯანსაღი ემოციური მიჯაჭვულობის ნიშნებს ავლენს.

ფსიქიკური ჯანმრთელობის სიმპტომები და ემოციური დისტრესი უნივერსალურად არსებობს ადამიანურ საზოგადოებებში, ხოლო მომხმარებელთა მზარდი ბაზა ნიშნავს, რომ ChatGPT‑ის საუბრების გარკვეული ნაწილი ასეთ სიტუაციებს მოიცავს. თუმცა, ფსიქიკური ჯანმრთელობის ის საუბრები, რომლებიც უსაფრთხოების შეშფოთებას იწვევს — მაგალითად, ფსიქოზი, მანია ან სუიციდური ფიქრები — უკიდურესად იშვიათია. რადგან ისინი ასე იშვიათია, მათი გაზომვის მეთოდში მცირე განსხვავებებმაც კი შეიძლება მნიშვნელოვანი გავლენა იქონიოს იმ რიცხვებზე, რომლებსაც ვაქვეყნებთ. ¹

ქვემოთ მოცემული გავრცელების შეფასებები მიმდინარე პროდუქციულ ტრეფიკში ჩვენი საუკეთესო მიმდინარე შეფასებებია. ისინი შეიძლება მნიშვნელოვნად შეიცვალოს, რადგან ვაგრძელებთ ჩვენი ტაქსონომიების დახვეწას, ჩვენი გაზომვის მეთოდოლოგიები მწიფდება და ჩვენი მომხმარებლების ქცევაც იცვლება. 

შესაბამისი საუბრების ძალიან დაბალი გავრცელების გათვალისწინებით, მხოლოდ ChatGPT‑ის რეალური გამოყენების გაზომვებზე არ ვართ დამოკიდებული. დანერგვამდე ასევე ვატარებთ სტრუქტურირებულ ტესტებს (ე.წ. „ოფლაინ შეფასებებს“), რომლებიც განსაკუთრებით რთულ ან მაღალი რისკის სცენარებზეა ორიენტირებული. ეს შეფასებები ისეა შექმნილი, რომ საკმარისად რთული იყოს და ჩვენმა მოდელებმა მათში ჯერაც ვერ აჩვენონ სრულყოფილი შედეგი, ანუ მაგალითები ადვერსარიულად არის შერჩეული, რათა არასასურველი პასუხების გამოწვევის მაღალი ალბათობა ჰქონდეს. ისინი გვაჩვენებს, სად გვაქვს კიდევ გაუმჯობესების შესაძლებლობა, და გვეხმარება პროგრესი უფრო ზუსტად გავზომოთ რთულ შემთხვევებზე ფოკუსირებით და არა ტიპურებზე, ასევე პასუხების შეფასებით უსაფრთხოების მრავალ პირობასთან მიმართებით. ქვემოთ მოცემულ განყოფილებებში აღწერილი შეფასებების შედეგები მოდის ისეთი შეფასებებიდან, რომლებიც ისეა შექმნილი, რომ თითქმის სრულყოფილ შესრულებაზე არ „გაიჟღინთოს“, და შეცდომების მაჩვენებლები საშუალო პროდუქციული ტრეფიკის წარმომადგენელი არ არის.

იმისთვის, რომ კიდევ უფრო გავაძლიეროთ ჩვენი მოდელების დამცავი მექანიზმები და გავიგოთ, როგორ იყენებენ ადამიანები ChatGPT‑ს, განვსაზღვრეთ რამდენიმე საინტერესო სფერო და დავთვალეთ მათი მასშტაბი და მათთან დაკავშირებული მოდელის ქცევები. ამ სამი სფეროდან თითოეულში ვხედავთ მოდელის ქცევის მნიშვნელოვან გაუმჯობესებას პროდუქციულ ტრეფიკში, ავტომატურ შეფასებებში და დამოუკიდებელი ფსიქიკური ჯანმრთელობის კლინიკოსების მიერ შეფასებულ ტესტებში. ვაფასებთ, რომ ახლა მოდელი ჩვენს ტაქსონომიებში აღწერილ სასურველ ქცევასთან სრულად შეუსაბამო პასუხებს 65%-დან 80%-მდე ნაკლებად აბრუნებს ფსიქიკურ ჯანმრთელობასთან დაკავშირებული სხვადასხვა სფეროში. 

ჩვენი ფსიქიკური ჯანმრთელობის ტაქსონომია შექმნილია იმის ამოსაცნობად, თუ როდის შეიძლება მომხმარებლები მძიმე ფსიქიკური ჯანმრთელობის პრობლემების ნიშნებს ავლენდნენ, როგორიცაა ფსიქოზი და მანია, აგრეთვე ნაკლებად მძიმე სიგნალებს, როგორიცაა იზოლირებული ბოდვები. თავიდან ფსიქოზსა და მანიაზე გავამახვილეთ ყურადღება, რადგან ეს სიმპტომები ფსიქიკური ჯანმრთელობის შედარებით ხშირ გადაუდებელ შემთხვევებს წარმოადგენს და მათი გამოვლინება, როგორც წესი, ძალიან ინტენსიური და სერიოზულია. მიუხედავად იმისა, რომ დეპრესიის მსგავსი სიმპტომები შედარებით ხშირია, მისი ყველაზე მწვავე გამოვლინებები უკვე განიხილებოდა ჩვენი მუშაობის ფარგლებში, რომელიც სუიციდისა და თვითდაზიანების პრევენციას ეხებოდა. კლინიკოსებმა, რომელთაც ვესაუბრეთ, ჩვენი ფოკუსის სფეროები დაადასტურეს.  

• ვაფასებთ, რომ GPT‑5‑ის უახლესმა განახლებამ ახლანდელ პროდუქციულ ტრეფიკში 65%-ით შეამცირა იმ პასუხების წილი, რომლებიც ფსიქიკური ჯანმრთელობის საკითხებთან დაკავშირებულ რთულ საუბრებში ჩვენს ტაქსონომიებში განსაზღვრულ სასურველ ქცევას სრულად არ შეესაბამება. ²
• მიუხედავად იმისა, რომ, როგორც ზემოთ აღვნიშნეთ, ამ საუბრების აღმოჩენა და გაზომვა რთულია მათი იშვიათობის გამო, ჩვენი საწყისი ანალიზით, მოცემულ კვირაში აქტიური მომხმარებლების დაახლოებით 0.07% და შეტყობინებების 0.01% მიუთითებს ფსიქოზთან ან მანიასთან დაკავშირებული ფსიქიკური ჯანმრთელობის გადაუდებელი შემთხვევების შესაძლო ნიშნებზე. ³
• ფსიქიკური ჯანმრთელობის რთულ საუბრებზე ექსპერტებმა დაადგინეს, რომ ახალი GPT‑5 მოდელი — ChatGPT‑ის ნაგულისხმევი მოდელი — არასასურველ პასუხებს GPT‑4o‑სთან შედარებით 39%-ით ამცირებს (n=677).
• მოდელის შეფასებაში, რომელიც 1,000-ზე მეტ რთულ ფსიქიკურ ჯანმრთელობასთან დაკავშირებულ საუბარს მოიცავდა, ჩვენი ახალი ავტომატური შეფასებებით ახალი GPT‑5 მოდელი ჩვენს ტაქსონომიებში განსაზღვრულ სასურველ ქცევებთან 92%-იან შესაბამისობას აჩვენებს, მაშინ როცა წინა GPT‑5 მოდელი 27%-ს აღწევდა. როგორც ზემოთ აღვნიშნეთ, ეს რთული ამოცანაა, რომელიც უწყვეტი გაუმჯობესების შესაძლებლობისთვისაა შექმნილი.

ჩვენ არსებულ მუშაობას⁠ სუიციდისა და თვითდაზიანების პრევენციაზე დავაფუძნეთ და ვცდილობთ, გამოვავლინოთ, როდის შეიძლება მომხმარებელი სუიციდისა და თვითდაზიანების ფიქრებს განიცდიდეს ან ჰქონდეს ისეთი ერთობლივი ნიშნები, რომლებიც სუიციდის ინტერესზე მიანიშნებს. რადგან ასეთი საუბრები ძალიან იშვიათია, თვითდაზიანებისა და სუიციდის შესაძლო ინდიკატორების მქონე საუბრების ამოცნობა კვლავ აქტიური კვლევის სფეროდ რჩება, სადაც უწყვეტად ვმუშაობთ გაუმჯობესებაზე. 

• ჩვენს მოდელებს ვწვრთნით, რომ უსაფრთხოდ უპასუხონ, მათ შორის იმით, რომ ადამიანები პროფესიულ რესურსებთან, მაგალითად კრიზისის დახმარების ხაზებთან, მიმართონ. ზოგ იშვიათ შემთხვევაში მოდელმა შეიძლება ამ სენსიტიურ სიტუაციებში ისე არ მოიქცეს, როგორც გვინდა. დამატებითი დამცავი ზომებისა და გაუმჯობესებული მოდელის გავრცელების შემდეგ დავაკვირდით, რომ ჩვენს ტაქსონომიებში აღწერილ სასურველ ქცევასთან სრულად შეუსაბამო პასუხების სიხშირე სავარაუდოდ 65%-ით შემცირდა.
• მიუხედავად იმისა, რომ, როგორც ზემოთ აღვნიშნეთ, ამ საუბრების აღმოჩენა და გაზომვა რთულია მათი იშვიათობის გამო, ჩვენი საწყისი ანალიზით, მოცემულ კვირაში აქტიური მომხმარებლების დაახლოებით 0.15%-ს აქვს საუბრები, რომლებიც სუიციდის დაგეგმვის ან განზრახვის აშკარა ინდიკატორებს შეიცავს, ხოლო შეტყობინებების 0.05% შეიცავს სუიციდური იდეაციის ან განზრახვის აშკარა ან არაპირდაპირ ინდიკატორებს.
• თვითდაზიანებისა და სუიციდის რთულ საუბრებზე ექსპერტებმა დაადგინეს, რომ ახალი GPT‑5 მოდელი არასასურველ პასუხებს GPT‑4o‑სთან შედარებით 52%-ით ამცირებს (n=630).
• მოდელის შეფასებაში, რომელიც 1,000-ზე მეტ რთულ თვითდაზიანებისა და სუიციდის შესახებ საუბარს მოიცავდა, ჩვენი ახალი ავტომატური შეფასებები ახალ GPT‑5 მოდელს 91%-ით შესაბამისს აფასებს ჩვენს სასურველ ქცევებთან, მაშინ როცა წინა GPT‑5 მოდელი 77%-ს აღწევდა.
• განვაგრძეთ GPT‑5‑ის საიმედოობის გაუმჯობესება ხანგრძლივ საუბრებში. შევქმენით ახალი ნაკრები რთული ხანგრძლივი საუბრებისა, რომელიც რეალურ სცენარებს ეფუძნება და მათი მარცხის უფრო მაღალი ალბათობის გამო შეირჩა. ვაფასებთ, რომ ჩვენმა უახლესმა მოდელებმა ხანგრძლივ საუბრებში 95%-ზე მეტი საიმედოობა შეინარჩუნეს და განსაკუთრებით რთულ გარემოში გააუმჯობესეს შედეგები, რაც ადრეც გვიხსენებია⁠.

ჩვენი ემოციური დამოკიდებულების ტაქსონომია (რაც ამ სფეროში ჩვენს წინა მუშაობას⁠(იხსნება ახალ ფანჯარაში) ეფუძნება) განასხვავებს ჯანსაღ ჩართულობასა და გამოყენების შემაშფოთებელ ნიმუშებს შორის, მაგალითად მაშინ, როცა ვინმე მოდელზე ექსკლუზიური მიჯაჭვულობის შესაძლო ნიშნებს ავლენს რეალური ურთიერთობების, საკუთარი კეთილდღეობის ან ვალდებულებების ხარჯზე. 

• ვაფასებთ, რომ უახლესმა განახლებამ ემოციური დამოკიდებულების ჩვენს ტაქსონომიებში აღწერილ სასურველ ქცევასთან სრულად შეუსაბამო მოდელის პასუხების სიხშირე ახლანდელ პროდუქციულ ტრეფიკში დაახლოებით 80%-ით შეამცირა. 
• მიუხედავად იმისა, რომ, როგორც ზემოთ აღვნიშნეთ, ამ საუბრების აღმოჩენა და გაზომვა რთულია მათი იშვიათობის გამო, ჩვენი საწყისი ანალიზით, მოცემულ კვირაში აქტიური მომხმარებლების დაახლოებით 0.15% და შეტყობინებების 0.03% მიუთითებს ChatGPT‑ზე ემოციური მიჯაჭვულობის პოტენციურად მომატებულ დონეზე. 
• ემოციურ დამოკიდებულებაზე მიმანიშნებელ რთულ საუბრებში ექსპერტებმა დაადგინეს, რომ ახალი GPT‑5 მოდელი არასასურველ პასუხებს 4o-სთან შედარებით 42%-ით ამცირებს (n=507).
• მოდელის შეფასებაში, რომელიც 1,000-ზე მეტ რთულ საუბარს მოიცავდა და ემოციურ დამოკიდებულებაზე მიუთითებდა, ჩვენი ავტომატური შეფასებები ახალ GPT‑5 მოდელს ჩვენს სასურველ ქცევასთან 97%-ით შესაბამისს აფასებს, მაშინ როცა წინა GPT‑5 მოდელი 50%-ს აღწევდა.

საუბრებისთვის, რომლებიც ემოციურ დამოკიდებულებაზე მიუთითებს, ჩვენს მოდელებს ვასწავლით, რომ რეალურ სამყაროში კავშირისკენ წაახალისონ:

საუბრებისთვის, რომლებიც ბოდვით რწმენებს ეხება, ჩვენს მოდელებს ვასწავლით, რომ უსაფრთხოდ და ემპათიურად უპასუხონ და თავი აარიდონ დაუდასტურებელი რწმენების დადასტურებას:

შევქმენით გლობალური ექიმთა ქსელი — თითქმის 300 ექიმისა და ფსიქოლოგის ფართო აუზი, რომლებსაც პრაქტიკა 60 ქვეყანაში ჰქონიათ — რომელსაც უშუალოდ ვიყენებთ ჩვენი უსაფრთხოების კვლევის ინფორმირებისთვის და გლობალური ხედვების წარმოსადგენად. ბოლო რამდენიმე თვის განმავლობაში ამ კლინიკოსებიდან 170-ზე მეტი (კერძოდ ფსიქიატრები, ფსიქოლოგები და პირველადი ჯანდაცვის პრაქტიკოსები) ჩვენს კვლევას ერთით ან რამდენიმე გზით დაეხმარნენ:

• ფსიქიკურ ჯანმრთელობასთან დაკავშირებული მოთხოვნებისთვის იდეალური პასუხების დაწერა
• მოდელის პასუხების ინდივიდუალურად მორგებული, კლინიკურად ინფორმირებული ანალიზების შექმნა
• სხვადასხვა მოდელის პასუხების უსაფრთხოების შეფასება
• ჩვენი მიდგომის შესახებ მაღალი დონის რეკომენდაციებისა და უკუკავშირის მიწოდება

ამ მიმოხილვებში კლინიკოსებმა შენიშნეს, რომ უახლესი მოდელი უფრო შესაბამისად და თანმიმდევრულად პასუხობს, ვიდრე ადრინდელი ვერსიები. 

ამ სამუშაოს ფარგლებში ფსიქიატრებმა და ფსიქოლოგებმა მიმოიხილეს 1,800-ზე მეტი მოდელის პასუხი, რომლებიც ფსიქიკური ჯანმრთელობის მძიმე სიტუაციებს ეხებოდა, და შეადარეს ახალი GPT‑5 ჩატის მოდელის პასუხები წინა მოდელებს. ამ ექსპერტებმა დაადგინეს, რომ ახალი მოდელი GPT‑4o‑სთან შედარებით საგრძნობლად გაუმჯობესებულია: არასასურველი პასუხები ყველა კატეგორიაში 39-52%-ით შემცირდა. ეს ხარისხობრივი უკუკავშირი ეხმიანება იმ რაოდენობრივ გაუმჯობესებებს, რომლებიც პროდუქციულ ტრეფიკში დავინახეთ ახალი მოდელის გაშვებისას.

როგორც ნებისმიერი კომპლექსური თემის შემთხვევაში, ექსპერტებიც კი ზოგჯერ ვერ თანხმდებიან, როგორი უნდა იყოს საუკეთესო პასუხი. ამ განსხვავებას ვზომავთ შემფასებლებს შორის შეთანხმებით — რამდენად ხშირად მიდიან ექსპერტები ერთსა და იმავე დასკვნამდე იმაზე, სასურველია თუ არასასურველი მოდელის პასუხი. ეს გვეხმარება უკეთ გავიგოთ, სად განსხვავდება პროფესიული მოსაზრებები და როგორ შევათანხმოთ მოდელის ქცევა საღ კლინიკურ განსჯასთან. ვხედავთ სამართლიან სანდოობას ექსპერტ კლინიკოსებს შორის, რომლებიც აფასებენ მოდელის პასუხებს ფსიქიკურ ჯანმრთელობაზე, ემოციურ დამოკიდებულებასა და სუიციდზე, თუმცა ზოგ შემთხვევაში ექსპერტებს შორის უთანხმოებაც შეიმჩნევა, ხოლო შეთანხმების მაჩვენებელი 71-77%-ის ფარგლებში მერყეობს.

HealthBench⁠-ზე ჩვენი მუშაობის მსგავსად, გლობალური ექიმთა ქსელთან ვითანამშრომლეთ მიზნობრივი შეფასებების შესაქმნელად, რომლებსაც შიდა გამოყენებისთვის ვიყენებთ ფსიქიკური ჯანმრთელობის კონტექსტებში მოდელის მუშაობის შესაფასებლად, მათ შორის ახალი მოდელების გამოშვებამდე. 

ეს სამუშაო ჩვენთვის ძალიან მნიშვნელოვანია და მადლობელი ვართ ფსიქიკური ჯანმრთელობის იმ მრავალ ექსპერტს მთელი მსოფლიოდან, რომლებიც მის განვითარებას განაგრძობენ. მნიშვნელოვან პროგრესს მივაღწიეთ, მაგრამ ჯერ კიდევ ბევრია გასაკეთებელი. გავაგრძელებთ როგორც ჩვენი ტაქსონომიების, ისე იმ ტექნიკური სისტემების განვითარებას, რომლებსაც ვიყენებთ მოდელის ქცევის გასაზომად და გასაძლიერებლად ამ და მომავალ სფეროებში. რადგან ეს ინსტრუმენტები დროთა განმავლობაში ვითარდება, მომავალი გაზომვები შესაძლოა პირდაპირ შედარებადი არ იყოს წარსულთან, თუმცა ისინი კვლავ მნიშვნელოვან გზად რჩება ჩვენი მიმართულებისა და პროგრესის თვალყურის სადევნებლად.

ამ სამუშაოს შესახებ მეტი შეგიძლიათ წაიკითხოთ GPT‑5‑ის სისტემური ბარათის დანართში⁠.