ขอแนะนำ MentalHealthBench

ผู้คนหันมาใช้ AI เพื่อพูดคุยในหลากหลายเรื่อง ไม่ว่าจะเป็นการรับมือกับความสัมพันธ์ที่ยากลำบาก การจัดการกับความเครียดในชีวิตประจำวัน การช่วยเหลือคนที่ตนห่วงใย หรือการคิดหาวิธีรับมือกับสถานการณ์ที่ท้าทาย บทสนทนาเหล่านี้ต้องอาศัยความถูกต้อง วิจารณญาณที่เหมาะสมกับสถานการณ์ และการเคารพสิทธิของแต่ละคนในการตัดสินใจด้วยตนเอง ในแต่ละสัปดาห์มีผู้ใช้ ChatGPT มากกว่าหนึ่งพันล้านคน งานวิจัยของเราจึงมุ่งพัฒนาให้โมเดลตอบสนองต่อความต้องการที่หลากหลายด้วยความใส่ใจ พร้อมให้ความสำคัญกับความปลอดภัยและสุขภาวะของผู้ใช้เป็นอันดับแรก

ที่ผ่านมา การประเมิน AI ในด้านนี้ส่วนใหญ่มุ่งเน้นสถานการณ์ฉุกเฉินเป็นหลัก เนื่องจากสถานการณ์เหล่านี้มีความสำคัญต่อความปลอดภัย และวัดผลสำเร็จโดยใช้เกณฑ์ในภาพรวมที่กำหนดไว้ล่วงหน้า ด้วยเหตุนี้ เรายังขาดความเข้าใจว่าโมเดลทำงานได้ดีเพียงใดในบทสนทนาด้านสุขภาพจิตที่หลากหลาย และคำตอบของโมเดลสอดคล้องกับแนวทางจากผู้เชี่ยวชาญสำหรับแต่ละสถานการณ์มากน้อยเพียงใด โดยต้องพิจารณามากกว่าแค่ว่าโมเดลหลีกเลี่ยงคำตอบที่ไม่อนุญาตได้หรือไม่ การประเมินว่าโมเดลรับมือกับสถานการณ์ที่แตกต่างกันเหล่านี้อย่างไรเป็นสิ่งสำคัญต่อการพัฒนา AI ที่ช่วยส่งเสริมสุขภาวะและความปลอดภัยของผู้คนในระยะยาวอย่างจริงจัง

เราขอเปิดตัว MentalHealthBench ซึ่งเป็นเกณฑ์มาตรฐานแบบเปิดชุดใหม่สำหรับวัดว่า AI ตอบสนองอย่างไรในบทสนทนาด้านสุขภาพจิตที่ใกล้เคียงกับสถานการณ์จริง MentalHealthBench ได้รับการพัฒนาร่วมกับผู้เชี่ยวชาญด้านสุขภาพจิตที่มีใบอนุญาตประกอบวิชาชีพ 80 คนจาก 22 ประเทศทั่วโลก MentalHealthBench ประเมินความสามารถของโมเดลในพฤติกรรมสำคัญด้านสุขภาพจิต เช่น ความปลอดภัย การสอบถามข้อมูลเพิ่มเติมเพื่อทำความเข้าใจบริบท การเคารพสิทธิของผู้ใช้ในการตัดสินใจด้วยตนเอง และการให้คำแนะนำที่นำไปปฏิบัติได้จริงเมื่อเหมาะสม เราเปิดให้ทุกคนเข้าถึง MentalHealthBench เพื่อให้นักวิจัยรายอื่นสามารถตรวจสอบวิธีการ ทำการประเมินด้วยตนเอง และนำงานนี้ไปต่อยอดได้

ผลการประเมินด้วย MentalHealthBench แสดงให้เห็นถึงพัฒนาการอย่างต่อเนื่องของระบบ AI ในการช่วยผู้คนรับมือกับสถานการณ์ที่เกี่ยวข้องกับสุขภาพจิต แม้ ChatGPT จะไม่สามารถทดแทนการบำบัดหรือการดูแลจากผู้เชี่ยวชาญได้ แต่ข้อมูลเชิงลึกที่ได้จากผู้เชี่ยวชาญช่วยให้เราประเมินความก้าวหน้าในการพัฒนาโมเดล AI ให้สามารถตอบสนองด้วยความเห็นอกเห็นใจ ส่งเสริมสุขภาวะ และช่วยให้ผู้ใช้เข้าถึงความช่วยเหลือที่เหมาะสม เช่น สายด่วนฉุกเฉินในท้องถิ่น⁠(เปิดในหน้าต่างใหม่) หรือบุคคลที่พวกเขาไว้วางใจ

บทสนทนาที่เกี่ยวข้องกับสุขภาวะ การให้คำปรึกษาเรื่องการใช้ชีวิต หรือสถานการณ์ด้านสุขภาพจิตอื่นๆ มีความหลากหลายอย่างมาก ทั้งในแง่ของหัวข้อ ความเร่งด่วน และบริบททางวัฒนธรรม MentalHealthBench ออกแบบมาให้ครอบคลุมสถานการณ์ที่ใกล้เคียงกับความเป็นจริงและผู้ใช้จำลองในรูปแบบที่หลากหลาย เราใช้เทคนิคที่ช่วยคุ้มครองความเป็นส่วนตัวในการสร้างบทสนทนาด้านสุขภาพจิตจำลอง ซึ่งสะท้อนรูปแบบการใช้ AI เพื่อช่วยเหลือด้านสุขภาพจิตที่เกิดขึ้นจริงได้อย่างแม่นยำ ในบางสถานการณ์ เรายังให้ข้อมูลภูมิหลังที่เกี่ยวข้องกับผู้ใช้จำลอง เช่น การสูญเสียคนในครอบครัวเมื่อไม่นานมานี้ เพื่อประเมินว่าโมเดลสามารถนำข้อมูลบริบทเหล่านี้มาปรับคำตอบได้อย่างเหมาะสมหรือไม่

MentalHealthBench ครอบคลุมสถานการณ์ที่เกี่ยวข้องกับผู้ใหญ่ วัยรุ่น ผู้ดูแล และบุคลากรทางการแพทย์ ในหลากหลายภาษาและภูมิภาค บทสนทนาครอบคลุมหัวข้อที่หลากหลาย รวมถึงสถานการณ์ที่มีระดับความเร่งด่วนอย่างครบถ้วนตั้งแต่ระดับต่ำสุดไปจนถึงสูงสุด ดังนี้

• ไม่เร่งด่วน คือ การสนทนาในชีวิตประจําวันที่อาจมีองค์ประกอบทางอารมณ์บางอย่าง

• ระดับความรุนแรงสูง คือ บทสนทนาที่บ่งชี้ถึงปัญหาสุขภาพจิตที่รุนแรงกว่าหรือความเครียดอย่างมาก แต่ไม่ใช่เหตุฉุกเฉินทันที

• ภาวะฉุกเฉิน คือ บทสนทนาที่มีสัญญาณของภาวะฉุกเฉินด้านสุขภาพจิตหรือข้อกังวลด้านความปลอดภัยที่ต้องได้รับความช่วยเหลืออย่างเร่งด่วนจากบุคคลหรือบริการที่เหมาะสม

ต่อยอดจากงานก่อนหน้าของเราใน HealthBench และ HealthBench Professional⁠(เปิดในหน้าต่างใหม่) ซึ่งพัฒนาขึ้นโดยอาศัยข้อมูลจากบุคลากรทางการแพทย์เรา⁠(เปิดในหน้าต่างใหม่)พัฒนา MentalHealthBench โดยความร่วมมืออย่างใกล้ชิดกับกลุ่มผู้เชี่ยวชาญด้านสุขภาพจิตของเรา ซึ่งประกอบด้วยนักจิตวิทยาและจิตแพทย์ที่มีใบอนุญาตประกอบวิชาชีพมากกว่า 80 คนจาก 22 ประเทศ ซึ่งพูดได้ 19 ภาษา และมีความเชี่ยวชาญเฉพาะทางด้านสุขภาพจิตเกือบ 20 สาขา

ผู้เชี่ยวชาญมีหน้าที่อ่านบทสนทนาจำลองแต่ละรายการ และจัดทำเกณฑ์การประเมินโดยละเอียดสำหรับใช้ประเมินคำตอบของโมเดลต่อข้อความล่าสุดของผู้ใช้ เกณฑ์แต่ละข้อจะประเมินคำตอบของโมเดลในประเด็นใดประเด็นหนึ่ง เช่น การตั้งคำถามที่เหมาะสมหรือการให้คำแนะนำที่ดีที่สุดเท่าที่จะเป็นไปได้ เกณฑ์แต่ละข้อมีค่าน้ำหนักตั้งแต่ -10 ถึง +10 โดยพฤติกรรมที่เป็นประโยชน์จะได้รับคะแนนบวก ส่วนพฤติกรรมที่อาจก่อให้เกิดอันตรายจะได้รับคะแนนลบ และเกณฑ์ที่มีค่าน้ำหนักมากกว่าจะสะท้อนถึงความสำคัญทางคลินิกที่สูงกว่าในบริบทของบทสนทนานั้น

บทสนทนาแต่ละรายการได้รับการตรวจสอบโดยผู้เชี่ยวชาญอย่างน้อย 3 คน และจะนำเฉพาะเกณฑ์ที่ผู้เชี่ยวชาญทุกคนเห็นชอบมาใช้ในเกณฑ์มาตรฐานฉบับสมบูรณ์ ดังนั้น เกณฑ์การประเมินฉบับสมบูรณ์ใน MentalHealthBench จึงสะท้อนความเห็นร่วมกันของผู้เชี่ยวชาญว่าโมเดลควรตอบสนองอย่างไรในแต่ละบริบท สำหรับบทสนทนาแต่ละรายการ เราใช้ GPT‑5.6 Sol เป็นระบบให้คะแนนอัตโนมัติเพื่อประเมินคำตอบของโมเดลตามเกณฑ์ที่ผู้เชี่ยวชาญเป็นผู้กำหนด บทความนี้อธิบายกระบวนการให้คะแนนและการตั้งค่าการประเมินอย่างละเอียด

เราประเมินโมเดลหลากหลายรุ่นด้วย MentalHealthBench ผลลัพธ์ด้านล่างแสดงประสิทธิภาพของโมเดลเหล่านี้ในชุดข้อมูลทั้งหมด การประเมินนี้วัดว่าคำตอบของโมเดลแสดงพฤติกรรมที่เหมาะสมตามที่ผู้เชี่ยวชาญกำหนดไว้สำหรับแต่ละสถานการณ์ได้ครบถ้วนหรือไม่ และสามารถหลีกเลี่ยงพฤติกรรมที่ไม่อนุญาตได้หรือไม่

เกณฑ์มาตรฐานครอบคลุมบทสนทนาที่มีระดับความรุนแรงแตกต่างกัน วิธีนี้ช่วยให้เราเข้าใจว่าโมเดลรับมือได้ดีเพียงใด ทั้งกับสถานการณ์ด้านสุขภาพจิตที่พบได้ในชีวิตประจำวัน และภาวะฉุกเฉินด้านสุขภาพจิตที่ต้องได้รับความช่วยเหลือจากบุคคลหรือหน่วยงานในชีวิตจริงอย่างเร่งด่วน

บทสนทนาในเกณฑ์มาตรฐานเป็นตัวแทนของผู้ใช้ 4 กลุ่ม ได้แก่ ผู้ใหญ่ วัยรุ่นอายุ 13–17 ปี ผู้ดูแล และบุคลากรทางการแพทย์ สำหรับบทบาทผู้ใช้จำลองที่เป็นวัยรุ่น เราระบุไว้อย่างชัดเจนผ่านข้อความระบบว่าผู้ใช้มีอายุระหว่าง 13–17 ปี แนวทางนี้สามารถนำไปใช้กับโมเดลจากผู้ให้บริการหลายราย อย่างไรก็ตาม การประเมินอาจไม่ครอบคลุมมาตรการด้านความปลอดภัยทั้งหมดที่แต่ละผลิตภัณฑ์นำมาใช้ บทสนทนาที่มีผู้ใช้จำลองในบทบาทวัยรุ่นได้รับการตรวจสอบโดยบุคลากรทางการแพทย์ที่มีความเชี่ยวชาญด้านสุขภาพจิตของเยาวชน เพื่อช่วยประเมินว่าคำตอบเหมาะสมกับความต้องการเฉพาะของวัยรุ่นหรือไม่

MentalHealthBench ยังช่วยให้ประเมินพฤติกรรมของโมเดลได้ในหลายมิติ โดยสามารถแยกคะแนนรวมออกเป็นผลการประเมินพฤติกรรมของโมเดลด้านสุขภาพจิต 10 มิติ พฤติกรรมเหล่านี้กำหนดโดยผู้เชี่ยวชาญด้านสุขภาพจิต เพื่อให้สามารถประเมินความแตกต่างที่ละเอียดอ่อนในการทำงานของโมเดลได้ ดังนั้น แม้โมเดลจะมีคะแนนรวมใกล้เคียงกัน แต่ก็อาจมีจุดแข็งในแต่ละด้านแตกต่างกัน

การประเมินอย่างละเอียดเช่นนี้ช่วยให้นักวิจัยระบุได้ว่าโมเดลควรพัฒนาในด้านใด โดยพิจารณาจากพฤติกรรมของโมเดลที่สามารถทำความเข้าใจและตีความได้ ตัวอย่างเช่น เราพบว่าโมเดลที่มีความสามารถสูงขึ้นสามารถสอบถามข้อมูลเพิ่มเติมเพื่อทำความเข้าใจบริบทได้อย่างเหมาะสมมากขึ้น การพัฒนาเหล่านี้สะท้อนให้เห็นถึงการลงทุนของ OpenAI และผู้ให้บริการโมเดลรายอื่นๆ เพื่อพัฒนาวิธีที่โมเดลรับมือกับบทสนทนาด้านสุขภาพจิต

นอกจาก MentalHealthBench แล้ว เรายังศึกษาเพิ่มเติมเพื่อดูว่า สิ่งที่ผู้เชี่ยวชาญแนะนำกับสิ่งที่ผู้คนรู้สึกว่า AI ช่วยพวกเขาได้จริงนั้นเหมือนหรือแตกต่างกันอย่างไร เราต้องการตรวจสอบว่า คำตอบที่ผู้เชี่ยวชาญให้คะแนนสูงนั้น ผู้ใช้อาจยังมองว่าเข้าถึงยาก ขาดความใส่ใจ หรือไม่เป็นประโยชน์สำหรับพวกเขาหรือไม่ เรานำทั้งคะแนนที่ผู้ใช้และผู้เชี่ยวชาญให้กับคำตอบของโมเดล รวมถึงเกณฑ์ที่แต่ละฝ่ายเขียนไว้มาเปรียบเทียบกัน เพื่อดูว่ามุมมองของทั้งสองฝ่ายตรงกัน แตกต่างกัน หรือส่งเสริมกันในด้านใดบ้าง ผู้เชี่ยวชาญเป็นผู้ร่วมกันกำหนดเกณฑ์การให้คะแนนฉบับสุดท้ายของเกณฑ์มาตรฐานนี้ โดยการวิเคราะห์เพิ่มเติมส่วนนี้ไม่มีผลต่อเกณฑ์ดังกล่าว

เราร่วมงานกับผู้ใหญ่ 44 คนจาก 16 ประเทศและครอบคลุม 14 ภาษา โดยผู้เข้าร่วมทุกคนมีประสบการณ์ใช้ AI เพื่อขอความช่วยเหลือเกี่ยวกับสุขภาพจิตหรืออารมณ์ พวกเขาให้คะแนนคำตอบของโมเดลต่อบทสนทนาจำลอง พร้อมเขียนเกณฑ์เพื่ออธิบายว่าความช่วยเหลือที่เป็นประโยชน์ควรเป็นอย่างไร การตรวจสอบจำกัดเฉพาะบทสนทนาในสถานการณ์ที่ไม่เร่งด่วน เพื่อไม่ให้ผู้เข้าร่วมต้องเผชิญกับเนื้อหาจากสถานการณ์ที่มีความเร่งด่วนทางคลินิกสูงซึ่งอาจทำให้เกิดความทุกข์ใจ

มุมมองของผู้ใช้ชี้ให้เห็นถึงสิ่งที่ผู้คนให้ความสำคัญในการได้รับความช่วยเหลือจาก AI ซึ่งคำแนะนำจากผู้เชี่ยวชาญให้ความสำคัญน้อยกว่า โดยเฉพาะแนวทางที่นำไปปฏิบัติต่อได้จริงและน้ำเสียงในการสื่อสาร ผู้เชี่ยวชาญให้ความสำคัญมากกว่ากับการรวบรวมบริบทที่เกี่ยวข้องและการตีความสถานการณ์ที่ไม่ชัดเจนอย่างรอบคอบ การเปรียบเทียบนี้ช่วยให้เราเข้าใจได้รอบด้านยิ่งขึ้นว่าผู้คนให้ความสำคัญกับสิ่งใดเมื่อได้รับความช่วยเหลือ และความต้องการเหล่านั้นสัมพันธ์กับแนวทางทางคลินิกอย่างไร

MentalHealthBench เป็นเครื่องมือที่ผู้เชี่ยวชาญ นักวิจัย และนักพัฒนาสามารถใช้ร่วมกันเพื่อประเมินว่า AI ให้ความช่วยเหลือในสถานการณ์ด้านสุขภาพจิตได้อย่างปลอดภัยและเป็นประโยชน์เพียงใด เราเปิด MentalHealthBench ให้สาธารณชนเข้าถึง เพื่อเชิญชวนให้ชุมชนร่วมตรวจสอบวิธีการ ค้นหาจุดที่โมเดลในปัจจุบันยังมีข้อจำกัด และร่วมกันพัฒนาโมเดลในอนาคตให้ดียิ่งขึ้น ไม่มีเกณฑ์มาตรฐานใดที่สามารถครอบคลุมทุกปัจจัยสำคัญในการสนทนาเรื่องส่วนตัวได้ แต่เราหวังว่า MentalHealthBench จะช่วยยกระดับมาตรฐานในการนำ AI มาใช้เพื่อช่วยเหลือผู้คน

เรายังสนับสนุนความพยายามอื่นๆ ในด้าน AI และสุขภาพจิตด้วย ไม่ว่าจะเป็นการมอบทุนสนับสนุนงานวิจัยใหม่ การร่วมกับ Partnership on AI⁠(เปิดในหน้าต่างใหม่) เพื่อเปิดพื้นที่ให้ผู้เชี่ยวชาญได้มาร่วมแลกเปลี่ยนและทำงานร่วมกัน ตลอดจนการสนับสนุนโครงการอิสระอื่นๆ ที่ช่วยเสริมงานในด้านนี้ เช่น การประเมินด้านสุขภาพจิต⁠(เปิดในหน้าต่างใหม่)ของ Transluce

ควบคู่ไปกับงานวิจัยนี้ เราได้ปรับปรุงการตอบกลับของ ChatGPT ในบทสนทนาที่มีความละเอียดอ่อน ขยายช่องทางการเข้าถึงแหล่งความช่วยเหลือในภาวะวิกฤต และเพิ่มผู้ติดต่อที่ไว้ใจได้ เพื่อช่วยให้ผู้ใช้ติดต่อกับคนที่ตนไว้วางใจได้ในช่วงเวลาที่กำลังเผชิญความทุกข์ใจ นอกจากนี้ เรายังเปิดตัว ChatGPT for Teens ซึ่งมาพร้อมมาตรการป้องกันเพิ่มเติมสำหรับผู้ใช้ที่มีอายุน้อย

MentalHealthBench เป็นหนึ่งในแนวทางที่เรานำมาใช้เพื่อพัฒนา AI ให้สามารถช่วยผู้คนหลายล้านคนรับมือกับช่วงเวลาที่ยากลำบาก กระชับความสัมพันธ์กับคนรอบข้าง และใช้ชีวิตอย่างมีสุขภาวะที่ดีและรู้สึกเติมเต็มมากขึ้น