מציגים את MentalHealthBench

אנשים פונים לבינה מלאכותית למגוון רחב של שיחות: ניווט במערכת יחסים קשה, התמודדות עם לחצים יומיומיים, תמיכה במישהו שאכפת להם ממנו, או החלטה כיצד לגשת למצב מאתגר. שיחות אלו דורשות דיוק, שיקול דעת מעשי וכבוד ליכולת הפעולה של אנשים. עם יותר ממיליארד אנשים המשתמשים ב-ChatGPT מדי שבוע, המחקר שלנו מתמקד בסיוע למודלים להגיב באכפתיות על פני מגוון רחב של צרכים ולשים את בטיחותם ורווחתם של אנשים במקום הראשון.

רוב ההערכות של בינה מלאכותית בתחום זה התמקדו בעיקר בתרחישי חירום, בהתחשב בחשיבותם לבטיחות, ומודדות הצלחה באמצעות קריטריונים רחבים ומוגדרים מראש. דבר זה הותיר פער בהבנת ביצועי המודלים בכל מגוון השיחות בנושא בריאות הנפש, ובאיזו מידה תגובותיהם עולות בקנה אחד עם הנחיות מומחים לכל סיטואציה, מעבר לשאלה האם הם נמנעים מתגובות אסורות. הערכת האופן שבו מודלים מטפלים במצבים שונים אלה חיונית לבנייה לקראת בינה מלאכותית התומכת באופן פעיל ברווחתם ובבטיחותם ארוכת הטווח של אנשים.

אנו מציגים את MentalHealthBench, מבחן ביצועים פתוח חדש למדידת האופן שבו מערכות בינה מלאכותית מגיבות בשיחות מציאותיות בנושא בריאות הנפש. MentalHealthBench נוצר במשותף עם קבוצה עולמית של יותר מ-80 מומחים מורשים לבריאות הנפש מ-22 מדינות. הוא מעריך את יכולות המודל על פני התנהגויות מרכזיות בבריאות הנפש כמו בטיחות, בירור ההקשר, שמירה על האוטונומיה של המשתמש ומתן הנחיות מעשיות במידת הצורך. אנו משחררים אותו באופן גלוי כדי שחוקרים אחרים יוכלו לבחון את השיטות, לבצע הערכות משלהם ולבנות על העבודה.

תוצאות ב-MentalHealthBench מראות שיפור מתמיד של מערכות בינה מלאכותית בסיוע לאנשים לנווט במצבים של בריאות הנפש. בעוד ש-ChatGPT אינו תחליף לטיפול או לטיפול מקצועי, תובנות מבוססות מומחים עוזרות לנו למדוד את ההתקדמות לקראת מודלים של בינה מלאכותית המסוגלים להגיב באמפתיה, לקדם רווחה ולכוון אנשים לתמיכה בעולם האמיתי, כגון קווי חירום מקומיים⁠(נפתח בחלון חדש) או מישהו שהם סומכים עליו.

שיחות הקשורות לרווחה, עצות לחיים או תרחישים אחרים של בריאות הנפש יכולות להיות שונות מאוד זו מזו מבחינת נושא, דחיפות והקשר תרבותי. MentalHealthBench נועד ללכוד את היקף התרחישים הריאליסטיים הללו ופרסונות המשתמש. באמצעות טכניקות לשמירה על פרטיות, יצרנו שיחות סינתטיות בנושא בריאות הנפש המשקפות במדויק דפוסי שימוש בעולם האמיתי של בינה מלאכותית לבריאות הנפש. חלק מהתרחישים כוללים גם מידע רקע רלוונטי על המשתמש הסינתטי - כגון אובדן משפחתי לאחרונה - כדי שנוכל להעריך האם מודלים משתמשים בהקשר זה כדי להתאים את תגובותיהם כראוי.

MentalHealthBench כולל תרחישים הכוללים מבוגרים, בני נוער, בני משפחה מטפלים וקלינאים, במגוון שפות ואזורים. השיחות משתרעות על פני מגוון תחומי תוכן, ומספקות כיסוי על פני כל ספקטרום החריפות:

• לא חריף -שיחות יומיומיות שעשויות לכלול מרכיבים רגשיים מסוימים.

• חריפות גבוהה- שיחות המצביעות על בעיות בריאותיות נפשיות חמורות יותר או מצוקה משמעותית, אך לא על מצב חירום מיידי.

• מצבי חירום- שיחות הכרוכות בסימנים של מצב חירום בריאותי נפשי או חששות בטיחותיים מיידיים הדורשים תמיכה דחופה בעולם האמיתי.

בהתבסס על עבודתנו הקודמת, המודרכת על ידי קלינאים, עבור HealthBench ו- HealthBench Professional⁠(נפתח בחלון חדש)פיתחנו את⁠(נפתח בחלון חדש) MentalHealthBench בשיתוף פעולה הדוק עם קבוצת המומחים שלנו לבריאות הנפש. קבוצה זו כללה יותר מ-80 פסיכולוגים ופסיכיאטרים מורשים ב-22 מדינות, הדוברים 19 שפות ומייצגים כמעט 20 תת-התמחויות בבריאות הנפש.

המומחים היו אחראים על קריאת כל שיחה סינתטית ויצירת רשימה מפורטת של קריטריוני מחוון כדי להעריך את תגובות המודל להודעת המשתמש האחרונה. כל קריטריון מתמקד בהיבט יחיד של תגובת המודל, כגון שאילת השאלה הנכונה או מתן העצה הטובה ביותר. לכל אחד מהם משקל הנע בין -10 ל-+10: נקודות חיוביות מתגמלות התנהגויות מועילות, בעוד נקודות שליליות מענישות התנהגויות מזיקות, וקריטריונים בעלי ערכים גבוהים יותר מצביעים על חשיבות קלינית גדולה יותר בהקשר של שיחה.

כל שיחה נבדקה על ידי לפחות שלושה מומחים, ושמרנו רק על קריטריונים שהוסכמו על ידי לפחות שני מומחים ולא נסתרו על ידי שלישי. לפיכך, המחוונים הסופיים במבחן משקפים שיקול דעת משותף לגבי האופן שבו מודלים צריכים להגיב בכל הקשר. עבור כל שיחה, אנו משתמשים בכלי ציון אוטומטי, GPT‑5.6 Sol, כדי להעריך את תגובות המודל מול הקריטריונים שנכתבו על ידי המומחים. המאמר מתאר את תהליך הציון ואת הגדרות ההערכה בפירוט.

הערכנו מגוון רחב של מודלים באמצעות MentalHealthBench. התוצאות שלהלן מציגות את ביצועי המודלים האלה על פני מערך הנתונים כולו. ההערכה בודקת אם תגובת המודל מפגינה את כל ההתנהגויות הרצויות שזיהו המומחים בכל תרחיש, תוך הימנעות מהתנהגויות רצויות פחות.

מבחן ההערכה כולל שיחות ברמות חומרה שונות. כך נוכל להבין את ביצועי המודלים הן בתרחישים יומיומיים הקשורים לבריאות הנפש והן במצבי חירום נפשיים דחופים יותר, הדורשים תמיכה בעולם האמיתי.

השיחות במבחן ההערכה מייצגות ארבעה סוגי משתמשים: מבוגרים, בני נוער בגילי 13-17, מטפלים בלתי פורמליים ואנשי מקצוע קליניים. בשיחות עם דמות המתבגר, ציינו במפורש בהודעת מערכת שהמשתמש בגיל 13-17. גישה זו נועדה להתאים למודלים של ספקים שונים, אך ייתכן שאינה משקפת את כל מנגנוני ההגנה המובנים בכל מוצר. שיחות עם דמות המתבגר נבדקו על ידי אנשי מקצוע קליניים בעלי מומחיות בבריאות הנפש של בני נוער, כדי לסייע להעריך אם התגובות מתאימות לצרכים הייחודיים של מתבגרים.

MentalHealthBench מאפשר גם למדוד את התנהגות המודלים מכמה היבטים. אפשר לפרק את הציון הכולל לביצועים בעשרה ממדים של התנהגות המודל בתחום בריאות הנפש. התנהגויות אלו מוגדרות על ידי מומחים לבריאות הנפש ונועדו לשקף דקויות בביצועי המודלים. למודלים עם ציונים כוללים דומים עשויות להיות נקודות חוזק שונות בהתנהגויות האלה.

מדידה מפורטת כזו יכולה לעזור לחוקרים לזהות תחומים לשיפור בהתנהגויות מודל שאפשר להבין ולפרש. למשל, אנו רואים שהיכולת לברר את ההקשר באופן מתאים השתפרה במודלים המתקדמים יותר. שיפורים אלה משקפים את ההשקעה של OpenAI ושל ספקי מודלים אחרים בשיפור האופן שבו מודלים מנהלים שיחות בנושא בריאות הנפש.

לצד MentalHealthBench, ערכנו ניתוח נפרד כדי להשוות בין הנחיות המומחים לבין מה שאנשים מוצאים מועיל בתמיכה באמצעות AI. רצינו לבדוק אם תגובות שקיבלו דירוג גבוה ממומחים עדיין עלולות להיתפס בעיני משתמשים כקרות או לא מועילות. באמצעות השוואת הדירוגים שנתנו המשתמשים והמומחים לתגובות המודלים, והקריטריונים שכתבו, יכולנו לכמת היכן נקודות המבט שלהם תואמות, שונות או משלימות זו את זו. קריטריוני הניקוד הסופיים של מבחן ההערכה מבוססים על הסכמה בין מומחים; הניתוח הנפרד לא שינה אותם.

עבדנו עם 44 מבוגרים שהשתמשו ב־AI לתמיכה בבריאות הנפש או לתמיכה רגשית, וייצגו 16 מדינות ו־14 שפות. המשתתפים דירגו תגובות של מודלים לשיחות סינתטיות וכתבו קריטריונים המתארים כיצד תמיכה מועילה צריכה להיראות. הסקירה שלהם הוגבלה לשיחות ללא מצב חריף, כדי למנוע חשיפה לתכנים העוסקים במצבים חמורים שעלולים לעורר מצוקה.

נקודות המבט של המשתמשים הדגישו תכונות שאנשים מעריכים בתמיכה באמצעות AI, ושזכו לדגש מועט יותר בהנחיות המומחים - במיוחד צעדים מעשיים להמשך וטון התגובה. המומחים שמו דגש רב יותר על איסוף מידע רלוונטי להבנת ההקשר ועל פרשנות זהירה של מצבים עמומים. השוואה זו נותנת לנו תמונה מלאה יותר של מה שאנשים מעריכים בתמיכה ושל הקשר בין העדפות אלה לבין ההנחיות הקליניות.

MentalHealthBench מעניק למומחים, לחוקרים ולמפתחים כלי משותף להערכת תמיכת AI בטוחה ומועילה במגוון מצבים הקשורים לבריאות הנפש. באמצעות פרסומו הפתוח, אנו מזמינים את הקהילה לבחון את שיטותיו, לזהות פערים במודלים קיימים ולפעול לשיפור מודלים עתידיים. שום מבחן הערכה אינו מקיף את כל מה שחשוב בשיחה אישית, אך אנו מקווים ש־MentalHealthBench יעזור להציב רף גבוה יותר לאופן שבו AI תומכת באנשים.

אנו תומכים גם ביוזמות נוספות בתחומי ה־AI ובריאות הנפש, בין היתר באמצעות מענקים למחקרים חדשים, כינוס מומחים יחד עם Partnership on AI⁠(נפתח בחלון חדש), וסיוע ליוזמות עצמאיות משלימות, כגון ההערכה בתחום בריאות הנפש⁠(נפתח בחלון חדש) של Transluce.

לצד מחקר זה, שיפרנו את התגובות של ChatGPT בשיחות רגישות, הרחבנו את הגישה למשאבי סיוע בעת משבר והוספנו את התכונה איש קשר מהימן, כדי לחבר אנשים ברגעי מצוקה למישהו שהם סומכים עליו. השקנו גם את ChatGPT לבני נוער, עם הגנות נוספות למשתמשים צעירים.

MentalHealthBench הוא אחת הדרכים שבהן אנו פועלים לפיתוח AI שעוזרת למיליוני אנשים להתמודד עם רגעים קשים, לחזק את מערכות היחסים שלהם ולחיות חיים בריאים ומספקים יותר.