Giới thiệu MentalHealthBench

Mọi người tìm đến AI cho nhiều loại cuộc trò chuyện: giải quyết những khó khăn trong mối quan hệ, vượt qua căng thẳng thường ngày, hỗ trợ người thân yêu hoặc quyết định cách tiếp cận một tình huống khó khăn. Những cuộc đối thoại này đòi hỏi sự chính xác, khả năng phán đoán thực tế và sự tôn trọng quyền tự quyết của mọi người. Với hơn một tỷ người sử dụng ChatGPT mỗi tuần, nghiên cứu của chúng tôi tập trung vào việc giúp các mô hình đáp ứng cẩn thận trên nhiều nhu cầu và đặt sự an toàn và hạnh phúc của mọi người lên hàng đầu.

Hầu hết các đánh giá về trí tuệ nhân tạo trong lĩnh vực này đều tập trung chủ yếu vào các tình huống khẩn cấp, do tầm quan trọng của chúng đối với sự an toàn, và đo lường sự thành công bằng các tiêu chí rộng, được xác định trước. Điều này đã để lại một khoảng trống trong việc hiểu cách các mô hình hoạt động trên toàn bộ các cuộc trò chuyện về sức khỏe tâm thần và phản ứng của họ phù hợp với hướng dẫn của bác sĩ lâm sàng cho từng tình huống như thế nào, ngoài việc họ có tránh các phản ứng không được phép hay không.

Đánh giá cách các mô hình xử lý các tình huống khác nhau này là điều cần thiết để xây dựng hướng tới AI tích cực hỗ trợ hạnh phúc và an toàn lâu dài của mọi người.

Chúng tôi xin giới thiệu MentalHealthBench, một chuẩn mực mở mới để đo lường cách các hệ thống AI phản hồi trong các cuộc hội thoại thực tế về sức khỏe tâm thần. MentalHealthBench được đồng sáng tạo với một nhóm gồm 80 chuyên gia sức khỏe tâm thần được cấp phép từ hơn 20 quốc gia trên toàn cầu, dựa trên hướng dẫn từ những người dùng thực tế thường xuyên sử dụng AI để được hỗ trợ. Nó đánh giá khả năng mô hình trên các hành vi sức khỏe tâm thần chính như an toàn, tìm kiếm bối cảnh, duy trì quyền tự quyết của người dùng và cung cấp hướng dẫn có thể hành động khi thích hợp. Chúng tôi công bố công khai để các nhà nghiên cứu khác có thể xem xét phương pháp, tiến hành đánh giá riêng của họ và phát triển dựa trên công trình này.

Kết quả trên MentalHealthBench cho thấy sự cải thiện ổn định của các hệ thống AI trong việc giúp mọi người giải quyết các vấn đề sức khỏe tâm thần. Mặc dù ChatGPT không thể thay thế cho liệu pháp hoặc chăm sóc chuyên nghiệp, nhưng những hiểu biết thông tin chuyên nghiệp giúp chúng tôi đo lường sự tiến bộ đối với các mô hình AI có thể phản ứng bằng sự đồng cảm, thúc đẩy hạnh phúc và hướng dẫn mọi người hướng tới sự hỗ trợ trong thế giới thực như đường dây nóng khủng hoảng cục⁠(mở trong cửa sổ mới) bộ hoặc người mà họ tin tưởng.

Các cuộc trò chuyện liên quan đến sức khỏe, lời khuyên về cuộc sống hoặc các vấn đề sức khỏe tâm thần khác có thể rất đa dạng về chủ đề, mức độ cấp bách và bối cảnh văn hóa. MentalHealthBench được thiết kế để nắm bắt toàn diện các tình huống thực tế và chân dung người dùng khác nhau. Sử dụng các kỹ thuật bảo vệ quyền riêng tư, chúng tôi đã tạo ra các cuộc hội thoại về sức khỏe tâm thần mô phỏng chính xác các mô hình sử dụng thực tế của trí tuệ nhân tạo trong lĩnh vực sức khỏe tâm thần. Một số tình huống cũng bao gồm thông tin cơ bản có liên quan về người dùng tổng hợp - chẳng hạn như mất mát gần đây trong gia đình - để chúng tôi có thể đánh giá xem các mô hình có sử dụng bối cảnh đó để điều chỉnh phản hồi của họ một cách thích hợp hay không.

MentalHealthBench bao gồm các tình huống liên quan đến người lớn, thanh thiếu niên, người chăm sóc và các chuyên gia y tế, với nhiều ngôn ngữ và khu vực khác nhau. Các cuộc trò chuyện bao gồm nhiều chủ đề khác nhau và đề cập đến toàn bộ các khía cạnh về mức độ nhạy cảm:

• Không cấp tính —Những cuộc trò chuyện thường ngày có thể bao gồm một số yếu tố cảm xúc.

• Độ nhạy cao - Cáccuộc trò chuyện cho thấy các mối quan tâm nghiêm trọng hơn về sức khỏe tâm thần hoặc đau khổ đáng kể, nhưng không phải là trường hợp khẩn cấp ngay lập tức.

• Tình huống khẩn cấp— Các cuộc trò chuyện liên quan đến các dấu hiệu của tình trạng khẩn cấp về sức khỏe tâm thần hoặc các mối lo ngại về an toàn tức thời cần sự hỗ trợ khẩn cấp trong thực tế.

Tiếp nối những nghiên cứu trước đây của chúng tôi, được thực hiện dựa trên ý kiến đóng góp của các chuyên gia lâm sàng, dành cho HealthBench và HealthBench Professional.⁠(mở trong cửa sổ mới)Chúng⁠(mở trong cửa sổ mới) tôi đã phát triển MentalHealthBench với sự hợp tác chặt chẽ cùng nhóm các chuyên gia về sức khỏe tâm thần. Nhóm này bao gồm hơn 80 nhà tâm lý học và bác sĩ tâm thần được cấp phép hành nghề từ hơn 20 quốc gia, nói 19 ngôn ngữ và đại diện cho gần 20 chuyên ngành phụ về sức khỏe tâm thần.

Các chuyên gia chịu trách nhiệm đọc từng cuộc trò chuyện tổng hợp và tạo ra một danh sách chi tiết các tiêu chí phiếu tự đánh giá để đánh giá phản hồi của mô hình đối với tin nhắn cuối cùng của người dùng. Mỗi tiêu chí nhắm vào một khía cạnh duy nhất của phản hồi mô hình, chẳng hạn như đặt câu hỏi đúng hoặc đưa ra lời khuyên tốt nhất có thể. Mỗi tiêu chí có trọng số từ -10 đến +10: điểm dương thưởng cho hành vi có lợi, trong khi điểm âm phạt hành vi có hại, và các tiêu chí có giá trị lớn hơn cho thấy tầm quan trọng lâm sàng cao hơn trong bối cảnh cuộc trò chuyện.

Mỗi cuộc hội thoại đều được ít nhất ba chuyên gia xem xét, và chỉ những tiêu chí được tất cả các chuyên gia chấp nhận mới được đưa vào tiêu chí đánh giá cuối cùng. Do đó, các tiêu chí cuối cùng trong điểm chuẩn phản ánh một đánh giá chung về cách các mô hình nên phản ứng trong từng bối cảnh. Đối với mỗi cuộc trò chuyện, chúng tôi sử dụng máy chấm điểm tự động, GPT‑5.6 Sol, để đánh giá các phản hồi của mô hình dựa trên cùng một tiêu chí do bác sĩ lâm sàng viết. Bài báo mô tả chi tiết quy trình chấm điểm và các thiết lập đánh giá.

Chúng tôi đã đánh giá nhiều mô hình trên MentalHealthBench. Các kết quả dưới đây cho thấy hiệu suất của những mô hình này trên toàn bộ tập dữ liệu và theo mức độ nghiêm trọng của hội thoại. Phép đánh giá đo lường liệu phản hồi của mô hình có thể hiện đầy đủ các hành vi lý tưởng mà chuyên gia xác định cho từng tình huống, đồng thời tránh hành vi không được phép hay không

Chúng tôi tạo các hội thoại tổng hợp đại diện cho bốn nhóm người dùng: người trưởng thành, thanh thiếu niên 13–17 tuổi, người chăm sóc và chuyên gia lâm sàng. Chúng tôi cung cấp thông tin nền qua thông báo hệ thống và trong nhân vật thanh thiếu niên, nêu rõ người dùng ở độ tuổi 13–17. Cách tiếp cận này được thiết kế để hoạt động với nhiều nhà cung cấp mô hình, dù có thể không phản ánh hết các biện pháp bảo vệ tích hợp trong từng sản phẩm.

Với mỗi hội thoại, các chuyên gia lâm sàng viết tiêu chí mô tả nội dung mà phản hồi tiếp theo phù hợp nên có hoặc nên tránh, rồi chúng tôi đánh giá phản hồi của mô hình theo các tiêu chí đó. Các hội thoại có nhân vật thanh thiếu niên được chuyên gia lâm sàng về sức khỏe tâm thần thanh thiếu niên xem xét để đánh giá liệu phản hồi có phù hợp với nhu cầu riêng của nhóm này hay không.

MentalHealthBench cũng cho phép đo lường hành vi mô hình trên nhiều phương diện. Điểm tổng thể có thể được phân tích thành hiệu suất theo mười khía cạnh hành vi của mô hình về sức khỏe tâm thần. Các hành vi này do chuyên gia sức khỏe tâm thần xác định và nhằm phản ánh những sắc thái trong hiệu suất của mô hình. Các mô hình có điểm tổng thể tương tự nhau có thể có thế mạnh khác nhau ở từng hành vi.

Phép đo chi tiết như vậy có thể giúp nhà nghiên cứu xác định những điểm cần cải thiện dựa trên các hành vi dễ diễn giải của mô hình. Chẳng hạn, chúng tôi nhận thấy khả năng tìm hiểu bối cảnh phù hợp đã tăng lên ở các mô hình tiên tiến hơn. Những cải tiến này phản ánh sự đầu tư của OpenAI và các nhà cung cấp khác nhằm nâng cao cách mô hình xử lý hội thoại về sức khỏe tâm thần.

Song song với MentalHealthBench, chúng tôi thực hiện một phân tích riêng để so sánh hướng dẫn của chuyên gia lâm sàng với những gì mọi người thấy hữu ích khi được AI hỗ trợ. Chuẩn đánh giá sử dụng tiêu chí chấm điểm do chuyên gia lâm sàng viết; phân tích này xem xét những điểm mà góc nhìn của người dùng và chuyên gia tương đồng, khác biệt hoặc xung đột.

Chúng tôi làm việc với 44 người trưởng thành từng dùng AI để hỗ trợ sức khỏe tâm thần hoặc cảm xúc, đại diện cho 16 quốc gia và 14 ngôn ngữ. Người tham gia chấm phản hồi của mô hình đối với các hội thoại tổng hợp và viết tiêu chí mô tả thế nào là sự hỗ trợ hữu ích. Phần xem xét của họ chỉ giới hạn ở các hội thoại không cấp tính để tránh khiến họ tiếp xúc với nội dung có mức độ nghiêm trọng cao và có thể gây đau khổ.

Góc nhìn của người dùng nhấn mạnh những phẩm chất mà mọi người coi trọng khi được AI hỗ trợ nhưng ít được đề cao hơn trong hướng dẫn lâm sàng, đặc biệt là các bước thực tế tiếp theo và giọng điệu. Các chuyên gia lâm sàng chú trọng hơn đến việc thu thập bối cảnh liên quan và thận trọng diễn giải những tình huống mơ hồ. So sánh này giúp chúng tôi hiểu đầy đủ hơn những gì mọi người coi trọng ở sự hỗ trợ và mối liên hệ giữa các ưu tiên đó với hướng dẫn lâm sàng.

MentalHealthBench cung cấp cho chuyên gia, nhà nghiên cứu và nhà phát triển một công cụ chung để đánh giá khả năng hỗ trợ an toàn, hữu ích của AI trong nhiều tình huống sức khỏe tâm thần. Bằng việc phát hành công khai, chúng tôi mời cộng đồng xem xét phương pháp, xác định khoảng trống ở các mô hình hiện có và cùng cải thiện mô hình. Không chuẩn đánh giá nào phản ánh được mọi điều quan trọng trong một cuộc trò chuyện cá nhân, nhưng chúng tôi hy vọng MentalHealthBench sẽ góp phần đặt ra tiêu chuẩn cao hơn cho cách AI hỗ trợ mọi người.

Chúng tôi cũng hỗ trợ các nỗ lực khác trong lĩnh vực AI và sức khỏe tâm thần, bao gồm tài trợ cho nghiên cứu mới, quy tụ chuyên gia cùng Partnership on AI⁠(mở trong cửa sổ mới) và hỗ trợ các nỗ lực độc lập bổ trợ như đánh giá sức khỏe tâm thần⁠(mở trong cửa sổ mới) của Transluce.

Song song với nghiên cứu này, chúng tôi đã cải thiện phản hồi của ChatGPT trong các cuộc trò chuyện nhạy cảm, mở rộng khả năng tiếp cận nguồn lực hỗ trợ khủng hoảng và bổ sung Liên hệ đáng tin cậy để kết nối mọi người với người họ tin tưởng trong lúc đau khổ. Chúng tôi cũng đã ra mắt ChatGPT dành cho thanh thiếu niên, với các biện pháp bảo vệ bổ sung cho người dùng nhỏ tuổi.

MentalHealthBench là một trong những cách chúng tôi hướng tới AI có thể giúp hàng triệu người vượt qua những thời điểm khó khăn, củng cố các mối quan hệ và sống khỏe mạnh, viên mãn hơn.