Повышение медицинской компетентности ChatGPT

Здоровье — одна из самых значимых сфер, в которых люди используют ChatGPT. Каждую неделю более 230 миллионов человек обращаются к ChatGPT за помощью в вопросах здоровья и благополучия: чтобы разобраться в медицинской информации, понять результаты анализов, подготовиться к приему, сориентироваться в страховке, выстроить более здоровые привычки и понять, о чем спросить дальше.

С GPT‑5.5 Instant мы видим существенный шаг вперед в том, как модель работает с вопросами о здоровье: она лучше распознает ситуации, когда может потребоваться срочная помощь, запрашивает важный контекст, объясняет неопределенность и делает сложную информацию понятнее. В наших самых сложных оценках по вопросам здоровья GPT‑5.5 Instant теперь показывает уровень, сопоставимый с нашими передовыми Thinking-моделями. Поскольку она доступна бесплатным пользователям ChatGPT, этими улучшениями может воспользоваться больше людей. Это означает более понятную медицинскую информацию, более точные вопросы и ясные следующие шаги.

Этот прогресс отражает как развитие возможностей модели, так и работу под руководством врачей, лежащую в основе наших оценок в сфере здоровья. Во всех наших направлениях работы глобальная сеть врачей помогает определить, как выглядит «хороший» ответ в реальных ситуациях, связанных со здоровьем: они анализируют примеры ответов модели, описывают желаемое поведение и выявляют возможные сбои. Работа с врачами дает нам способ измерять прогресс в сфере здоровья и со временем улучшать ответы ChatGPT.

В сфере здоровья прогресс означает ответы, которые точны, понятны и основаны на здравом суждении: распознают, когда нужен дополнительный контекст, объясняют неопределенность без чрезмерной уверенности и помогают людям понять, когда следует обратиться за медицинской помощью.

Чтобы измерять этот прогресс, мы используем специализированные оценки для сферы здоровья, включая HealthBench и HealthBench Professional. В этих оценках используются реалистичные диалоги о здоровье и рубрики, составленные врачами, чтобы оценивать такие качества, как точность, безопасность, коммуникация, учет контекста, полнота и уместная эскалация.

Для еще одного сравнения мы также попросили врачей написать ответы на типичные диалоги о здоровье — без ограничения времени и с доступом к интернету (но без ИИ). Затем отдельная группа врачей сравнивала эти ответы врачей с Instant-моделями на разных этапах, оценивая качества, важные в реальном взаимодействии, включая точность, коммуникацию, полноту, следование инструкциям и полезность для принятия решений о здоровье; всего было проанализировано 3500 ответов.

По оценкам врачей, в ответах GPT‑5.5 Instant было меньше типов ошибок, чем в ответах более старых моделей и самих врачей. Например, у GPT 5.5 Instant реже, чем у более старых моделей и врачей, встречались случаи, когда ответ не учитывал местный контекст здравоохранения, упускал тревожные признаки или необходимость обращения за помощью либо не запрашивал у пользователя дополнительный контекст, когда это было нужно.

Учитывая масштаб использования наших моделей в сфере здоровья, еще один способ понять недавние улучшения модели — измерять рабочий трафик. Мы используем сохраняющие конфиденциальность средства мониторинга рабочего трафика, чтобы отслеживать возможные проблемы фактической точности в ответах о здоровье. Сравнение недавнего рабочего трафика по вопросам здоровья — это миллиарды сообщений в неделю — показывает, что за последние два месяца доля ответов хотя бы с одной отмеченной проблемой фактической точности снизилась на 71%.

Сравнение ответов моделей в разные моменты времени на реальные вопросы о здоровье показывает, как ChatGPT улучшился в том, что важно для этой сферы: распознает ситуации, которым может требоваться срочное внимание, более взвешенно работает с неопределенностью и дает людям более понятные и полезные рекомендации о дальнейших действиях.

Этот прогресс формируют врачи, которые помогают нам определять, измерять и улучшать ответы ChatGPT по вопросам здоровья. 

OpenAI работает с глобальной сетью из более чем 260 врачей в 60 странах, на 49 языках и в 26 медицинских специальностях. Их обратная связь влияет на то, как ChatGPT отвечает на вопросы о здоровье в самых разных сценариях — от повседневных вопросов о самочувствии до более сложных клинических ситуаций.

Врачи проверяют примеры ответов модели и оценивают, насколько они точны, ясны, полны, достаточно осторожны и полезны. Они помогают выявлять, где в ответе может не хватать важного контекста, где он может звучать слишком уверенно, где следует яснее указать следующие шаги или более прямо рекомендовать человеку обратиться за медицинской помощью.

На сегодняшний день врачи проверили более 700 000 примеров ответов модели, отражающих то, как клиницисты и пациенты могут использовать ChatGPT в реальной жизни. Каждые несколько минут врач проверяет новый ответ. Их обратная связь превращается в рубрики и критерии оценки, которые помогают исследователям измерять, являются ли ответы точными, безопасными, ясными, полными, достаточно осторожными и полезными в реальных ситуациях, связанных со здоровьем. Это дает нам более ясный способ увидеть, где модели становятся лучше, а где им все еще нужно дорабатывать.

Эта работа также поддерживает более широкие инициативы OpenAI в сфере здоровья: от инструментов, которые помогают людям лучше понимать медицинскую информацию и ориентироваться в ней, до инструментов для клиницистов, таких как ChatGPT для Врачей⁠ и OpenAI для Здравоохранения⁠, которые помогают медицинским специалистам с такими задачами, как документация, исследования и консультации по лечению.

Улучшение здоровья людей станет одним из самых личных и ощутимых эффектов AGI. По мере того как наши модели продолжают совершенствоваться, наша цель — сделать ChatGPT более точным, более осторожным и более полезным в такие моменты, а также продолжать делать этот прогресс доступным большему числу людей.