Sveikatos analizės gerinimas ChatGPT

Sveikata yra viena prasmingiausių sričių, kuriose žmonės naudoja ChatGPT. Kas savaitę daugiau nei 230 milijonų žmonių kreipiasi į ChatGPT pagalbos dėl sveikatos ir gerovės klausimų: kad geriau suprastų sveikatos informaciją, laboratorinių tyrimų rezultatus, pasirengtų vizitams, susigaudytų draudimo klausimuose, ugdytų sveikesnius įpročius ir išsiaiškintų, ko klausti toliau.

Naudojant GPT‑5.5 Instant matome reikšmingą pažangą, kaip modelis tvarkosi su sveikatos klausimais: geriau atpažįsta, kada gali reikėti skubios pagalbos, prašo aktualaus konteksto, paaiškina neapibrėžtumą ir sudėtingą informaciją pateikia suprantamiau. Sudėtingiausiuose mūsų sveikatos vertinimuose GPT‑5.5 Instant dabar pasiekia lygį, panašų į mūsų pažangiausius Thinking modelius. Kadangi jis ChatGPT prieinamas nemokamiems naudotojams, ši pažanga gali būti naudinga daugiau žmonių. Tai gali reikšti lengviau suprantamą sveikatos informaciją, geresnius klausimus ir aiškius tolesnius žingsnius.

Ši pažanga atspindi ir modelių gebėjimų tobulėjimą, ir gydytojų vadovaujamą darbą, kuriuo grindžiami mūsų sveikatos vertinimai. Visose mūsų iniciatyvose pasaulinis gydytojų tinklas padeda apibrėžti, kaip „geras“ rezultatas atrodo realiose sveikatos situacijose: peržiūri pavyzdinius modelio atsakymus, aprašo idealų elgesį ir nustato nesėkmės scenarijus. Darbas su gydytojais leidžia mums matuoti pažangą sveikatos srityje ir ilgainiui gerinti ChatGPT atsakymus.

Sveikatos srityje pažanga reiškia tikslius, suprantamus ir geru sprendimu pagrįstus atsakymus: gebėjimą atpažinti, kada reikia daugiau konteksto, paaiškinti neapibrėžtumą nepervertinant pasitikėjimo ir padėti žmonėms suprasti, kada kreiptis pagalbos.

Šiai pažangai matuoti naudojame sveikatai skirtus vertinimus, įskaitant HealthBench ir HealthBench Professional. Šiuose vertinimuose naudojami realistiški pokalbiai apie sveikatą ir gydytojų parengtos rubrikos, kad būtų įvertintos tokios savybės kaip tikslumas, saugumas, komunikacija, konteksto suvokimas, išsamumas ir tinkamas eskalavimas.

Dar vienam palyginimui taip pat paprašėme gydytojų parašyti atsakymus į tipinius pokalbius apie sveikatą, skiriant neribotai laiko ir suteikiant prieigą prie interneto (bet ne prie AI). Tada atskira gydytojų grupė palygino šiuos gydytojų atsakymus su Instant modelių atsakymais skirtingais laikotarpiais, peržiūrėdama realiose sąveikose svarbias savybes, įskaitant tikslumą, komunikaciją, išsamumą, nurodymų laikymąsi ir naudingumą priimant sveikatos sprendimus, iš viso peržiūrėjus 3500 atsakymų.

Gydytojai įvertino, kad GPT‑5.5 Instant atsakymuose nesėkmės scenarijų buvo mažiau nei senesnių modelių ir gydytojų atsakymuose. Pavyzdžiui, GPT 5.5 Instant, palyginti tiek su senesniais modeliais, tiek su gydytojais, rečiau nepaisė vietos sveikatos priežiūros konteksto, praleido pavojaus signalus ar nukreipimą kreiptis pagalbos, arba, kai reikėjo, nepaprašė naudotojo papildomo konteksto.

Atsižvelgiant į tai, kokiu mastu mūsų modeliai naudojami sveikatos srityje, dar vienas būdas suprasti naujausius modelio patobulinimus yra matuoti realaus naudojimo srautą. Realaus naudojimo sraute taikome privatumą saugančias stebėsenos priemones, kad sektume galimas faktinio tikslumo problemas sveikatos atsakymuose. Remiantis naujausio realaus naudojimo srauto sveikatos srityje palyginimu — milijardais žinučių per savaitę — atsakymų, kuriuose pažymėta bent viena faktinio tikslumo problema, dalis per pastaruosius du mėnesius sumažėjo 71 %.

Lyginant skirtingais laikotarpiais modelių pateiktus atsakymus į realius sveikatos klausimus matyti, kaip ChatGPT pagerėjo sveikatai svarbiais aspektais: atpažįsta, kada situacijai gali reikėti skubaus dėmesio, apdairiau tvarkosi su neapibrėžtumu ir žmonėms pateikia aiškesnes, naudingesnes gaires, ką daryti toliau.

Šią pažangą formuoja gydytojai, padedantys mums apibrėžti, matuoti ir gerinti sveikatos atsakymus ChatGPT. 

OpenAI bendradarbiauja su pasauliniu tinklu, jungiančiu daugiau nei 260 gydytojų iš 60 šalių, 49 kalbų ir 26 medicinos specialybių. Jų grįžtamasis ryšys padeda formuoti, kaip ChatGPT atsako į sveikatos klausimus įvairiausiuose scenarijuose — nuo kasdienių gerovės klausimų iki sudėtingesnių klinikinių situacijų.

Gydytojai peržiūri pavyzdinius modelio atsakymus ir vertina, ar jie tikslūs, aiškūs, išsamūs, tinkamai atsargūs ir naudingi. Jie padeda nustatyti, kur atsakymas gali praleisti svarbų kontekstą, kur gali skambėti pernelyg užtikrintai, kur turėtų aiškiau nurodyti tolesnius žingsnius arba tiesiau paskatinti žmogų kreiptis medicininės pagalbos.

Iki šiol gydytojai peržiūrėjo daugiau nei 700 000 pavyzdinių modelio atsakymų, atspindinčių, kaip klinicistai ir pacientai gali naudoti ChatGPT realiame pasaulyje. Kas kelias minutes gydytojas peržiūri naują atsakymą. Jų grįžtamasis ryšys virsta rubrikomis ir vertinimo kriterijais, padedančiais tyrėjams matuoti, ar atsakymai realiose sveikatos situacijose yra tikslūs, saugūs, aiškūs, išsamūs, tinkamai atsargūs ir naudingi. Tai suteikia mums aiškesnį būdą matyti, kur modeliai gerėja, o kur jiems dar reikia darbo.

Šis darbas taip pat prisideda prie platesnės OpenAI veiklos sveikatos srityje: nuo įrankių, padedančių žmonėms geriau suprasti sveikatos informaciją ir joje orientuotis, iki klinicistams skirtų įrankių, tokių kaip ChatGPT klinicistams⁠ ir OpenAI sveikatos priežiūrai⁠, kurie padeda medicinos specialistams atlikti tokias užduotis kaip dokumentavimas, tyrimai ir konsultacijos dėl priežiūros.

Žmonių sveikatos gerinimas bus vienas asmeniškiausių ir apčiuopiamiausių AGI poveikių. Mūsų modeliams toliau tobulėjant, siekiame, kad ChatGPT tomis akimirkomis būtų tikslesnis, atsargesnis ir naudingesnis — ir kad ši pažanga pasiektų vis daugiau žmonių.