Uji klinis adalah cara kita menemukan pengobatan baru, dan dapat menjadi bentuk perawatan yang menyelamatkan nyawa. Paradigm(mbukak ing jendhela anyar) mendobrak hambatan di industri layanan kesehatan dengan teknologi yang menghadirkan uji klinis kepada lebih banyak orang, seperti pasien kanker, sambil mengurangi beban administrasi bagi dokter dan perawat untuk membantu mengatasi kelelahan klinisi.
Evaluasi rekam medis pasien merupakan hambatan utama untuk mendaftarkan pasien ke uji klinis yang mungkin memberikan pilihan perawatan terbaik. Penyedia layanan medis jarang punya waktu untuk menelusuri uji klinis, memahami detail uji yang sedang berlangsung, lalu mencocokkan dan menentukan kelayakan pasien. Akibatnya, sebagian besar uji klinis diisi oleh pasien yang lokasinya dekat dengan tempat uji dilaksanakan, sehingga menimbulkan bias dalam proses seleksi dan menghalangi banyak pasien mengakses perawatan terobosan yang bisa menyelamatkan hidup mereka.
Untuk mengatasi hal ini, Paradigm menerapkan dan mengoptimalkan model ML dan NLP tradisional khusus domain layanan kesehatan sesuai praktik terbaik untuk mengekstrak dan menafsirkan data rekam medis. Model-model ini dilatih dan dievaluasi pada golden data set yang dikurasi oleh klinisi ahli. Namun, pendekatan ini lambat dan membebani.
“Kami menerapkan model layanan kesehatan mutakhir yang telah di-fine-tune, lalu kami optimalkan lagi. Ini memakan banyak waktu, dan Anda harus mengerjakannya satu per satu sesuai use case. Anda harus membangun, melatih, dan memvalidasi model terpisah untuk setiap informasi.”
Karena model tradisional hanya bekerja sampai batas tertentu, klinisi harus meninjau output model secara manual untuk memastikan standar kualitas telah terpenuhi.
Paradigm percaya bahwa LLM, dengan kemampuannya merangkum teks tidak terstruktur, bisa sangat cocok untuk use case mereka dan menggantikan pendekatan membangun model ML satu per satu. Mereka menjajaki dua jalur potensial: integrasi dengan LLM kustom yang dilatih untuk use case medis, atau integrasi dengan GPT‑4 melalui API OpenAI.
Paradigm mengira mereka akan membutuhkan model medis khusus untuk mendapatkan hasil yang baik. Mereka “terkejut” saat mendapati bahwa GPT‑4 mengungguli tim ahli manusia yang sangat terlatih dalam tugas evaluasi data yang kompleks.
Pada akhirnya, mereka memilih OpenAI karena beberapa alasan:
- Akurasi: Paradigm menjalankan evaluasi yang ketat pada golden data set yang dikurasi ahli mereka. GPT‑4 setidaknya 10% lebih akurat daripada model ML mutakhir pada metrik gabungan precision/recall. Dalam beberapa kasus, mereka melihat peningkatan yang “luar biasa”. “Akurasi OpenAI lebih baik daripada deployment dan optimasi kami saat ini atas model yang dilatih pakar sesuai praktik terbaik industri, dan kadang bahkan lebih baik daripada klinisi terlatih kami,” kata Hirsch. “Semakin kompleks informasinya, dan semakin banyak tempat informasi itu berada, semakin baik GPT‑4.”
- Kemudahan penggunaan: “Dari sudut pandang produk, semuanya terasa mudah. API-nya mudah digunakan, dan mudah diintegrasikan ke stack kami.” Tim juga menghargai bahwa dukungan OpenAI mencakup dokumentasi API berkualitas tinggi: “Dibandingkan bekerja dengan organisasi lain, kami bisa lebih mandiri dengan OpenAI.”
- Input multimodal dan jendela konteks yang panjang: Kedua fitur ini sangat penting untuk data rekam medis.
- Keamanan dan kepatuhan regulasi: “Yang benar-benar meyakinkan kami untuk bekerja sama dengan OpenAI adalah pendekatan serius Anda dalam mendukung kepatuhan regulasi, termasuk mendukung kebutuhan kami untuk mematuhi HIPAA. Karena kami melayani penyedia layanan kesehatan dan pasien mereka, kepatuhan regulasi adalah syarat yang tidak bisa ditawar bagi kami.”
- Mengekstrak elemen data baru dalam hitungan hari, bukan bulan: GPT‑4 telah mengubah total cara Paradigm memikirkan infrastruktur inti mereka, sepenuhnya menggantikan proses membangun model ML satu per satu untuk setiap komponen data. Hal ini sangat mempercepat roadmap Paradigm, sehingga mereka dapat dengan cepat berekspansi ke mitra penyedia baru dan jenis uji coba baru.
- Pengurangan 90% waktu klinisi ahli yang dibutuhkan untuk validasi model: Paradigm memperkirakan mereka hanya memerlukan 1/10 data untuk mengevaluasi output GPT‑4 dibandingkan model ML khusus sebelumnya.
- Peningkatan akurasi 10%: Dengan data yang lebih akurat dari sebelumnya—bahkan melampaui ahli manusia dalam banyak kasus—GPT‑4 telah mengurangi kebutuhan akan intervensi ahli manusia pada hasil model. Dokter dan perawat di Paradigm serta mitra penyedia layanan kesehatan mereka dapat menghabiskan lebih banyak waktu untuk perawatan pasien, alih-alih membaca dokumen.
- Akses ke uji coba yang lebih setara: Meski masih terus dibuktikan, Paradigm yakin GPT‑4 dapat menyaring pasien yang kurang terlayani untuk uji coba dengan lebih akurat. Pasien ini cenderung memiliki data yang kurang terstruktur dalam rekam medis mereka dan lebih banyak data tidak terstruktur (misalnya catatan), yang sangat dikuasai GPT‑4 untuk diekstrak dan ditafsirkan.
Ke depannya, Paradigm antusias tentang bagaimana mereka dapat memanfaatkan pemahaman bahasa alami GPT‑4 untuk semakin mengurangi beban bagi klinisi. Alih-alih perlu menulis kode untuk menganalisis data, tim klinis dapat berdialog dengan ChatGPT tentang data pasien untuk memahami kelayakan mereka mengikuti uji coba, informasi yang kurang, dan langkah selanjutnya.
Paradigm juga antusias tentang bagaimana mereka dapat terus meningkatkan tingkat penyaringan pasien. Dengan GPT‑4, platform mereka berpotensi mengevaluasi ratusan pasien per menit. Bandingkan dengan koordinator riset perawat pada umumnya, yang dapat meninjau secara manual sekitar 50 pasien per hari. Peningkatan efisiensi ini dapat mengarah pada dunia di mana pasien memiliki akses yang jauh lebih baik ke uji klinis, dokter dan perawat dapat menghabiskan lebih banyak waktu untuk merawat pasien dan lebih sedikit waktu untuk dokumentasi, serta terapi baru yang menyelamatkan nyawa dapat lebih cepat hadir di pasar.
