LifeVal
Mengukur kemajuan AI dalam tugas-tugas yang penting bagi kehidupan sehari-hari.
Misi OpenAI adalah memastikan kecerdasan umum buatan bermanfaat bagi seluruh umat manusia. Bagi lebih dari satu miliar orang yang kini menggunakan ChatGPT setiap minggu, kami ingin membangun AI yang dapat membantu mengatasi tantangan praktis sehari-hari, seperti mencari layanan pengasuhan anak, mengakses layanan pemerintah, menyusun anggaran, mempersiapkan keperluan sekolah, menyesuaikan resep, memesan bahan makanan, menyusun rencana olahraga, dan banyak lagi.
Saat seseorang mencari bantuan untuk memudahkan hidupnya, mereka membutuhkan lebih dari sekadar saran atau jawaban dalam percakapan. Untuk menjadi asisten pribadi yang benar-benar membantu, ChatGPT harus mampu mengambil tindakan yang benar-benar menyelesaikan tugas.
Untuk mengukur kinerja model dalam tugas sehari-hari dari waktu ke waktu, kami membuat evaluasi yang mencakup bidang-bidang tempat pengguna paling membutuhkan bantuan AI dan agen pribadi. Kami menggunakan evaluasi ini untuk memantau dan mendorong peningkatan kinerja model dalam tugas sehari-hari selama setahun terakhir.
Latar belakang
Untuk mengidentifikasi tugas yang dianggap paling penting oleh masyarakat, kami memulai dengan dua studi berskala besar yang melacak penggunaan waktu di AS dan secara internasional: Survei Penggunaan Waktu Amerika(terbuka di jendela baru) dan Studi Penggunaan Waktu Multinasional(terbuka di jendela baru). Kedua kumpulan data ini menyediakan daftar terperinci tentang tugas sehari-hari yang dilakukan masyarakat dari berbagai kelompok demografis, pada berbagai waktu dalam sehari dan sepanjang musim. Untuk memahami bidang-bidang tempat bantuan AI akan paling dihargai, kami melengkapi survei-survei tersebut dengan survei baru yang melibatkan 3.995 responden yang mewakili demografi masyarakat. Untuk setiap tugas, kami mengajukan beragam pertanyaan guna mengidentifikasi bidang-bidang tempat masyarakat paling menginginkan bantuan asisten pribadi. Tugas-tugas yang teridentifikasi mencakup bidang-bidang terpenting yang ingin dibantu oleh masyarakat, termasuk merawat orang lain, kesehatan, pendidikan, administrasi rumah tangga, keuangan pribadi, belanja, dan akses layanan pemerintah.
Contoh tugas individual
Berikut beberapa contoh kinerja model kami saat ini dalam menyelesaikan rangkaian tugas praktis sehari-hari.
Daftar ke TK yang tepat setelah pindah rumah
Bandingkan TK di dekat rumah baru kami dan pilih yang paling sesuai.
Saya sudah menyaring pilihan menjadi tiga TK dan merangkum detail pendaftarannya. Ada dua preferensi yang masih perlu Anda tentukan. Ingin meninjau daftar pilihannya?
Koordinasikan relawan menjelang banjir
Bantu saya mengoordinasikan tim relawan siaga banjir di lingkungan kami untuk membantu empat tetangga melindungi rumah mereka dari banjir.
Saya sudah menyiapkan rencana tindakan sederhana untuk membantu relawan menilai lokasi yang disebutkan dan bersiap menghadapi cuaca ekstrem yang akan datang.
Cari rumah baru untuk keluarga saya
Cari rumah di Luzerne County yang sesuai anggaran saya, memiliki unit hunian terpisah, dan dekat dari tempat kerja setelah mengantar anak ke sekolah. Tambahkan akta kepemilikannya ke keranjang saya agar bisa saya tinjau.
Saya menemukan satu rumah yang memenuhi persyaratan Anda. Saya sudah menghitung pajak pengalihan hak dan menambahkan akta kepemilikannya ke keranjang Anda di situs arsip county untuk ditinjau.
Tonton pertandingan bersama nenek dari jarak jauh
Siapkan cara mudah agar saya dan nenek bisa menonton pertandingan bersama dari jarak jauh.
Pengaturan menonton paling mudah sudah siap, beserta opsi cadangan jika streaming bermasalah. Ingin saya memandu Anda dan nenek menggunakannya?
Siapkan makanan untuk orang tua yang menyesuaikan diri setelah baru didiagnosis diabetes
Bantu orang tua saya menyesuaikan diri setelah baru didiagnosis diabetes dengan rencana perawatan dan menu yang praktis.
Rencana minggu pertama sudah siap, termasuk menu, pengingat, dan pertanyaan untuk tim perawatan. Ingin meninjaunya bersama sebelum Anda membagikannya kepada orang tua Anda?
Model terbaru kami meraih skor sangat tinggi pada banyak tugas LifeVal.
Selama setahun terakhir, kami telah melatih model kami agar jauh lebih cepat, lebih cakap, dan lebih selaras dengan maksud pengguna dalam tugas yang melibatkan penggunaan browser, komputer, dan konektor. Mengaktifkan kemampuan ini di ChatGPT juga memperluas jenis tugas yang dapat dibantu oleh model, sehingga ChatGPT berkembang dari sekadar alat percakapan menjadi asisten pribadi yang benar-benar mampu bertindak secara mandiri.
Mengapa ini penting
Untuk memastikan AGI bermanfaat bagi seluruh umat manusia, kami perlu mengukur dan meningkatkan kemajuan model dalam hal-hal yang penting bagi kehidupan sehari-hari masyarakat. Artinya, kita perlu melampaui penilaian akademis atas pengetahuan model dan benar-benar mengukur seberapa baik model AI membantu orang mengambil keputusan, mengelola tanggung jawab sehari-hari, dan menyelesaikan hal-hal yang bermakna. Kami berharap LifeVal menjadi langkah menuju tujuan tersebut.
