GPT‑4

Kami telah cipta GPT‑4, pencapaian terkini dalam usaha OpenAI untuk meningkatkan pembelajaran mendalam. GPT‑4 adalah model multimodal yang besar (menerima input imej dan teks, mengeluarkan output teks), walaupun tidak mempunyai kemampuan seperti manusia dalam banyak senario dunia sebenar, tetapi mempamerkan prestasi setara manusia pada pelbagai penanda aras profesional dan akademik. Sebagai contoh, ia lulus peperiksaan bar yang disimulasikan dengan markah sekitar 10% teratas peserta ujian; sebaliknya, skor GPT‑3.5 berada di sekitar 10% terbawah. Kami telah menghabiskan 6 bulan secara berulang menyelaraskan⁠ GPT‑4 menggunakan pelajaran dari program ujian lawan kami serta ChatGPT, menghasilkan keputusan terbaik kami (walaupun jauh dari sempurna) mengenai ketepatan fakta, kebolehkendalian, dan keengganan untuk melanggar batasan.

Sepanjang dua tahun yang lepas, kami telah membina semula keseluruhan timbunan pembelajaran mendalam kami dan, bersama Azure, mereka bentuk bersama sebuah superkomputer dari asas untuk beban kerja kami. Setahun yang lalu, kami melatih GPT‑3.5 sebagai “ujian percubaan” pertama sistem. Kami temui dan baiki beberapa pepijat dan menambah baik asas teori kami. Akibatnya, sesi latihan GPT‑4 kami adalah (sekurang-kurangnya bagi kami!) stabil yang belum pernah berlaku sebelumnya, menjadi model besar pertama kami yang prestasi latihannya dapat kami ramalkan dengan tepat lebih awal. Sambil kami teruskan memberi tumpuan kepada penskalaan yang boleh dipercayai, kami berhasrat untuk mengasah metodologi kami bagi membantu kami meramalkan dan bersedia untuk kemampuan masa depan yang semakin jauh lebih awal - sesuatu yang kami anggap kritikal untuk keselamatan.

Kami melancarkan keupayaan input teks GPT‑4 melalui ChatGPT dan API (dengan senarai menunggu⁠). Untuk menyediakan keupayaan input imej bagi ketersediaan yang lebih luas, kami bekerjasama rapat dengan satu rakan kongsi⁠(dibuka dalam tetingkap baru) untuk bermula. Kami juga membuka sumber OpenAI Evals⁠(dibuka dalam tetingkap baru), rangka kerja kami untuk penilaian automatik prestasi model AI, untuk membolehkan sesiapa sahaja melaporkan kekurangan dalam model kami bagi membantu membimbing penambahbaikan selanjutnya.

Dalam perbualan santai, perbezaan antara GPT‑3.5 dan GPT‑4 boleh menjadi halus. Perbezaan muncul apabila kerumitan tugas mencapai tahap yang mencukupi—GPT‑4 lebih boleh dipercayai, kreatif, dan mampu mengendalikan arahan yang lebih bernuansa berbanding GPT‑3.5.

Untuk memahami perbezaan antara kedua-dua model, kami menguji pelbagai penanda aras, termasuk mensimulasikan peperiksaan yang asalnya direka untuk manusia. Kami meneruskan dengan menggunakan ujian terkini yang tersedia untuk umum (dalam kes Olimpik dan soalan tindak balas percuma AP) atau dengan membeli latihan peperiksaan edisi 2022–2023. Kami tidak membuat sebarang latihan khusus untuk peperiksaan ini. Sebilangan kecil masalah dalam peperiksaan telah dilihat oleh model semasa latihan, tetapi kami percaya hasilnya adalah mewakili—lihat laporan teknikal⁠(dibuka dalam tetingkap baru) kami untuk maklumat lanjut.

rujukan dalaman ¹

Kami juga menilai GPT‑4 pada penanda aras tradisional yang direka untuk model pembelajaran mesin. GPT‑4 jauh mengatasi model bahasa besar sedia ada, di samping kebanyakan model terkini (SOTA) yang mungkin termasuk penyesuaian khusus penanda aras atau protokol latihan tambahan:

Banyak penanda aras ML yang sedia ada ditulis dalam bahasa Inggeris. Untuk mendapatkan gambaran awal tentang kemampuan dalam bahasa lain, kami telah menterjemahkan penanda aras MMLU—satu set 14,000 masalah pelbagai pilihan yang merangkumi 57 subjek—ke dalam pelbagai bahasa menggunakan Penterjemah Azure (lihat Lampiran⁠). Dalam 24 daripada 26 bahasa yang diuji, GPT‑4 mengatasi prestasi bahasa Inggeris GPT‑3.5 dan LLM lain (Chinchilla, PaLM), termasuk untuk bahasa sumber rendah seperti Latvia, Welsh, dan Swahili:

Kami juga telah menggunakan GPT‑4 secara dalaman, dengan kesan yang besar pada fungsi seperti sokongan, jualan, penyederhanaan kandungan, dan pengaturcaraan. Kami juga menggunakannya untuk membantu manusia menilai output AI, memulakan fasa kedua dalam strategi penjajaran⁠ kami.

GPT‑4 boleh menerima prom teks dan imej, yang—selari dengan tetapan teks sahaja—membolehkan pengguna menentukan sebarang tugas penglihatan atau bahasa. Secara khusus, ia menghasilkan output teks (bahasa semula jadi, kod, dll.) apabila diberi input yang terdiri daripada teks dan imej yang diselang-seli. Merentasi pelbagai domain—termasuk dokumen dengan teks dan gambar, gambar rajah, atau tangkapan skrin—GPT‑4 mempamerkan keupayaan yang serupa seperti pada input teks sahaja. Selain itu, ia boleh ditambah dengan teknik masa ujian yang dibangunkan untuk model bahasa teks sahaja, termasuk beberapa tangkapan dan rantai pemikiran⁠(dibuka dalam tetingkap baru). Input imej masih dalam pratonton penyelidikan dan tidak tersedia untuk umum.

Kami pratonton prestasi GPT‑4 dengan menilainya pada rangkaian sempit penanda aras visi akademik standard. Namun, angka-angka ini tidak sepenuhnya mencerminkan sejauh mana keupayaannya kerana kami sentiasa menemui tugas-tugas baharu dan menarik yang boleh ditangani oleh model. Kami merancang untuk mengeluarkan analisis dan angka penilaian lanjut serta penyiasatan menyeluruh mengenai kesan teknik masa ujian tidak lama lagi.

nota kaki dalaman^A

Kami telah mengusahakan setiap aspek pelan yang digariskan dalam hantaran kami tentang menentukan tingkah laku AI⁠, termasuk kebolehkendalian. Daripada personaliti ChatGPT klasik dengan meleret-leret, nada, dan gaya tetap, pembangun (dan tidak lama lagi pengguna ChatGPT) kini boleh menetapkan gaya dan tugas AI mereka dengan menerangkan arahan tersebut dalam mesej "sistem". Mesej sistem membolehkan pengguna API menyesuaikan pengalaman pengguna mereka dengan ketara dalam batasan⁠(dibuka dalam tetingkap baru). Kami akan terus membuat penambahbaikan di sini (dan terutamanya mengetahui bahawa mesej sistem adalah cara paling mudah untuk "jailbreak" model semasa, iaitu, pematuhan kepada sempadan tidak sempurna), tetapi kami menggalakkan anda untuk mencubanya dan beritahu kami tentang pendapat anda.

Walaupun keupayaannya, GPT‑4 mempunyai batasan yang serupa dengan model GPT terdahulu. Paling penting, ia masih tidak boleh dipercayai sepenuhnya (ia "berhalusinasi" fakta dan membuat kesilapan penaakulan). Anda harus berhati-hati apabila menggunakan output model bahasa, terutamanya dalam konteks berisiko tinggi, dengan protokol yang tepat (seperti semakan manusia, asas dengan konteks tambahan, atau mengelak sama sekali penggunaan berisiko tinggi) yang sepadan dengan keperluan kes penggunaan tertentu.

Walaupun masih menjadi isu sebenar, GPT‑4 mengurangkan halusinasi dengan ketara berbanding model-model sebelumnya (yang telah bertambah baik dengan setiap pengulangan). GPT‑4 mencatat markah 40% lebih tinggi daripada GPT‑3.5 terkini kami dalam penilaian fakta dalaman yang bersifat bertentangan:

Kami telah mencapai kemajuan pada penanda aras luaran seperti TruthfulQA, yang menguji kemampuan model untuk memisahkan fakta daripada set pernyataan yang salah yang dipilih secara lawan. Soalan-soalan ini dipasangkan dengan jawapan yang salah dari segi fakta tetapi kelihatan menarik dari segi statistik.

Model asas GPT‑4 hanya lebih baik sedikit dalam tugas ini berbanding GPT‑3.5; walau bagaimanapun, selepas pasca latihan RLHF⁠ (menggunakan proses yang sama yang kami gunakan dengan GPT‑3.5⁠) terdapat jurang yang besar. Meneliti beberapa contoh di bawah, GPT‑4 enggan memilih pepatah biasa (anda tidak boleh mengajar anjing tua helah baharu), namun ia masih boleh terlepas butiran halus (Elvis Presley bukan anak kepada seorang pelakon).

Model ini boleh mempunyai pelbagai keputusan berat sebelah dalam outputnya—kami telah mencapai kemajuan dalam hal ini tetapi masih banyak lagi yang perlu dilakukan. Menurut catatan blog kami baru-baru ini⁠, kami berhasrat untuk menjadikan sistem AI yang kami bina mempunyai tingkah laku lalai yang munasabah yang mencerminkan pelbagai nilai pengguna, membolehkan sistem tersebut disesuaikan dalam sempadan yang luas, dan mendapatkan input awam mengenai sempadan yang sepatutnya.

GPT‑4 umumnya tidak mempunyai pengetahuan tentang peristiwa yang telah berlaku selepas sebahagian besar datanya terputus (September 2021), dan tidak belajar daripada pengalamannya. Kadang-kadang ia boleh membuat kesalahan penaakulan mudah yang nampaknya tidak selaras dengan kecekapan merentasi begitu banyak domain, atau terlalu mudah percaya dengan pernyataan palsu yang jelas dari pengguna. Dan kadangkala ia boleh gagal dalam menyelesaikan masalah sukar dengan cara yang sama seperti manusia, seperti memperkenalkan kelemahan keselamatan ke dalam kod yang dihasilkannya.

GPT‑4 juga boleh dengan yakin membuat ramalan yang salah, tidak mengambil berat untuk menyemak semula kerja apabila ia mungkin membuat kesilapan. Menariknya, model pra-latihan asas sangat ditentukur (keyakinan yang diramalkan dalam jawapan umumnya sepadan dengan kebarangkalian untuk betul). Namun, melalui proses pasca latihan semasa kami, penentukuran telah dikurangkan.

Kami telah mengulangi GPT‑4 untuk menjadikannya lebih selamat dan lebih sejajar sejak awal latihan, dengan usaha termasuk pemilihan dan penapisan data pra-latihan, penilaian dan penglibatan pakar, penambahbaikan keselamatan model serta pemantauan dan penguatkuasaan.

GPT‑4 menimbulkan risiko yang serupa seperti model sebelumnya, seperti menjana nasihat berbahaya, kod yang mengandungi pepijat, atau maklumat yang tidak tepat. Namun, keupayaan tambahan GPT‑4 membawa kepada penemuan risiko baharu. Untuk memahami sejauh mana risiko ini, kami melibatkan lebih daripada 50 pakar dari domain seperti risiko penjajaran AI, keselamatan siber, biorisiko, kepercayaan dan keselamatan, serta keselamatan antarabangsa untuk menguji model secara bertentangan. Penemuan mereka secara khusus membolehkan kami menguji tingkah laku model dalam bidang berisiko tinggi yang memerlukan kepakaran untuk dinilai. Maklum balas dan data daripada pakar-pakar ini menyumbang kepada mitigasi dan penambahbaikan kami untuk model; sebagai contoh, kami telah mengumpul data tambahan untuk meningkatkan keupayaan GPT‑4 untuk menolak permintaan tentang cara mensintesis bahan kimia berbahaya.

GPT‑4 menggabungkan isyarat ganjaran keselamatan tambahan semasa latihan RLHF untuk mengurangkan output berbahaya (seperti yang ditakrifkan oleh garis panduan penggunaan⁠(dibuka dalam tetingkap baru) kami) dengan melatih model untuk menolak permintaan bagi kandungan tersebut. Ganjaran disediakan oleh pengelas GPT‑4 zero-shot yang menilai sempadan keselamatan dan gaya penyelesaian pada prom berkaitan keselamatan. Untuk mengelakkan model daripada menolak permintaan yang sah, kami mengumpulkan set data yang pelbagai daripada pelbagai sumber (contohnya, data pengeluaran berlabel, pasukan merah manusia, prom yang dijana model) dan menggunakan isyarat ganjaran keselamatan (dengan nilai positif atau negatif) pada kedua-dua kategori yang dibenarkan dan tidak dibenarkan. 

Langkah-langkah mitigasi kami telah meningkatkan banyak sifat keselamatan GPT‑4 dengan ketara berbanding GPT‑3.5. Kami telah mengurangkan kecenderungan model untuk bertindak balas terhadap permintaan kandungan yang tidak dibenarkan sebanyak 82% berbanding GPT‑3.5, dan GPT‑4 yang menjawab permintaan sensitif (contohnya, nasihat perubatan dan mencederakan diri sendiri) mengikut dasar kami 29% lebih kerap.

Secara keseluruhan, intervensi pada peringkat model kami meningkatkan kesukaran untuk menimbulkan tingkah laku buruk, tetapi ia masih boleh dilakukan. Selain itu, masih terdapat “jailbreak” untuk menjana kandungan yang melanggar garis panduan penggunaan⁠ kami. Apabila “risiko setiap token” sistem AI meningkat, ia akan menjadi kritikal untuk mencapai tahap kebolehpercayaan yang sangat tinggi dalam intervensi ini; Buat masa ini, penting untuk melengkapkan had ini dengan teknik keselamatan semasa penggunaan seperti pemantauan untuk penyalahgunaan.

GPT‑4 dan model penggantinya berpotensi untuk mempengaruhi masyarakat dengan ketara sama ada dalam cara yang bermanfaat atau berbahaya. Kami bekerjasama dengan penyelidik luar untuk memperbaiki cara kami memahami dan menilai kesan berpotensi, serta membina penilaian untuk keupayaan berbahaya yang mungkin muncul dalam sistem masa hadapan. Kami akan segera berkongsi lebih banyak pemikiran kami tentang potensi kesan sosial dan ekonomi GPT‑4 dan sistem AI lain.

Seperti model GPT sebelum ini, model asas GPT‑4 telah dilatih untuk meramalkan perkataan seterusnya dalam dokumen, dan telah dilatih menggunakan data yang tersedia secara umum (seperti data Internet) serta data yang telah kami lesenkan. Data ialah korpus data berskala web yang merangkumi penyelesaian betul dan salah kepada masalah matematik, penaakulan yang lemah dan kuat, kenyataan bercanggah dan konsisten, serta mewakili pelbagai ideologi dan idea.

Jadi, apabila diprom dengan soalan, model asas boleh bertindak balas dalam pelbagai cara yang mungkin tidak selari dengan niat pengguna. Untuk menyelaraskannya dengan niat pengguna dalam batasan, kami menyempurnakan tingkah laku model menggunakan pembelajaran pengukuhan dengan maklum balas manusia (RLHF⁠).

Perhatikan bahawa keupayaan model nampaknya datang terutamanya daripada proses pra-latihan—RLHF tidak meningkatkan prestasi peperiksaan (tanpa usaha aktif, ia sebenarnya merendahkannya). Tetapi pengendalian model datang dari proses pasca latihan - model asas memerlukan kejuruteraan prom untuk mengetahui bahawa ia sepatutnya menjawab soalan.

Fokus utama projek GPT‑4 adalah membina timbunan pembelajaran mendalam yang boleh ditingkatkan dengan mudah. Penaakulan utama ialah, untuk mengendalikan latihan yang sangat besar seperti GPT‑4, adalah tidak munasabah untuk melakukan penyesuaian khusus model yang meluas. Kami membangunkan infrastruktur dan pengoptimuman yang mempunyai tingkah laku yang boleh diramal merentasi pelbagai skala. Untuk mengesahkan kebolehskalaan ini, kami dengan tepat meramalkan terlebih dahulu kerugian akhir GPT‑4 pada pangkalan kod dalaman kami (bukan sebahagian daripada set latihan) dengan mengekstrapolasi dari model yang dilatih menggunakan metodologi yang sama tetapi menggunakan 10,000x kurang pengiraan:

Memandangkan kita boleh meramalkan metrik yang kita optimumkan semasa latihan (kehilangan) dengan tepat, kita mula membangunkan metodologi untuk meramalkan metrik yang lebih mudah ditafsirkan. Sebagai contoh, kami berjaya meramalkan kadar lulus pada subset set data HumanEval⁠(dibuka dalam tetingkap baru), dengan mengekstrapolasi dari model yang menggunakan pengiraan 1,000x kurang:

Beberapa keupayaan masih sukar untuk diramalkan. Sebagai contoh, Hadiah Penskalaan Songsang ialah pertandingan untuk mencari metrik yang menjadi semakin teruk apabila pengiraan model meningkat, dan pengabaian masa lalu⁠(dibuka dalam tetingkap baru) adalah salah satu pemenang. Sama seperti keputusan⁠(dibuka dalam tetingkap baru) baru-baru ini, GPT‑4 membalikkan trend:

Kami percaya bahawa meramalkan keupayaan pembelajaran mesin masa depan dengan tepat adalah bahagian penting dalam keselamatan yang tidak mendapat perhatian yang mencukupi berbanding dengan kesan potensinya (walaupun kami telah digalakkan oleh usaha merentas di beberapa institusi). Kami sedang meningkatkan usaha kami untuk membangunkan kaedah yang menyediakan masyarakat dengan panduan yang lebih baik tentang perkara yang boleh dijangkakan daripada sistem masa hadapan, dan kami berharap ini menjadi matlamat bersama dalam bidang ini.

Kami membuka sumber terbuka OpenAI Evals⁠(dibuka dalam tetingkap baru), rangka kerja perisian kami untuk mencipta dan menjalankan penanda aras bagi menilai model seperti GPT‑4, sambil memeriksa prestasinya mengikut sampel demi sampel. Kami menggunakan Evals untuk membimbing pembangunan model kami (untuk mengenal pasti kekurangan dan mencegah regresi), dan pengguna kami boleh menggunakannya untuk menjejak prestasi merentasi versi model (yang kini akan dikeluarkan secara berkala) dan penyepaduan produk yang berkembang. Sebagai contoh, Stripe telah menggunakan Evals untuk melengkapkan penilaian manusia mereka bagi mengukur ketepatan alat dokumentasi yang dikuasakan oleh GPT mereka.

Oleh kerana semua kod ini sumber terbuka, Evals mempunyai sokongan untuk menulis kelas baharu bagi melaksanakan logik penilaian tersuai⁠(dibuka dalam tetingkap baru). Namun, berdasarkan pengalaman kami sendiri, banyak penanda aras mengikut salah satu daripada beberapa “templat”, jadi kami juga telah memasukkan templat⁠(dibuka dalam tetingkap baru) yang paling berguna secara dalaman (termasuk templat untuk “penilaian gred model” - kami mendapati bahawa GPT‑4 amat mengejutkan kerana berupaya memeriksa kerjanya sendiri). Secara amnya, cara paling berkesan untuk membina eval baharu⁠(dibuka dalam tetingkap baru) adalah dengan menyediakan satu daripada templat ini berserta dengan data. Kami teruja untuk melihat apa yang boleh bina oleh orang lain menggunakan templat ini dan dengan Evals secara umum.

Kami berharap Evals menjadi alat untuk berkongsi dan mengumpul penanda aras, mewakili set mod kegagalan yang luas dan tugas yang sukar secara maksimum. Sebagai contoh untuk diikuti, kami telah cipta eval teka-teki logik⁠(dibuka dalam tetingkap baru) yang mengandungi sepuluh prom di mana GPT‑4 telah gagal. Evals juga serasi dengan melaksanakan penanda aras sedia ada; kami telah memasukkan beberapa buku nota⁠(dibuka dalam tetingkap baru) yang melaksanakan penanda aras akademik dan beberapa variasi penyepaduan (subset kecil) CoQA⁠(dibuka dalam tetingkap baru) sebagai contoh.

Kami menjemput semua orang untuk menggunakan Evals bagi menguji model kami dan menyerahkan contoh yang paling menarik. Kami percaya bahawa Evals akan menjadi bahagian penting dalam proses untuk menggunakan dan membina di atas model kami, dan kami mengalu-alukan sumbangan langsung, soalan dan maklum balas⁠(dibuka dalam tetingkap baru).

Pelanggan ChatGPT Plus akan mendapat akses GPT‑4 di chatgpt.com⁠(dibuka dalam tetingkap baru) dengan had penggunaan. Kami akan menyesuaikan had penggunaan yang tepat bergantung pada permintaan dan prestasi sistem dalam amalan, tetapi kami menjangkakan kapasiti yang sangat terhad (walaupun kami akan meningkatkan dan mengoptimumkan dalam bulan-bulan yang akan datang).

Bergantung pada corak trafik yang kami lihat, kami mungkin memperkenalkan tahap langganan baharu untuk penggunaan GPT‑4 dengan volum yang lebih tinggi; kami juga berharap pada satu ketika untuk menawarkan sejumlah pertanyaan GPT‑4 secara percuma supaya mereka yang tidak melanggan boleh mencubanya juga.

Untuk mendapatkan akses kepada API GPT‑4 (yang menggunakan API ChatCompletions⁠(dibuka dalam tetingkap baru) yang sama seperti gpt-3.5-turbo), sila daftar untuk senarai menunggu kami⁠. Kami akan mula menjemput beberapa pembangun hari ini, dan akan ditingkatkan secara beransur-ansur untuk mengimbangi kapasiti dengan permintaan. Jika anda seorang penyelidik yang mengkaji kesan masyarakat terhadap AI atau isu penjajaran AI, anda juga boleh memohon akses bersubsidi melalui Program Akses Penyelidik⁠ kami.

Sebaik sahaja anda mempunyai akses, anda boleh membuat permintaan teks sahaja kepada model GPT‑4 (Input imej masih dalam alfa terhad), yang kami akan kemas kini secara automatik kepada model stabil yang disyorkan apabila kami membuat versi baharu dari semasa ke semasa (anda boleh pin versi semasa dengan menghubungi GPT‑4‑0314, yang akan kami sokongan sehingga 14 Jun). Harga ialah $0.03 untuk setiap 1k token prom dan $0.06 untuk setiap 1k token penyelesaian. Had kadar lalai adalah 40k token seminit dan 200 permintaan seminit.

gpt-4 mempunyai panjang konteks sebanyak 8,192 token. Kami juga menyediakan akses terhad kepada versi 32,768-konteks (kira-kira 50 halaman teks) kami, gpt-4-32k, yang juga akan dikemas kini secara automatik dari semasa ke semasa (versi semasa gpt-4-32k-0314, juga disokong sehingga 14 Jun). Harga ialah $0.06 untuk setiap 1K token prom dan $0.12 untuk setiap 1K token penyelesaian. Kami masih meningkatkan kualiti model untuk konteks yang panjang dan ingin maklum balas tentang prestasinya untuk kes penggunaan anda. Kami sedang memproses permintaan untuk enjin 8K dan 32K pada kadar yang berbeza berdasarkan kapasiti, jadi anda mungkin menerima akses kepadanya pada masa yang berbeza.

Kami berharap GPT‑4 akan menjadi alat yang berharga dalam memperbaiki kehidupan orang ramai dengan menyokong lebih banyak aplikasi. Masih banyak kerja yang perlu dilakukan, dan kami berharap dapat memperbaiki model ini melalui usaha kolektif masyarakat yang membina selain, meneroka, dan menyumbang kepada model tersebut.

Untuk maklumat lanjut: Baca kertas kerja⁠(dibuka dalam tetingkap baru) / Lihat kad sistem⁠(dibuka dalam tetingkap baru) / Cuba di ChatGPT Plus⁠(dibuka dalam tetingkap baru) / Cuba di Playground⁠(dibuka dalam tetingkap baru) / Tonton semula siaran langsung demo⁠(dibuka dalam tetingkap baru) / Sumbang kepada OpenAI Evals⁠(dibuka dalam tetingkap baru)

Contoh soalan MMLU, diterjemahkan ke dalam bahasa lain. Perhatikan, kami menggunakan token pilihan yang konsisten (A–D):