GPT‑4

Kita wis nggawe GPT‑4, tonggak paling anyar ing upaya OpenAI kanggo nggedhèkaké sinau jero. GPT‑4 iku model multimodal gedhé (nampa input gambar lan teks, ngasilaké output teks) sing, sanajan kurang mumpuni tinimbang manungsa ing akèh skenario donya nyata, nuduhaké kinerja tingkat manungsa ing macem-macem benchmark profesional lan akademik. Contoné, model iki lulus ujian bar simulasi kanthi skor kira-kira ing 10% paling dhuwur peserta tes; sabalikané, skor GPT‑3.5 kira-kira ana ing 10% paling ngisor. Kita wis ngentèkaké 6 sasi kanthi iteratif nyelarasaké⁠ GPT‑4 nganggo piwulang saka program pengujian adversarial kita uga ChatGPT, sing ngasilaké asil paling apik sing tau kita entuk (sanajan adoh saka sampurna) ing faktualitas, steerability, lan nolak metu saka guardrails.

Sajrone rong taun kepungkur, kita mbangun ulang kabèh tumpukan sinau jero kita lan, bebarengan karo Azure, ngrancang superkomputer saka nol kanggo beban kerja kita. Setaun kepungkur, kita nglatih GPT‑3.5 minangka “test run” pisanan saka sistem iki. Kita nemokaké lan ndandani sawetara bug lan ningkataké pondhasar téoretis kita. Asilé, run latihan GPT‑4 kita (paling ora kanggo kita!) stabil kanthi durung tau ana sadurungé, dadi model gedhé pisanan sing kinerja latihané bisa kita prédhiksi kanthi akurat sadurungé. Nalika kita terus fokus marang scaling sing andal, kita ngarah ngasah metodologi supaya bisa mbantu prédhiksi lan nyiapaké kapabilitas mbésuk saka adoh luwih awal—sawijining prakara sing kita pandeng kritis kanggo safety.

Kita lagi nerbitaké kapabilitas input teks GPT‑4 liwat ChatGPT lan API (kanthi waitlist⁠). Kanggo nyiyapaké kapabilitas input gambar supaya luwih amba kasedhiya, kita kerja bareng raket dhisik karo siji mitra⁠(mbukak ing jendhela anyar). Kita uga lagi mbukak sumber OpenAI Evals⁠(mbukak ing jendhela anyar), kerangka kita kanggo evaluasi otomatis kinerja model AI, supaya sapa waé bisa nglaporaké kekurangan model kita lan mbantu nuntun perbaikan luwih lanjut.

Ing obrolan santai, bedané GPT‑3.5 lan GPT‑4 bisa krasa alus. Bedané katon nalika kerumitan tugas tekan ambang sing cukup—GPT‑4 luwih andal, luwih kreatif, lan bisa nangani instruksi sing luwih rinci tinimbang GPT‑3.5.

Kanggo mangertèni bedané loro model iki, kita nguji ing macem-macem benchmark, kalebu nyimulasèkaké ujian sing wiwitané dirancang kanggo manungsa. Kita nerusaké kanthi nggunakaké tes publik paling anyar sing kasedhiya (ing kasus Olimpiade lan pitakon tanggapan bebas AP) utawa tuku edisi 2022–2023 saka ujian latihan. Kita ora nindakake latihan khusus kanggo ujian iki. Sapérangan cilik masalah ing ujian wis tau didelok model nalika latihan, nanging kita yakin asilé tetep representatif—delengen laporan tèknis⁠(mbukak ing jendhela anyar) kita kanggo rinciyan.

referensi internal ¹

Kita uga ngevaluasi GPT‑4 ing benchmark tradisional sing dirancang kanggo model machine learning. GPT‑4 ngungkuli model basa gedhé sing wis ana kanthi cukup adoh, bebarengan karo akèh model state-of-the-art (SOTA) sing bisa waé kalebu rancangan khusus benchmark utawa protokol latihan tambahan:

Akeh benchmark ML sing wis ana ditulis nganggo basa Inggris. Kanggo nampa gambaran awal babagan kapabilitas ing basa liya, kita nerjemahaké benchmark MMLU—paket 14.000 soal pilihan ganda sing nyakup 57 subjek—menyang macem-macem basa nganggo Azure Translate (delengen Lampiran⁠). Ing 24 saka 26 basa sing diuji, GPT‑4 ngungkuli kinerja GPT‑3.5 basa Inggris lan LLM liya (Chinchilla, PaLM), kalebu kanggo basa sumber daya cilik kaya Latvia, Welsh, lan Swahili:

Kita uga wis nggunakaké GPT‑4 sacara internal, kanthi dampak gedhé marang fungsi kaya dhukungan, sales, moderasi konten, lan pemrograman. Kita uga nggunakaké kanggo mbantu manungsa ngevaluasi output AI, miwiti fase kapindho ing strategi alignment⁠ kita.

GPT‑4 bisa nampa prompt isi teks lan gambar, sing—paralel karo setelan mung teks—ngidini pangguna nemtokaké tugas visi utawa basa apa waé. Kanthi luwih rinci, model iki ngasilaké output teks (basa alami, kode, lsp.) saka input sing kasusun saka campuran teks lan gambar. Ing macem-macem domain—kalebu dokumen isi teks lan foto, diagram, utawa screenshot—GPT‑4 nuduhaké kapabilitas sing padha karo nalika nangani input mung teks. Kajaba kuwi, model iki bisa ditambahi nganggo tèknik wektu tes sing dikembangaké kanggo model basa mung teks, kalebu few-shot lan prompting ranté pikiran⁠(mbukak ing jendhela anyar). Input gambar isih minangka pratayang riset lan durung kasedhiya umum.

Kita nampilaké pratayang kinerja GPT‑4 kanthi ngevaluasi ing paket sempit benchmark visi akademik standar. Nanging, angka-angka iki ora kanthi lengkap makili jembaré kapabilitasé amarga kita terus nemokaké tugas anyar lan menarik sing bisa ditangani model iki. Kita ngrancang nerbitaké analisis lan angka evaluasi luwih lanjut uga panyelidikan jero babagan efek tèknik nalika wektu tes enggal.

cathetan sikil internal^A

Kita wis nggarap saben aspek saka rencana sing digarisaké ing kiriman kita babagan netepaké prilaku AI⁠, kalebu steerability. Tinimbang kapribadèn ChatGPT klasik kanthi tingkat dawa, nada, lan gaya sing tetep, pangembang (lan mengko pangguna ChatGPT) saiki bisa nemtokaké gaya lan tugas AI-né kanthi njlèntrèhaké arahan kasebut ing pesen “system”. Pesen system ngidini pangguna API nyesuaikaké pengalaman pangguna kanthi signifikan ing wates sing diidinaké⁠(mbukak ing jendhela anyar). Kita bakal terus nambah ing kéné (lan utamané ngerti manawa pesen system iku cara paling gampang kanggo “jailbreak” model saiki, yaiku kepatuhan marang wates kasebut durung sampurna), nanging kita ngajak sampeyan nyoba lan ngandhani apa panemuné.

Senajan nduwé kapabilitas, GPT‑4 nduwé watesan sing padha karo model GPT sadurungé. Sing paling penting, model iki isih durung bisa dipercaya sakabèhé (ngalami “halusinasi” fakta lan nggawe kesalahan nalar). Ati-ati banget perlu nalika nggunakaké output model basa, mliginé ing konteks taruhan dhuwur, kanthi protokol sing pas (kayata tinjauan manungsa, pendasaran nganggo konteks tambahan, utawa ngindhari panggunaan taruhan dhuwur babar pisan) sing cocog karo kabutuhan saka use-case tartamtu.

Sanajan isih dadi masalah nyata, GPT‑4 nyuda halusinasi kanthi signifikan dibandhingaké model sadurungé (sing dhéwé uga terus membaik saben iterasi). GPT‑4 nampa skor 40% luwih dhuwur tinimbang GPT‑3.5 paling anyar kita ing evaluasi faktualitas adversarial internal:

Kita wis nggawe kemajuan ing benchmark eksternal kaya TruthfulQA, sing nguji kemampuan model kanggo misahaké fakta saka kumpulan pernyataan salah sing dipilih kanthi adversarial. Pitakon iki dipasangaké karo jawaban sing salah sacara faktual nanging narik kawigaten sacara statistik.

Model dasar GPT‑4 mung rada luwih apik ing tugas iki tinimbang GPT‑3.5; nanging, sawisé pasca-latihan RLHF⁠ (nggunakaké proses sing padha kaya sing kita gunakaké kanggo GPT‑3.5⁠) ana jarak sing gedhé. Nalika nliti sawetara conto ing ngisor iki, GPT‑4 nolak milih unen-unen umum (asu tuwa ora bisa diajari trik anyar), nanging isih bisa kélangan rincian alus (Elvis Presley dudu anak saka aktor).

Model iki bisa nduwé macem-macem bias ing outputé—kita wis nggawe kemajuan ing bab iki nanging isih ana sing kudu digarap. Miturut kiriman blog anyar⁠ kita, tujuan kita yaiku nggawe sistem AI sing kita bangun nduwé prilaku baku sing masuk akal lan nggambaraké nilai saka cakupan pangguna sing amba, ngidini sistem kasebut disesuaikaké ing wates sing jembar, lan nampa masukan publik babagan apa wates kasebut kuduné.

GPT‑4 umumé kurang nduwé kawruh babagan kedadéan sing kelakon sawisé mayoritas gedhé data latihané mandheg (September 2021), lan ora sinau saka pengalamané. Kadhangkala model iki bisa nggawe kesalahan nalar sing prasaja sing katon ora cocog karo kompetensi ing akèh domain, utawa kakehan gampang percaya nalika nampa pernyataan salah sing cetha saka pangguna. Lan kadhangkala model iki bisa gagal ing masalah angel kanthi cara sing padha karo manungsa, kayata ngenalaké kerentanan keamanan menyang kode sing diasilaké.

GPT‑4 uga bisa salah kanthi yakin ing prédhiksi sing digawe, tanpa ngati-ati mriksa kaping pindho gawéané nalika kamungkinan salah dhuwur. Sing menarik, model dasar latihan awalan nduwé kalibrasi dhuwur (kapercayan sing diprédhiksi marang jawaban umumé cocog karo probabilitas jawaban kasebut bener). Nanging, liwat proses pasca-latihan saiki, kalibrasi iki mudhun.

Kita wis nindakake iterasi ing GPT‑4 supaya luwih aman lan luwih selaras wiwit wiwitan latihan, kanthi upaya kalebu milih lan nyaring data latihan awalan, evaluasi lan keterlibatan ahli, perbaikan safety model, uga pemantauan lan penegakan.

GPT‑4 nggawa risiko sing padha karo model sadurungé, kayata ngasilaké saran mbebayani, kode sing bug, utawa informasi sing ora akurat. Nanging, kapabilitas tambahan GPT‑4 nggawé permukaan risiko anyar. Kanggo mangertèni sepira jembar risiko iki, kita melu luwih saka 50 ahli saka domain kaya risiko alignment AI, keamanan siber, risiko bio, trust and safety, lan keamanan internasional kanggo nguji model kanthi adversarial. Temuan saka para ahli iki mligi ngidini kita nguji prilaku model ing wilayah risiko dhuwur sing mbutuhaké kaprigelan kanggo ngevaluasi. Umpan balik lan data saka para ahli iki mlebu menyang mitigasi lan perbaikan model; contoné, kita nglumpukaké data tambahan kanggo ningkataké kemampuan GPT‑4 nolak panjaluk babagan cara nyintesis bahan kimia mbebayani.

GPT‑4 nggabungaké sinyal ganjaran safety tambahan sajrone latihan RLHF kanggo nyuda output mbebayani (kaya sing ditetepaké déning pandhuan panggunaan⁠(mbukak ing jendhela anyar) kita) kanthi nglatih model supaya nolak panjaluk konten kaya mangkono. Ganjaran iki diwènèhaké déning penggolong zero-shot GPT‑4 sing ngadili wates safety lan gaya completion ing prompt sing gegayutan safety. Kanggo nyegah model nolak panjaluk sing sah, kita nglumpukaké dataset sing manéka saka macem-macem sumber (umpamané data produksi berlabel, red-teaming manungsa, prompt sing diasilaké model) lan ngetrapaké sinyal ganjaran safety (kanthi nilai positif utawa negatif) ing kategori sing diidinaké lan sing ora diidinaké.

Mitigasi kita wis ningkataké akèh sipat safety GPT‑4 kanthi signifikan dibandhingaké karo GPT‑3.5. Kita nyuda kecenderungan model kanggo nanggapi panjaluk konten sing ora diidinaké nganti 82% dibandhingaké GPT‑3.5, lan GPT‑4 nanggapi panjaluk sensitif (umpamané saran medhis lan nyilakani awak dhéwé) miturut kabijakan kita 29% luwih kerep.

Sakabèhé, intervensi tingkat model sing kita lakoni nambah angelé kanggo micu prilaku ala, nanging iki isih bisa ditindakake. Kajaba kuwi, isih ana “jailbreaks” kanggo ngasilaké konten sing nglanggar pandhuan panggunaan⁠ kita. Nalika “risiko saben token” saka sistem AI mundhak, bakal dadi kritis kanggo nggayuh tingkat keandalan sing dhuwur banget ing intervensi iki; kanggo saiki penting kanggo nglengkapi winatesan iki nganggo tèknik safety nalika deployment kaya ngawasi panyalahgunaan.

GPT‑4 lan model penerus duwé potensi kanggo mengaruhi masyarakat kanthi signifikan, ing cara sing migunani uga mbebayani. Kita kerja bareng karo peneliti eksternal kanggo ningkataké cara kita mangertèni lan ngevaluasi dampak potensial, uga mbangun evaluasi kanggo kapabilitas mbebayani sing bisa muncul ing sistem mbésuk. Ora suwi manèh kita bakal nuduhaké luwih akèh pamikiran kita bab dampak sosial lan ekonomi potensial saka GPT‑4 lan sistem AI liyané.

Kaya model GPT sadurungé, model dasar GPT‑4 dilatih kanggo prédhiksi tembung sabanjuré ing dokumen, lan dilatih nganggo data sing kasedhiya umum (kayata data internet) uga data sing wis kita lisènsi. Data iki minangka korpus skala web sing kalebu solusi bener lan salah kanggo masalah matematika, nalar sing lemah lan kuwat, pernyataan sing saling mbantah lan sing konsisten, uga makili manéka ideologi lan gagasan.

Dadi nalika diwènèhi prompt pitakon, model dasar bisa nanggapi kanthi akèh cara sing bisa waé adoh saka maksud pangguna. Kanggo nyelarasaké karo maksud pangguna ing njero guardrails, kita nyetel alus prilaku model nganggo sinau penguatan kanthi umpan balik manungsa (Sinau Penguatan saka Umpan Balik Manungsa (RLHF)⁠).

Cathetan manawa kapabilitas model iki katon utamané asalé saka proses latihan awalan—RLHF ora ningkataké kinerja ujian (tanpa upaya aktif, malah nurunaké). Nanging, pengarahan model asalé saka proses pasca-latihan—model dasar mbutuhaké rekayasa prompt mung kanggo ngerti yèn dhèwèké kuduné njawab pitakon.

Fokus utama gedhé saka proyek GPT‑4 yaiku mbangun tumpukan sinau jero sing scaling-é bisa diprediksi. Alesan utamané yaiku amarga, kanggo latihan skala gedhé banget kaya GPT‑4, ora praktis nindakake tuning khusus model sing ekstensif. Kita ngembangaké infrastruktur lan optimasi sing prilakuné bisa diprediksi banget ing pirang-pirang skala. Kanggo verifikasi skalabilitas iki, kita wis prédhiksi kanthi akurat sadurungé final loss GPT‑4 ing codebase internal kita (dudu pérangan saka set latihan) kanthi ekstrapolasi saka model sing dilatih nganggo metodologi sing padha nanging nggunakaké compute 10.000x luwih sithik:

Saiki amarga kita bisa prédhiksi kanthi akurat metrik sing kita optimalaké sajrone latihan (loss), kita wiwit ngembangaké metodologi kanggo prédhiksi metrik sing luwih gampang diinterpretasi. Contoné, kita kasil prédhiksi tingkat lulus ing subset dataset HumanEval⁠(mbukak ing jendhela anyar), kanthi ekstrapolasi saka model sing nggunakaké compute 1.000x luwih sithik:

Sawetara kapabilitas isih angel diprediksi. Contoné, Inverse Scaling Prize yaiku kompetisi kanggo nemokaké metrik sing malah dadi luwih ala nalika compute model nambah, lan nglirwakaké pamawas mburi⁠(mbukak ing jendhela anyar) dadi salah siji pemenangé. Kaya asil anyar liyané,⁠(mbukak ing jendhela anyar) GPT‑4 mbalikké tren iki:

Kita yakin manawa prédhiksi kapabilitas machine learning mbésuk kanthi akurat iku pérangan penting saka safety sing ora entuk perhatian cukup dibandhingaké karo dampak potensialé (sanajan kita kasemangataké déning upaya saka sawetara institusi). Kita lagi nggedhèkaké upaya kanggo ngembangaké cara sing bisa maringi pandhuan luwih apik marang masyarakat babagan apa sing bisa diarepaké saka sistem mbésuk, lan kita ngarep iki dadi tujuan umum ing bidang iki.

Kita lagi mbukak sumber OpenAI Evals⁠(mbukak ing jendhela anyar), kerangka piranti lunak kita kanggo nggawe lan mbukak benchmark kanggo ngevaluasi model kaya GPT‑4, nalika mriksa kinerjané saben sampel. Kita nggunakaké Evals kanggo nuntun pangembangan model kita (ngenali kekurangan lan nyegah regresi), lan pangguna kita bisa nggunakaké kanggo nglacak kinerja antarversi model (sing saiki bakal metu kanthi rutin) lan integrasi produk sing terus berkembang. Contoné, Stripe wis nggunakaké Evals kanggo nglengkapi evaluasi manungsa kanggo ngukur akurasi alat dokumentasi sing didhukung GPT.

Amarga kabèh kode iki open-source, Evals ndhukung nulis kelas anyar kanggo ngetrapaké logika evaluasi kustom⁠(mbukak ing jendhela anyar). Nanging saka pengalaman kita dhéwé, akèh benchmark ngetutaké salah siji saka sawetara “cithakan,” mula kita uga nyakup cithakan⁠(mbukak ing jendhela anyar) sing paling migunani sacara internal (kalebu cithakan kanggo “model-graded evals”—kita nemokaké GPT‑4 kageté bisa banget mriksa gawéané dhéwé). Umumé cara paling efektif kanggo mbangun eval anyar⁠(mbukak ing jendhela anyar) yaiku nggawe instans saka salah siji cithakan iki bebarengan karo nyedhiyakké data. Kita semangat kanggo ndelok apa sing bisa dibangun wong liya nganggo cithakan iki lan Evals sacara luwih umum.

Kita ngarep-arep Evals dadi sarana kanggo nuduhaké lan crowdsourcing benchmark, makili set mode gagal lan tugas angel sing sakluwihé amba. Minangka conto, kita wis nggawe eval teka-teki logika⁠(mbukak ing jendhela anyar) sing ngandhut sepuluh prompt ing ngendi GPT‑4 gagal. Evals uga kompatibel kanggo ngetrapaké benchmark sing wis ana; kita wis nyakup sawetara notebook⁠(mbukak ing jendhela anyar) sing ngetrapaké benchmark akademik lan sawetara variasi integrasi (subset cilik) saka CoQA⁠(mbukak ing jendhela anyar) minangka conto.

Kita ngajak saben wong nggunakaké Evals kanggo nguji model kita lan ngirim conto sing paling menarik. Kita yakin Evals bakal dadi bagean integral saka proses nggunakaké lan mbangun ing ndhuwur model kita, lan kita nampani kontribusi langsung, pitakon, lan umpan balik⁠(mbukak ing jendhela anyar).

Pelanggan ChatGPT Plus bakal éntuk akses GPT‑4 ing chatgpt.com⁠(mbukak ing jendhela anyar) kanthi wates panggunaan. Kita bakal nyetel wates panggunaan sing pas gumantung panjaluk lan kinerja sistem ing praktik, nanging kita ngira bakal kekurangan kapasitas banget (sanajan kita bakal ngembangaké lan ngoptimalaké sajrone sasi-sasi ngarep).

Gumantung pola lalu lintas sing kita delok, kita bisa ngenalaké tingkat langganan anyar kanggo panggunaan GPT‑4 volume luwih dhuwur; kita uga ngarep-arep ing sawatara wektu bisa nawakaké sawetara pitakon GPT‑4 gratis supaya sing ora langganan uga bisa nyoba.

Kanggo éntuk akses menyang API GPT‑4 (sing nggunakaké API ChatCompletions⁠(mbukak ing jendhela anyar) sing padha karo gpt-3.5-turbo), mangga dhaptar ing waitlist kita⁠. Kita bakal miwiti ngundang sawetara pangembang dina iki, lan ngembang alon-alon kanggo ngimbangi kapasitas lan panjaluk. Yen sampeyan peneliti sing nyinaoni dampak sosial AI utawa masalah alignment AI, sampeyan uga bisa nglamar akses bersubsidi liwat Program Akses Peneliti⁠ kita.

Sawisé sampeyan nduwé akses, sampeyan bisa nggawe panjaluk mung teks menyang model gpt-4 (input gambar isih ing alpha winates), sing bakal otomatis dianyari menyang model stabil rekomendasi kita nalika versi anyar metu saka wektu ke wektu (sampeyan bisa ngunci versi saiki kanthi nelpon gpt-4-0314, sing bakal kita dhukung nganti 14 Juni). Regané $0.03 saben 1k token prompt lan $0.06 saben 1k token completion. Wates laju baku yaiku 40k token saben menit lan 200 panjaluk saben menit.

gpt-4 nduwé dawa konteks 8.192 token. Kita uga nyedhiyakké akses winates kanggo versi 32.768-konteks (udakara 50 kaca teks), gpt-4-32k, sing uga bakal dianyari otomatis saka wektu ke wektu (versi saiki gpt-4-32k-0314, uga didhukung nganti 14 Juni). Regané $0.06 saben 1K token prompt lan $0.12 saben 1k token completion. Kita isih ningkataké kualitas model kanggo konteks dawa lan seneng banget nampa umpan balik babagan kinerjané kanggo use-case sampeyan. Kita ngolah panjaluk kanggo engine 8K lan 32K kanthi tingkat sing béda adhedhasar kapasitas, mula sampeyan bisa waé nampa akses ing wektu sing béda.

Kita ngarep GPT‑4 dadi piranti sing migunani kanggo ningkataké urip wong kanthi nguwataké akèh aplikasi. Isih ana akèh gawéan sing kudu ditindakake, lan kita ngarep bisa ningkataké model iki liwat upaya bebarengan saka komunitas sing mbangun ing ndhuwuré, njelajah, lan nyumbang marang model iki.

Kanggo luwih lengkap: Waca makalah⁠(mbukak ing jendhela anyar) / Deleng kertu sistem⁠(mbukak ing jendhela anyar) / Coba ing ChatGPT Plus⁠(mbukak ing jendhela anyar) / Coba ing Playground⁠(mbukak ing jendhela anyar) / Tonton ulang demo livestream⁠(mbukak ing jendhela anyar) / Kontribusi menyang OpenAI Evals⁠(mbukak ing jendhela anyar)

Conto pitakon MMLU, diterjemahaké menyang basa liya. Cathetan, kita nggunakaké token pilihan sing konsisten (A–D):