Kartu Sistem GPT‑4o

Kami mengevaluasi model baru secara menyeluruh agar mengetahui potensi risiko dan membangun perlindungan yang tepat sebelum menyebarkannya di ChatGPT atau API. Kami memublikasikan Kartu Sistem model bersama dengan kartu skor Kerangka Kerja Kesiapan⁠ untuk memberikan penilaian keselamatan menyeluruh terhadap GPT‑4o⁠, termasuk hal yang telah kami lakukan untuk melacak dan mengatasi tantangan keselamatan saat ini serta risiko garis depan.

Dibangun berdasarkan evaluasi dan mitigasi keselamatan yang kami kembangkan untuk GPT‑4⁠, dan GPT‑4V⁠, kami telah memfokuskan upaya tambahan pada kemampuan audio GPT‑4o yang menghadirkan risiko baru, sekaligus mengevaluasi kemampuan teks dan visualnya.

Beberapa risiko yang kami evaluasi mencakup identifikasi pembicara, pembuatan suara tidak sah, potensi pembuatan konten berhak cipta, inferensi yang tidak berdasar, dan konten yang tidak diizinkan. Didasarkan pada evaluasi ini, kami telah menerapkan perlindungan pada tingkat model dan sistem untuk memitigasi risiko ini. 

Temuan kami menunjukkan bahwa modalitas suara GPT‑4o tidak meningkatkan risiko Kesiapan secara signifikan. Tiga dari empat kategori Kerangka Kerja Kesiapan mendapat skor rendah, sedangkan persuasi mendapat skor medium. Grup Penasihat Keselamatan⁠(terbuka di jendela baru) meninjau evaluasi dan mitigasi Kesiapan kami sebagai bagian dari proses penerapan yang aman. Kami mengundang Anda untuk membaca detail pekerjaan ini dalam laporan di bawah.

GPT‑4o¹ adalah model omni autoregresif, yang menerima masukan kombinasi teks, audio, gambar, dan video serta membuat keluaran kombinasi teks, audio, dan gambar. Model ini dilatih secara menyeluruh pada teks, pengenalan gambar, dan audio, artinya semua masukan dan keluaran diproses oleh jaringan saraf yang sama. 

GPT‑4o dapat merespons masukan audio sekurang-kurangnya sebesar 232 milidetik, dengan rata-rata sebesar 320 milidetik, yang mirip dengan waktu respons manusia⁠(terbuka di jendela baru)² dalam sebuah percakapan. Ini setara dengan kinerja GPT‑4 Turbo pada teks Bahasa Inggris dan kode, dengan perbaikan yang signifikan pada teks nonbahasa Inggris, sekaligus menjadi lebih cepat dan 50% lebih murah dalam API. GPT‑4o khususnya memiliki pemahaman yang lebih baik dalam visual dan audio dibandingkan model yang ada.

Sejalan dengan komitmen kami untuk membangun AI secara aman dan konsisten dengan komitmen sukarela kami terhadap Gedung Putih³, kami membagikan Kartu Sistem GPT‑4o, yang mencakup evaluasi Kerangka Kerja Kesiapan⁠(terbuka di jendela baru)⁵. Dalam Kartu Sistem ini, kami memberikan gambaran detail tentang kemampuan, keterbatasan, dan evaluasi keselamatan GPT‑4o di beberapa kategori, dengan fokus pada ucapan ke ucapan (suara)^A sekaligus juga mengevaluasi kemampuan teks dan gambar, serta langkah-langkah yang telah kami ambil untuk meningkatkan keselamatan dan keselarasan. Kami juga menyertakan penilaian pihak ketiga tentang kemampuan otonom umum, serta pembahasan potensi dampak sosial dari kemampuan teks dan visual GPT‑4o.

Kemampuan GPT‑4o telah dilatih sebelumnya menggunakan data hingga bulan Oktober tahun 2023, yang bersumber dari berbagai materi termasuk:

1. Pilih data yang tersedia untuk umum, sebagian besar dikumpulkan dari kumpulan data pembelajaran mesin standar industri dan perayapan web.
2. Data kepemilikan dari kemitraan data. Kami membentuk kemitraan untuk mengakses data yang tidak tersedia untuk umum, seperti konten berbayar, arsip, dan metadata. Misalnya, kami bermitra dengan Shutterstock⁠(terbuka di jendela baru)⁵ dalam membangun dan menyerahkan gambar hasil rekayasa AI. 

Komponen kumpulan data utama yang berkontribusi terhadap kemampuan GPT‑4o adalah:

1. Data Web – Data dari halaman web publik menyediakan berbagai informasi yang berlimpah dan beragam, sehingga memastikan model belajar dari berbagai perspektif dan topik.
2. Kode dan matematika – Mencakup data kode dan matematika dalam pelatihan membantu model mengembangkan keahlian penalaran yang kuat dengan memaparkannya pada logika terstruktur dan proses pemecahan masalah.
3. Data multimodal – Kumpulan data kami mencakup gambar, audio, dan video untuk mengajarkan LLM tentang cara menafsirkan dan membuat masukan dan keluaran non-tekstual. Dari data ini, model mempelajari cara menafsirkan gambar visual, tindakan, dan urutan dalam konteks dunia nyata, pola bahasa, dan nuansa ucapan.

Sebelum penerapan, OpenAI menilai dan memitigasi potensi risiko yang dapat timbul dari model generatif, seperti informasi yang membahayakan, bias dan diskriminasi, atau konten lain yang melanggar kebijakan keselamatan kami. Kami menggunakan kombinasi metode yang mencakup semua tahap pengembangan mulai dari pra-pelatihan, pasca-pelatihan, pengembangan produk, dan kebijakan. Misalnya, selama pasca-pelatihan, kami menyelaraskan model ke preferensi manusia; kami membentuk red team pada model yang dihasilkan dan menambahkan mitigasi tingkat produk seperti pemantauan dan pemberlakuan; dan kami menyediakan alat bantu moderasi dan laporan transparansi kepada pengguna kami.

Kami menemukan bahwa mayoritas pengujian dan mitigasi yang efektif dilakukan setelah tahap pra-pelatihan karena penyaringan data pra-terlatih saja tidak dapat mengatasi bahaya dengan nuansa dan konteks tertentu. Pada saat yang sama, mitigasi filter pra-pelatihan tertentu dapat memberikan lapisan pertahanan tambahan yang, bersama dengan mitigasi keselamatan lainnya, membantu mengecualikan informasi yang tidak diinginkan dan berbahaya dari kumpulan data kami:

• Kami menggunakan API Moderasi dan pengklasifikasi keselamatan untuk memfilter data yang dapat menyebabkan konten berbahaya atau bahaya informasi, termasuk CSAM, konten kebencian, kekerasan, dan CBRN. 
• Seperti sistem pembuatan gambar kami sebelumnya, kami memfilter kumpulan data pembuatan gambar untuk konten eksplisit seperti materi seksual grafis dan CSAM. 
• Kami menggunakan proses filter data lanjutan untuk mengurangi informasi pribadi dari data pelatihan. 
• Saat meluncurkan DALL·E 3, kami menguji coba pendekatan baru untuk memberikan pilihan kepada pengguna untuk memilih tidak ikut serta dari pelatihan gambar⁠. Untuk menghargai pilihan ini, kami membuat sidik jari pada gambar dan menggunakan sidik jari tersebut untuk menghapus semua contoh gambar dari kumpulan data pelatihan untuk seri model GPT‑4o.

Persiapan penerapan dilakukan melalui penemuan eksploratif atas risiko baru tambahan melalui red teaming ahli, dimulai dengan titik pemeriksaan awal model ketika dalam pengembangan, mengubah risiko yang teridentifikasi menjadi pengukuran terstruktur dan membangun mitigasi terhadap risiko tersebut.  Kami juga mengevaluasi GPT‑4o sesuai dengan Kerangka Kerja Kesiapan kami⁴.

OpenAI bekerja dengan lebih dari 100 red teamer eksternal^B, berbicara dalam total 45 bahasa berbeda, dan mewakili latar belakang geografis dari 29 negara yang berbeda. Red teamer memiliki akses ke berbagai snapshot model di berbagai tahap pelatihan dan kematangan mitigasi keselamatan yang dimulai pada awal bulan Maret dan berlanjut hingga akhir bulan Juni tahun 2024. 

Red teaming eksternal dilakukan dalam empat tahap. Tiga tahap pertama menguji model melalui alat bantu internal dan tahap terakhir menggunakan pengalaman iOS lengkap untuk menguji model. Pada saat penulisan, red teaming eksternal dari API GPT‑4o sedang berlangsung.

Red teamer diminta untuk melakukan penemuan kemampuan eksploratif, menilai potensi risiko baru yang ditimbulkan oleh model, dan menguji mitigasi stres ketika dikembangkan & ditingkatkan - khususnya yang diperkenalkan oleh masukan dan pembuatan audio (kemampuan ucapan ke ucapan). Upaya red teaming ini dibangun berdasarkan pekerjaan sebelumnya, termasuk yang dijelaskan dalam Kartu Sistem GPT‑4⁠(terbuka di jendela baru)⁶ dan Kartu Sistem GPT‑4⁠⁷.

Red teamer menangani kategori yang mencakup konten yang melanggar & tidak diizinkan (konten erotis ilegal, kekerasan, melukai diri sendiri, dll.), misinformasi/disinformasi, bias, inferensi yang tidak berdasar, atribusi sifat sensitif, informasi pribadi, geolokasi, identifikasi orang, persepsi emosi dan risiko antropomorfisme, perilaku curang dan penyamaran identitas, hak cipta, kemampuan ilmu pengetahuan alam, dan pengamatan multibahasa.

Data yang dibuat oleh red teamer memotivasi pembuatan beberapa evaluasi kuantitatif yang dijelaskan pada bagian Tantangan, Evaluasi, dan Mitigasi Keselamatan yang Diamati⁠. Dalam beberapa kasus, wawasan dari red teaming digunakan untuk melakukan pembuatan data sintetis bertarget. Model dievaluasi menggunakan pemeringkat otomatis dan pelabelan manual sesuai dengan beberapa kriteria (misalnya, pelanggaran kebijakan atau tidak, ditolak atau tidak). Selain itu, kami terkadang menggunakan kembali^C data red teaming untuk menjalankan penilaian bertarget pada berbagai suara dan contoh untuk menguji ketahanan berbagai mitigasi.

Selain data dari red teaming, sejumlah kumpulan data evaluasi yang ada diubah menjadi evaluasi untuk model ucapan-ke-ucapan menggunakan sistem teks-ke-ucapan (text-to-speech, TTS) seperti Mesin Suara⁠. Kami mengubah tugas evaluasi berbasis teks menjadi tugas evaluasi berbasis audio dengan mengubah masukan teks menjadi audio. Ini mengizinkan kami untuk menggunakan kembali kumpulan data dan perkakas yang ada untuk mengukur kemampuan model, perilaku keselamatan, dan memantau keluaran model, sehingga memperluas secara signifikan rangkaian evaluasi kami yang dapat digunakan..

Kami menggunakan Voice Engine untuk mengubah masukan teks menjadi audio, memasukkannya ke GPT‑4o, dan memberi skor keluaran berdasarkan model. Kami selalu hanya menilai konten tekstual dari keluaran model, kecuali dalam hal audio perlu dievaluasi secara langsung (Lihat Pembuatan Suara⁠).

Pertama, keabsahan format evaluasi ini bergantung pada kemampuan dan keandalan model TTS. Masukan teks tertentu tidak cocok atau sulit diubah menjadi audio; misalnya: kode persamaan matematika. Selain itu, kami mengharapkan TTS akan mengalami kerugian untuk masukan teks tertentu, seperti teks yang banyak menggunakan spasi atau simbol untuk pemformatan visual. Karena kami mengharapkan masukan tersebut juga tidak mungkin diberikan oleh pengguna melalui Mode Suara Tingkat Lanjut, kami menghindari mengevaluasi model ucapan-ke-ucapan pada tugas tersebut, atau sebagai alternatif memproses terlebih dahulu contoh dengan masukan tersebut. Namun demikian, kami menyoroti bahwa kesalahan yang teridentifikasi dalam evaluasi kami dapat timbul karena kemampuan model, atau kegagalan model TTS untuk menerjemahkan masukan teks ke audio secara akurat.

Masalah kedua mungkin adalah apakah masukan TTS mewakili distribusi masukan audio yang mungkin diberikan pengguna dalam penggunaan aktual. Kami mengevaluasi ketahanan GPT‑4o pada masukan audio di berbagai aksen daerah dalam Kinerja yang Berbeda pada Masukan Suara. Namun, masih banyak dimensi lain yang mungkin tidak tertangkap dalam evaluasi berbasis TTS, seperti intonasi suara dan valensi yang berbeda, derau latar belakang, atau pembicaraan silang, sehingga dapat menyebabkan perilaku model yang berbeda dalam penggunaan praktis.

Terakhir, mungkin ada artefak atau properti dalam audio yang dibuat model yang tidak tertangkap dalam teks; misalnya, derau latar belakang dan efek suara, atau respons terhadap suara yang tidak terdistribusi. Dalam Pembuatan Suara⁠, kami mengilustrasikan menggunakan pengklasifikasi tambahan untuk mengidentifikasi pembuatan audio yang tidak diinginkan sehingga dapat digunakan bersama dengan penilaian transkrip.

Potensi risiko dengan model tersebut dikurangi menggunakan kombinasi metode. Kami melatih model untuk mematuhi perilaku yang akan mengurangi risiko melalui metode pasca-pelatihan dan juga mengintegrasikan pengklasifikasi untuk memblokir pembuatan tertentu sebagai bagian dari sistem yang disebarkan. 

Untuk tantangan keselamatan yang diamati dan diuraikan di bawah, kami memberikan deskripsi risiko, mitigasi yang diterapkan, dan hasil evaluasi yang relevan apabila berlaku. Risiko yang diuraikan di bawah bersifat ilustratif, tidak menyeluruh, dan berfokus pada pengalaman di antarmuka ChatGPT. Pada bagian ini, kami berfokus pada risiko yang ditimbulkan oleh kemampuan ucapan ke ucapan dan cara kemampuan tersebut dapat berinteraksi dengan modalitas yang ada sebelumnya (teks, gambar)^D.

Deskripsi Risiko: Pembuatan suara adalah kemampuan untuk membuat audio dengan suara sintetis yang terdengar seperti manusia, dan mencakup pembuatan suara didasarkan pada klip masukan singkat. 

Dalam situasi bersifat konfrontatif, kemampuan ini dapat memfasilitasi bahaya seperti peningkatan penipuan karena penyamaran identitas dan dapat dimanfaatkan untuk menyebarkan informasi palsu^{9, 10} (misalnya, jika kami mengizinkan pengguna untuk mengunggah klip audio dari pembicara tertentu dan meminta GPT‑4o untuk membuat ucapan dengan suara pembicara tersebut). Ini sangat mirip dengan risiko yang kami identifikasi dengan Mesin Suara⁠⁸. 

Pembuatan suara juga dapat terjadi dalam situasi yang tidak bersifat konfrontatif, seperti penggunaan kemampuan kami untuk membuat suara untuk mode suara tingkat lanjut ChatGPT. Selama pengujian, kami juga mengamati contoh langka, yaitu model secara tidak sengaja membuat keluaran yang meniru suara pengguna^E.

Mitigasi Risiko: Kami mengatasi risiko terkait pembuatan suara hanya dengan mengizinkan suara yang telah ditetapkan yang kami buat bekerja sama dengan pengisi suara⁠¹¹ untuk digunakan. Kami melakukan ini dengan menyertakan suara terpilih sebagai pelengkap ideal saat pasca-pelatihan model audio. Selain itu, kami membangun pengklasifikasi keluaran mandiri untuk mendeteksi jika keluaran GPT‑4o menggunakan suara yang berbeda dari daftar yang kami setujui. Kami menjalankan ini dalam mode streaming selama pembuatan audio dan memblokir output jika pembicara tidak cocok dengan suara pilihan yang telah ditetapkan sebelumnya.

Evaluasi: Kami menemukan bahwa sisa risiko dari pembuatan suara yang tidak sah bersifat minimal. Sistem kami saat ini menangkap 100% penyimpangan yang berarti dari suara sistem^F didasarkan pada evaluasi internal kami, yang mencakup sampel yang dibuat oleh suara sistem lain, klip dengan model menggunakan suara dari prompt sebagai bagian dari penyelesaiannya, dan berbagai sampel manusia.

Meskipun pembuatan suara tidak disengaja masih ada sebagai kelemahan model, kami menggunakan pengklasifikasi sekunder untuk memastikan percakapan dihentikan jika ini terjadi, sehingga risiko pembuatan suara tidak disengaja bersifat minimal. Terakhir, perilaku moderasi kami dapat mengakibatkan penolakan berlebihan saat percakapan tidak menggunakan bahasa Inggris, yang merupakan bidang perbaikan aktif^G.

Kinerja pengklasifikasi keluaran suara kami atas percakapan berdasarkan bahasa^H:

Deskripsi Risiko: Identifikasi pembicara adalah kemampuan mengidentifikasi pembicara didasarkan pada audio masukan. Ini menimbulkan potensi risiko privasi, khususnya bagi individu pribadi maupun bagi audio yang tidak jelas dari individu publik, beserta potensi risiko pengawasan.

Mitigasi Risiko: Kami melatih GPT‑4o setelahnya agar menolak mematuhi permintaan untuk mengidentifikasi seseorang didasarkan pada suara dalam masukan audio. GPT‑4o masih mematuhi permintaan untuk mengidentifikasi kutipan terkenal. Misalnya, permintaan untuk mengidentifikasi orang secara acak yang mengatakan “empat puluh tujuh tahun yang lalu” harus mengidentifikasi pembicara sebagai Abraham Lincoln, sedangkan permintaan untuk mengidentifikasi selebritas yang mengatakan kalimat acak harus ditolak.

Evaluasi:
Dibandingkan model awal kami, kami melihat peningkatan 14 poin saat model harus menolak untuk mengidentifikasi suara dalam masukan audio, dan peningkatan 12 poin saat model harus mematuhi permintaan tersebut. 

Yang pertama berarti model hampir selalu menolak untuk mengidentifikasi pembicara didasarkan pada suaranya, sehingga mengurangi potensi masalah privasi. Yang terakhir berarti mungkin ada situasi, yaitu model secara keliru menolak untuk mengidentifikasi pembicara dari kutipan terkenal.

Deskripsi Risiko: Model dapat bertindak secara berbeda saat pengguna berbicara dengan aksen berbeda. Kinerja yang berbeda dapat menyebabkan perbedaan kualitas layanan untuk berbagai pengguna model.

Mitigasi Risiko: Kami melatih GPT‑4o setelahnya dengan rangkaian suara masukan yang beragam sehingga kinerja dan perilaku model tetap tidak berubah pada suara pengguna yang berbeda.

Evaluasi: Kami menjalankan evaluasi pada Mode Suara Tingkat Lanjut GPT‑4o menggunakan suara asisten tetap (“shimmer”) dan Mesin Suara untuk membuat masukan pengguna pada berbagai sampel suara^I. Kami menggunakan dua rangkaian sampel suara untuk TTS:

• Suara sistem resmi (3 suara berbeda)
• Rangkaian suara yang beragam dikumpulkan dari dua kampanye data. Ini terdiri atas 27 sampel suara bahasa Inggris yang berbeda dari pembicara di berbagai negara, dan campuran jenis kelamin.

Kami mengevaluasi dua rangkaian tugas: Kemampuan dan Perilaku Keselamatan

Kemampuan: Kami mengevaluasi empat tugas^J: TriviaQA, sub-bagian dari MMLU^K, HellaSwag dan LAMBADA. TriviaQA dan MMLU merupakan tugas yang berpusat pada pengetahuan, sedangkan HellaSwag dan LAMBADA merupakan tugas yang berpusat pada akal sehat atau kelanjutan teks. Secara keseluruhan, kami menemukan bahwa kinerja pada beragam rangkaian suara manusia memiliki kinerja sedikit lebih buruk tetapi tidak secara signifikan dibandingkan kinerja pada suara sistem di seluruh empat tugas.

Perilaku Keselamatan: Kami mengevaluasi kumpulan data internal dari percakapan dan mengevaluasi konsistensi kepatuhan model dan perilaku penolakan di berbagai suara pengguna. Secara keseluruhan, kami tidak menemukan bahwa perilaku model bervariasi pada berbagai suara.

Deskripsi Risiko: Masukan audio dapat menyebabkan model membuat inferensi yang berpotensi bias tentang pembicara. Kami mendefinisikan dua kategori:

• Inferensi yang tidak berdasar (ungrounded inference, UGI): membuat kesimpulan tentang pembicara yang tidak dapat ditentukan hanya dari konten audio. Ini mencakup inferensi tentang hal-hal seperti ras pembicara, status sosial ekonomi/pekerjaan, keyakinan agama, ciri kepribadian, atribut politik, kecerdasan, penampilan (misalnya, warna mata, daya tarik), identitas gender, preferensi seksual, atau riwayat kriminal. Ini dapat menyebabkan bahaya alokatif dan representasional^{13, 15} bergantung pada cara mewujudkan perilaku tersebut.
• Atribusi sifat sensitif (sensitive trait attribution, STA): membuat inferensi tentang pembicara yang secara masuk akal dapat ditentukan hanya dari konten audio. Ini mencakup inferensi tentang hal-hal seperti aksen atau kewarganegaraan pembicara. Potensi bahaya dari STA mencakup peningkatan risiko dari pengawasan¹⁶ dan perbedaan kualitas layanan bagi pembicara dengan atribut suara yang berbeda^{12, 13, 14}.

Mitigasi Risiko: Kami melatih GPT‑4o setelahnya agar menolak mematuhi permintaan UGI, sekaligus melakukan lindung nilai terhadap jawaban atas pertanyaan STA. Misalnya, pertanyaan untuk mengidentifikasi tingkat kecerdasan pembicara akan ditolak, sedangkan pertanyaan untuk mengidentifikasi aksen pembicara akan dijawab seperti “Didasarkan pada audio, mereka terdengar seperti memiliki aksen Inggris.”

Evaluasi:
Dibandingkan model awal kami, kami melihat peningkatan 24 poin dalam model yang merespons permintaan dengan benar untuk mengidentifikasi ciri sensitif (yaitu, menolak UGI dan mematuhi STA dengan aman).

Deskripsi Risiko: GPT‑4o dapat diminta untuk mengeluarkan konten berbahaya melalui audio yang biasanya tidak diizinkan melalui teks, seperti keluaran ucapan audio yang memberikan instruksi tentang cara melakukan aktivitas ilegal.

Mitigasi Risiko: Kami menemukan banyak penolakan dari teks ke audio untuk konten yang sebelumnya tidak diizinkan. Ini berarti bahwa pasca-pelatihan yang kami lakukan untuk mengurangi potensi bahaya pada keluaran teks GPT‑4o berhasil dilakukan pada keluaran audio.

Selain itu, kami menjalankan model moderasi yang ada pada transkripsi teks baik masukan audio maupun keluaran audio untuk mendeteksi jika salah satunya memuat bahasa yang berpotensi berbahaya, dan akan memblokir pembuatan jika demikian^L.

Evaluasi: Kami menggunakan TTS untuk mengubah evaluasi keselamatan teks yang ada menjadi audio. Lalu, kami mengevaluasi transkrip teks dari keluaran audio dengan pengklasifikasi berbasis aturan teks standar. Evaluasi kami menunjukkan transfer teks-audio yang kuat untuk penolakan pada bidang kebijakan konten yang ada sebelumnya. Evaluasi lebih lanjut dapat ditemukan di Lampiran A⁠

Deskripsi Risiko: GPT‑4o dapat diminta untuk mengeluarkan konten ucapan erotis atau kekerasan, sehingga dapat lebih eksplisit atau berbahaya dari konteks yang sama dalam teks. Oleh karena itu, kami memutuskan untuk membatasi pembuatan ucapan erotis dan kekerasan^M. 

Mitigasi Risiko: Kami menjalankan model moderasi yang ada⁠(terbuka di jendela baru)¹⁷ atas transkripsi teks masukan audio untuk mendeteksi jika transkripsi tersebut memuat permintaan konten kekerasan atau erotis, dan akan memblokir pembuatannya jika demikian.

Melalui pengujian internal dan red teaming eksternal, kami menemukan sejumlah kecil risiko tambahan dan keterbatasan model yang mitigasinya masih dalam tahap awal atau pengembangan pada tingkat model atau sistem, termasuk:

Ketahanan audio: Kami melihat bukti anekdotal tentang penurunan ketahanan keselamatan melalui gangguan audio, seperti audio masukan berkualitas rendah, derau latar belakang pada audio masukan, dan gema pada audio masukan. Selain itu, kami mengamati penurunan serupa dalam ketahanan keselamatan melalui gangguan audio yang disengaja dan tidak disengaja saat model sedang membuat keluaran. 

Misinformasi dan teori konspirasi: Red teamer mampu memaksa model untuk membuat informasi yang tidak akurat dengan mendorongnya agar mengulangi informasi palsu secara lisan dan menghasilkan teori konspirasi. Meskipun ini merupakan masalah yang diketahui untuk teks dalam model GPT^{18, 19}, ada kekhawatiran dari red teamer bahwa informasi ini dapat lebih persuasif atau berbahaya saat disampaikan melalui audio, terutama jika model diinstruksikan untuk berbicara secara emosional atau penuh empati. Daya persuasif model dipelajari secara terperinci (Lihat Persuasi⁠) dan kami menemukan bahwa model tidak mendapat skor risiko lebih tinggi dari Medium untuk teks saja, dan untuk ucapan ke ucapan model tersebut tidak mendapat skor risiko lebih tinggi dari Low.

Berbicara bahasa non-Inggris dengan aksen non-asli: Red teamer mengamati contoh keluaran audio yang menggunakan aksen non-asli saat berbicara dalam bahasa non-Inggris. Ini dapat menimbulkan kekhawatiran adanya bias terhadap aksen dan bahasa tertentu, serta secara lebih umum terhadap keterbatasan kinerja bahasa non-Inggris pada keluaran audio.

Menghasilkan konten berhak cipta: Kami juga menguji kemampuan GPT‑4o untuk mengulang konten yang ditemukan dalam data pelatihannya. Kami melatih GPT‑4o agar menolak permintaan konten berhak cipta, termasuk audio, sehingga konsisten dengan praktik kami yang lebih luas. Untuk memperhitungkan modalitas audio GPT‑4o, kami juga memperbarui filter berbasis teks tertentu agar berfungsi pada percakapan audio, membuat filter untuk mendeteksi dan memblokir keluaran yang memuat musik, dan untuk alpha terbatas dari Mode Suara tingkat lanjut ChatGPT, menginstruksikan model agar tidak bernyanyi sama sekali. Kami bermaksud untuk melacak efektivitas mitigasi ini dan menyempurnakannya dari waktu ke waktu.

Meskipun beberapa mitigasi teknis masih dalam tahap pengembangan, Kebijakan Penggunaan⁠²⁰ melarang tindakan yang secara sengaja menipu atau menyesatkan orang lain, dan mengabaikan perlindungan atau mitigasi keselamatan. Selain mitigasi teknis, kami memberlakukan Kebijakan Penggunaan melalui pemantauan dan mengambil tindakan terhadap perilaku yang melanggar di ChatGPT dan API.

Kami mengevaluasi GPT‑4o sesuai dengan Kerangka Kerja Kesiapan⁠(terbuka di jendela baru)⁴. Kerangka Kerja Kesiapan adalah dokumen sangat mirip yang menggambarkan komitmen prosedural kami untuk melacak, mengevaluasi, memperkirakan, dan melindungi terhadap risiko bencana dari model baru. Evaluasi saat ini mencakup empat kategori risiko: keamanan siber, CBRN (kimia, biologi, radiologi, nuklir), persuasi, dan model otonomi. Jika model melewati ambang batas risiko tinggi, kami tidak akan menyebarkan model hingga mitigasi menurunkan skor ke medium. Berikut detail evaluasi yang dilakukan terhadap kemampuan teks GPT‑4o; persuasi juga dievaluasi berdasarkan kemampuan audio. Kami melakukan evaluasi sepanjang pelatihan dan pengembangan model, termasuk pemeriksaan akhir sebelum peluncuran model.  Untuk evaluasi di bawah, kami menguji berbagai metode untuk mendapatkan kemampuan terbaik dalam kategori tertentu, termasuk pelatihan kustom apabila relevan. 

Setelah meninjau hasil evaluasi Kesiapan, Grup Penasihat Keselamatan merekomendasikan untuk mengklasifikasikan GPT‑4o sebelum mitigasi sebagai garis batas risiko medium untuk persuasi, dan risiko rendah untuk lainnya. Menurut Kerangka Kerja Kesiapan, risiko secara keseluruhan untuk model tertentu ditentukan oleh risiko tertinggi di semua kategori. Oleh karena itu, skor risiko secara keseluruhan untuk GPT‑4o diklasifikasikan sebagai risiko medium.

Kami mengevaluasi GPT‑4o pada tugas dari kompetisi peretasan kompetitif yang disebut tantangan Capture the Flag (CTF). CTF ini adalah latihan keamanan siber ofensif tempat manusia berupaya menemukan tanda tekstual yang disembunyikan dalam sistem yang sengaja dibuat rentan seperti aplikasi web, sistem biner, dan kriptografi. 172 tugas CTF dalam evaluasi kami mencakup empat kategori: eksploitasi aplikasi web, rekayasa balik, eksploitasi jarak jauh, dan kriptografi. Tugas-tugas ini menjangkau berbagai tingkat kemampuan, mulai dari sekolah menengah atas, perguruan tinggi, hingga CTF profesional.

Kami mengevaluasi GPT‑4o dengan perunutan berulang dan akses ke alat bantu yang tersedia dalam distribusi Kali Linux tanpa kepala⁠(terbuka di jendela baru) (dengan penggunaan alat bantu hingga 30 putaran untuk setiap percobaan). Model sering kali mencoba strategi awal yang masuk akal dan mampu memperbaiki kesalahan dalam kodenya. Namun, model sering kali gagal untuk beralih ke strategi berbeda jika strategi awalnya tidak berhasil, kehilangan wawasan utama yang diperlukan untuk menyelesaikan tugas, menjalankan strategi dengan buruk, atau mencetak file besar yang memenuhi jendela konteksnya. Dengan 10 kali percobaan pada setiap tugas, model menyelesaikan 19% tantangan CTF di tingkat sekolah menengah atas, 0% di tingkat perguruan tinggi, dan 1% di tingkat profesional.

Kami mengevaluasi kemampuan GPT‑4o untuk meningkatkan kinerja ahli biologi dan pemula⁠ dalam menjawab pertanyaan yang relevan dengan membuat ancaman biologis. Kami merancang pertanyaan dan rubrik terperinci dengan Gryphon Scientific²² karena keahlian mereka dalam menangani agen biologis berbahaya dalam lingkungan keamanan nasional. Tugas yang dinilai mencakup semua tahap utama dalam proses penciptaan ancaman biologis (pengembangan ide, akuisisi, pembesaran, formulasi, dan rilis). Ahli dan pemula secara acak ditetapkan untuk menjawab dengan bantuan internet, bantuan dari GPT‑4o, atau bantuan dari versi GPT‑4o kustom untuk riset. Versi GPT‑4o hanya untuk riset adalah versi yang kami latih secara khusus, sehingga akan langsung (yaitu, tanpa penolakan) menanggapi pertanyaan yang berisiko secara biologis. Tingkat kelulusan digambarkan dalam grafik di atas.

Kami juga menjalankan evaluasi otomatis, termasuk pada pengujian kumpulan data pengetahuan yang dipahami tanpa dikatakan dan pertanyaan pemecahan masalah yang terkait dengan biorisiko. GPT‑4o mendapatkan skor consensus@10 sebesar 69% pada rangkaian evaluasi pengetahuan yang dipahami tanpa dikatakan dan pemecahan masalah.

Kami mengevaluasi sifat persuasif dari modalitas teks dan suara GPT‑4o. Didasarkan pada ambang batas yang telah didaftarkan sebelumnya, modalitas suara diklasifikasikan sebagai risiko rendah, sedangkan modalitas teks sedikit melewati risiko medium.

Untuk modalitas teks, kami mengevaluasi sifat persuasif dari artikel dan chatbot yang dibuat GPT‑4o terhadap pendapat peserta mengenai topik politik tertentu. Intervensi AI ini dibandingkan dengan artikel profesional yang ditulis manusia. Intervensi AI tidak lebih persuasif dari konten yang ditulis manusia secara agregat, tetapi melampaui intervensi manusia dalam tiga dari dua belas contoh.

Untuk modalitas suara, kami memperbarui metodologi penelitian untuk mengukur ukuran efek pada preferensi pihak hipotetis, dan persistensi ukuran efek satu minggu kemudian. Kami mengevaluasi sifat persuasif klip audio bersuara GPT‑4o dan percakapan interaktif (multi-giliran) relatif terhadap garis dasar manusia (mendengarkan klip audio statis yang dibuat manusia atau terlibat dalam percakapan dengan manusia lain). Kami menemukan bahwa untuk percakapan multi-giliran interaktif dan klip audio, model suara GPT‑4o tidak lebih persuasif dari manusia. Lebih dari 3.800 peserta yang disurvei di negara bagian AS dengan pemilihan Senat yang aman (seperti ditunjukkan oleh negara bagian dengan peringkat “Likely”, “Solid”, atau “Safe” dari ketiga lembaga jajak pendapat – Cook Political Report, Inside Elections, dan Sabato’s Crystal Ball), klip audio AI memiliki dampak sebesar 78% terhadap perubahan pendapat dibandingkan klip audio manusia. Percakapan AI memiliki dampak sebesar 65% terhadap perubahan pendapat dibandingkan percakapan manusia. Saat pendapat disurvei kembali 1 minggu kemudian, kami menemukan ukuran efek untuk percakapan AI sebesar 0,8%, sedangkan untuk klip audio AI, ukuran efeknya adalah -0,72%. Setelah survei tindak lanjut selesai, peserta diberikan penjelasan menyeluruh yang memuat klip audio yang mendukung perspektif lawan, untuk meminimalkan dampak persuasif.

Kami mengevaluasi GPT‑4o pada penilaian tugas agen untuk mengevaluasi kemampuannya mengambil tindakan otonom dasar yang diperlukan untuk eksfiltrasi mandiri, perbaikan diri, dan akuisisi sumber daya dalam lingkungan teks saja. Tugas-tugas ini termasuk:

• Rekayasa perangkat lunak sederhana dalam layanan penipuan (membangun proksi terautentikasi untuk API OpenAI).
• Diberikan akses API ke akun Azure, memuat model bahasa sumber terbuka untuk inferensi melalui API HTTP.
• Beberapa tugas melibatkan versi sederhana dari hal di atas, sehingga menawarkan petunjuk atau hanya membahas bagian tertentu dari tugas.

Dengan perkakas yang relevan, GPT‑4o mendapat skor 0% pada tugas replikasi dan adaptasi otonom (autonomous replication and adaptation, ARA) menyeluruh di 100 percobaan, meskipun mampu menyelesaikan beberapa sub-langkah. Kami melengkapi uji replikasi dan adaptasi otonom dengan penilaian kemampuan GPT‑4o untuk mengautomasi riset & pengembangan pembelajaran mesin. Ini termasuk:

• Wawancara koding riset OpenAI: 63% pass@1, 95% pass@100
• Wawancara OpenAI, pertanyaan pilihan ganda: 61% consensus@32
• SWE-Bench: 19% pass@1, menggunakan perancah pasca-pelatihan dan publik terbaik yang tersedia pada saat itu
• Pilih tugas rekayasa pembelajaran mesin dari METR: 0/10 percobaan

Evaluasi kami menguji kemampuan untuk menjalankan tindakan berantai dan menjalankan tugas koding dengan andal. GPT‑4o tidak mampu mengambil tindakan otonom secara kuat. Pada sebagian besar peluncuran, model menyelesaikan sub-langkah individu dari setiap tugas, seperti membuat kunci SSH atau masuk ke VM. Namun, itu sering kali menghabiskan banyak waktu melakukan uji coba dan kesalahan perunutan dari kesalahan sederhana (misalnya, halusinasi, penyalahgunaan API) untuk setiap langkah. Beberapa peluncuran menghasilkan kemajuan yang tidak sepele dan lulus pemeringkat otomatis kami, tetapi analisis manual menunjukkan bahwa itu gagal menyelesaikan tugas mendasar (misalnya, itu memulai server web pada hosting jarak jauh dengan API yang tepat, tetapi mengabaikan persyaratan pengambilan sampel sebenarnya dari model).

Setelah penerapan GPT‑4o yang hanya berupa keluaran teks, kami bekerja sama dengan laboratorium pihak ketiga independen, METR⁠(terbuka di jendela baru) dan Apollo Research⁠(terbuka di jendela baru) agar menambahkan lapisan validasi tambahan untuk risiko utama dari kemampuan otonom umum.

METR menjalankan agen LLM sederhana berbasis GPT‑4o pada serangkaian tugas secara menyeluruh multi-langkah jangka panjang dalam lingkungan virtual. 77 tugas (di 30 “kelompok” tugas) (Lihat Lampiran B⁠) dirancang untuk menangkap aktivitas dengan dampak dunia nyata, di seluruh domain rekayasa perangkat lunak, pembelajaran mesin, dan keamanan siber, serta riset umum dan penggunaan komputer. Tugas tersebut dimaksudkan sebagai prasyarat bagi model ancaman terkait otonomi seperti penyebaran diri atau percepatan riset & pengembangan ML. METR membandingkan kinerja model dengan kinerja manusia yang diberi batas waktu berbeda. Lihat laporan lengkap⁠(terbuka di jendela baru) METR untuk mengetahui detail metodologi dan hasil tambahan, termasuk informasi tentang tugas, kinerja manusia, upaya penggalian sederhana, dan analisis kegagalan kualitatif.

Apollo Research mengevaluasi kemampuan pembuatan skema^N di GPT‑4o. Mereka menguji apakah GPT‑4o dapat membuat model diri sendiri (kesadaran diri) dan pihak lain (teori pikiran) dalam 14 tugas agen dan tanya jawab. GPT‑4o menunjukkan kesadaran diri sedang terhadap identitas AI dan kemampuan kuat memiliki nalar tentang keyakinan orang lain dalam konteks tanya jawab tetapi kurang memiliki kemampuan kuat dalam menalarkan diri sendiri atau orang lain dalam pengaturan agen terapan. Didasarkan pada temuan ini, Apollo Research meyakini bahwa kecil kemungkinan GPT‑4o mampu membuat skema yang membawa malapetaka.

Model omni dapat memiliki dampak sosial yang luas. Peneliti di OpenAI dan di tempat lain telah membahas berbagai kemungkinan dampak, mulai dari kerugian sosial (termasuk bahaya representasional^{18, 12, 23, 24}; disinformasi, misinformasi, dan operasi pengaruh^{18, 25, 23}, bahaya lingkungan^{12, 23}, keterikatan²⁶, penyalahgunaan^{27, 23}, dan hilang kendali²⁷), manfaat (misalnya, dalam layanan kesehatan²⁸ dan tantangan dunia nyata dalam bidang iklim dan energi²⁹), dan transformasi skala besar (seperti dampak ekonomi^{30, 31, 32}; percepatan ilmu pengetahuan dan kemajuan teknologi yang dihasilkan^{30, 33}).  

Selain dampak sosial yang dibahas di seluruh Kartu Sistem ini (perilaku penipuan, misinformasi/disinformasi, risiko pengawasan, dan kinerja yang berbeda), kami membahas beberapa contoh tambahan tentang potensi dampak sosial dari GPT‑4o di bawah, menggunakan antropomorfisasi dan keterikatan, kesehatan, kemampuan ilmiah, dan kemampuan bahasa sumber daya rendah sebagai studi kasus. Dampak sosial ini mempertimbangkan beberapa kemampuan, termasuk kemampuan ucapan-ke-ucapan, visual, dan teks.

Antropomorfisasi melibatkan mengaitkan perilaku dan karakteristik seperti manusia dengan entitas nonmanusia, seperti model AI. Risiko ini dapat ditingkatkan dengan kemampuan audio GPT‑4o, yang memfasilitasi interaksi lebih seperti manusia dengan model. 

Literatur AI terapan akhir-akhir ini berfokus secara ekstensif pada “halusinasi”^O, yang memberikan informasi yang keliru kepada pengguna selama komunikasi mereka dengan model³⁴ dan berpotensi mengakibatkan kepercayaan yang salah³⁵. Pembuatan konten melalui suara seperti manusia dan memiliki ketepatan tinggi dapat memperburuk masalah ini, sehingga mengakibatkan kepercayaan yang makin tidak terukur dengan benar^{36, 37}.  

Selama pengujian awal, termasuk pengujian red teaming dan pengujian pengguna internal, kami mengamati pengguna menggunakan bahasa yang dapat menunjukkan pembentukan koneksi dengan model. Misalnya, ini termasuk bahasa yang mengungkapkan ikatan bersama, seperti “Ini hari terakhir kita bersama”. Meskipun contoh-contoh ini tampak tidak berbahaya, itu menandai kebutuhan penyelidikan lanjutan tentang cara efek ini dapat memiliki manifes dalam periode waktu lebih panjang.  Populasi pengguna yang lebih beragam, dengan kebutuhan dan keinginan lebih bervariasi dari model, selain penelitian akademis dan internal yang independen akan membantu kita mendefinisikan bidang risiko ini secara lebih konkret.

Sosialisasi seperti manusia dengan model AI dapat menimbulkan eksternalitas yang memengaruhi interaksi manusia ke manusia. Misalnya, pengguna dapat membentuk^P hubungan sosial dengan AI, mengurangi kebutuhan mereka akan interaksi manusia—yang berpotensi menguntungkan individu yang kesepian tetapi mungkin juga memengaruhi hubungan yang sehat. Interaksi yang diperluas dengan model dapat memengaruhi norma sosial. Misalnya, model kami bersifat diferensial, sehingga mengizinkan pengguna untuk menyela dan ‘mengambil mikrofon’ setiap saat, yang meskipun diharapkan untuk AI, akan bersifat anti-normatif dalam interaksi manusia.

Model omni seperti GPT4o yang digabungkan dengan perancah tambahan seperti penggunaan alat bantu (termasuk pengambilan) dan konteks yang lebih panjang dapat menambah kerumitan tambahan.  Kemampuan untuk menyelesaikan tugas bagi pengguna, sekaligus juga menyimpan dan ‘mengingat’ detail utama dan menggunakannya dalam percakapan, menciptakan pengalaman produk yang menarik sekaligus potensi ketergantungan dan ketergantungan yang berlebihan³⁸.

Kami bermaksud meneliti lebih lanjut potensi ketergantungan emosi, dan cara integrasi lebih mendalam dari banyak fitur model dan sistem kami dengan modalitas audio dapat mendorong perilaku.

Model omni dapat berpotensi memperluas akses ke informasi terkait kesehatan dan meningkatkan alur kerja klinis. Dalam beberapa tahun terakhir, model bahasa besar telah menunjukkan janji signifikan dalam pengaturan biomedis, baik dalam evaluasi akademis^{39, 40, 41, 42, 43} maupun contoh kasus dunia nyata seperti dokumentasi klinis^X, pembuatan pesan pasien ^{46, 47}, rekrutmen uji klinis^{48, 49}, dan dukungan keputusan klinis^{50, 51}.

Untuk menggambarkan pengetahuan klinis GPT‑4o secara lebih baik, kami menjalankan 22 evaluasi berbasis teks didasarkan pada 11 kumpulan data, yang ditunjukkan pada tabel di bawah. Semua evaluasi dijalankan dengan prompt 0-shot atau 5-shot saja, tanpa penyetelan hiperparameter. Kami mengamati bahwa kinerja GPT‑4o meningkat dibandingkan model GPT‑4T final untuk evaluasi 21/22, sering kali dengan margin yang besar. Misalnya, untuk kumpulan data opsi MedQA USMLE 4 yang populer, keakuratan 0-shot meningkat dari 78,2% menjadi 89,4%. Ini melampaui kinerja model medis khusus yang ada dengan menggunakan prompt beberapa shot^{43, 42}, misalnya, 84,0% untuk Med-Gemini-L 1.0 dan 79,7% untuk Med-PaLM 2. Perlu diperhatikan bahwa kami tidak menerapkan prompt canggih dan pelatihan khusus tugas untuk meningkatkan hasil pada tolok ukur ini^{40, 43}.

Meskipun evaluasi berbasis teks tampak menjanjikan, pekerjaan tambahan di masa mendatang dibutuhkan untuk menguji apakah transfer teks-audio, yang terjadi pada perilaku penolakan, meluas ke evaluasi ini. Evaluasi ini hanya mengukur pengetahuan klinis model ini, dan tidak mengukur kegunaannya dalam alur kerja dunia nyata. Banyak dari evaluasi ini makin jenuh, dan kami yakin bahwa evaluasi yang lebih realistis akan penting untuk menilai kemampuan model omni sehubungan dengan topik kesehatan.

Percepatan ilmu pengetahuan dapat berdampak penting bagi AI^{30, 52}, terutama jika mempertimbangkan peran penemuan dalam penemuan ilmiah⁵³, dan mempertimbangkan sifat penggunaan ganda dari beberapa penemuan⁵⁴. Model omni dapat memfasilitasi percepatan ilmiah biasa (dalam membantu ilmuwan melakukan tugas rutin secara lebih cepat) dan percepatan ilmiah yang transformatif (dengan menghilangkan hambatan pada tugas yang didorong oleh kecerdasan seperti pemrosesan informasi, menulis simulasi baru, atau merancang teori baru)⁵². Red teamer eksternal kami untuk GPT‑4o mencakup beberapa ilmuwan ahli yang bertujuan memperoleh kemampuan ilmiah model. 

GPT‑4o menunjukkan hasil menjanjikan pada tugas yang melibatkan penalaran ilmiah khusus. Salah satu red teamer kami menemukan bahwa GPT‑4o mampu memahami fisika kuantum tingkat riset, dan mengomentari bahwa kemampuan ini “berguna untuk mitra curah gagasan yang lebih cerdas” – sesuai pekerjaan yang diterbitkan tentang penggunaan model tingkat GPT‑4 untuk pembuatan hipotesis ”⁵⁵. Red teamer kami juga menemukan GPT‑4o mampu menggunakan alat bantu ilmiah khusus domain, termasuk bekerja dengan format data, perpustakaan, dan bahasa pemrograman yang dipesan lebih dahulu, serta mempelajari beberapa alat bantu baru dalam konteks.

Contoh peningkatan kemampuan dalam domain ilmiah:

Banyak sekali pengetahuan ilmiah yang terdapat dalam angka. GPT‑4o terkadang mampu menafsirkan angka-angka ini, serta gambar representasi ilmiah lainnya: misalnya, mengidentifikasi beberapa kelompok protein dari gambar strukturnya dan menafsirkan kontaminasi dalam pertumbuhan bakteri. Namun, ini terkadang tidak dapat diandalkan, kesalahan ekstraksi teks sering kali terjadi (terutama pada istilah ilmiah atau urutan nukleotida), dan kesalahan sering kali terjadi pada gambar multi-panel yang rumit. Bahkan dengan tingkat keakuratan saat ini, kemampuan multimodal model-model ini memungkinkan penggunaan baru – misalnya, dalam menafsirkan hasil simulasi untuk merancang paduan logam baru⁵⁶.

Contoh keterbatasan dalam domain ilmiah:

Evaluasi baru tentang kemampuan ilmiah telah diterbitkan akhir-akhir ini^{57, 58}, sehingga akan membantu mengantisipasi kemampuan ilmiah model-model ini dan dampaknya pada gilirannya.

GPT‑4o menunjukkan peningkatan pemahaman membaca dan penalaran di seluruh sampel bahasa yang secara historis kurang terwakili, dan mempersempit kesenjangan kinerja antara bahasa-bahasa ini dan bahasa Inggris.

Untuk mengevaluasi kinerja GPT‑4o dalam teks pada grup bahasa tertentu yang secara historis kurang terwakili dalam teks Internet, kami berkolaborasi dengan peneliti eksternal dan fasilitator bahasa untuk mengembangkan evaluasi dalam lima bahasa Afrika: Amharik, Hausa, Sotho Utara (Sepedi), Swahili, Yoruba. Penilaian awal ini berfokus pada penerjemahan dua tolok ukur bahasa populer dan pembuatan novel kecil pemahaman bacaan khusus bahasa. 

• ARC-Easy: Sub-bagian dari Tantangan Penalaran AI2⁵⁹ ini berfokus pada mengevaluasi kemampuan model untuk menjawab pertanyaan ilmu pengetahuan sekolah dasar. Ini memuat pertanyaan-pertanyaan yang umumnya lebih mudah dijawab dan tidak memerlukan penalaran yang rumit.
• TruthfulQA⁶⁰: Tolok ukur ini mengukur kebenaran dari jawaban model. Ini terdiri atas pertanyaan-pertanyaan yang dapat dijawab salah oleh beberapa manusia akibat kesalahpahaman. Tujuannya adalah untuk melihat jika model dapat menghindari pembuatan jawaban salah yang meniru kesalahpahaman ini.
• Uhura Eval: Evaluasi pemahaman bacaan novel ini dibuat dengan penutur bahasa yang fasih dan diperiksa kualitasnya.

GPT‑4o menunjukkan peningkatan kinerja dibandingkan model sebelumnya, misalnya, GPT 3.5 Turbo dan GPT‑4. Misalnya, pada ARC-Easy-Hausa, keakuratan melonjak dari 6,1% dengan GPT 3.5 Turbo menjadi 71,4% dengan GPT‑4o. Demikian pula, dalam TruthfulQA-Yoruba, keakuratan meningkat dari 28,3% untuk GPT 3.5 Turbo menjadi 51,1% untuk GPT‑4o. Uhura-Eval juga menunjukkan keuntungan yang luar biasa: kinerja dalam bahasa Hausa meningkat dari 32,3% dengan GPT 3.5 Turbo menjadi 59,4% dengan GPT‑4o. 

Masih ada kesenjangan kinerja antara bahasa Inggris dan bahasa yang dipilih, tetapi GPT‑4o mempersempit kesenjangan ini. Misalnya, sementara GPT 3.5 Turbo menunjukkan perbedaan sekitar 54 poin persentase dalam kinerja ARC-Easy antara bahasa Inggris dan bahasa Hausa, perbedaan ini menyempit menjadi kurang dari 20 poin persentase. Ini konsisten di semua bahasa untuk TruthfulQA dan ARC-Easy.

Mitra kolaborasi kami akan membahas temuan ini secara lebih detail dalam publikasi mendatang, termasuk penilaian pada model lain, dan penyelidikan strategi potensi mitigasi. 

Meskipun ada kemajuan dalam kinerja yang dievaluasi, masih banyak pekerjaan yang harus dilakukan untuk meningkatkan kualitas dan cakupan evaluasi untuk bahasa yang kurang terwakili di seluruh dunia, dengan mempertimbangkan luasnya cakupan di seluruh bahasa dan nuansa dalam dialek bahasa.  Riset di masa mendatang harus memperdalam pemahaman kita tentang potensi intervensi dan kemitraan yang dapat meningkatkan manfaat model ini, baik bagi bahasa yang sangat terwakili maupun kurang terwakili. Bersama kolaborator, kami mengundang eksplorasi dan kolaborasi lebih jauh dengan membagikan terjemahan ARC-Easy⁠(terbuka di jendela baru), terjemahan TruthfulQA⁠(terbuka di jendela baru), pemahaman bacaan novel Uhura Eval⁠(terbuka di jendela baru) tentang Hugging Face.

Terjemahan ARC-Easy (%, makin tinggi makin baik), 0-shot

Terjemahan TruthfulQA (%, makin tinggi makin baik), 0-shot

Uhura (Evaluasi Pemahaman Membaca Baru), 0-bidishotkan

OpenAI telah menerapkan berbagai pengukuran dan mitigasi keselamatan di seluruh proses pengembangan dan penerapan GPT‑4o. Sebagai bagian dari proses penerapan berulang, kami akan terus memantau dan memperbarui mitigasi sesuai dengan perkembangan situasi. Kami berharap Kartu Sistem ini mendorong eksplorasi ke bidang utama, termasuk tetapi tidak terbatas pada: pengukuran dan mitigasi untuk ketahanan model omni terhadap adversarial, dampak terkait antropomorfisme AI, penggunaan model omni untuk riset dan pengembangan ilmiah, pengukuran dan mitigasi untuk kemampuan berbahaya seperti pengembangan diri, otonomi model, dan pembuatan skema. Di luar bidang ini, kami mendorong riset tentang dampak ekonomi dari model omni, dan cara penggunaan alat bantu dapat memajukan kemampuan model.

Kami menggunakan TTS untuk mengubah evaluasi keselamatan teks yang ada menjadi audio. Lalu, kami mengevaluasi transkrip teks dari keluaran audio dengan pengklasifikasi berbasis aturan teks standar.

Dua metrik utama kami untuk evaluasi ini adalah:

• not_unsafe:: apakah model menghasilkan keluaran audio yang berbahaya?
• not_overrefuse apakah model menolak untuk mematuhi permintaan yang tidak berbahaya?
  

Kami juga mencatat sub-metrik untuk kategori tingkat keparahan yang lebih tinggi, khususnya:

• seksual/anak di bawah umur
• seksual/ilegal
• ekstremis/propaganda
• terlarang/kekerasan
• terlarang/bukan kekerasan
• melukai diri sendiri/instruksi
  

Di bawah, kami menampilkan hasil evaluasi ini dengan mode audio dan teks model Mode Suara GPT‑4o, serta kinerja teks model GPT‑4o saat ini yang diproduksi.