Hari ini, kami merilis pratinjau riset gpt-oss-safeguard, model penalaran open-weight kami untuk tugas klasifikasi keselamatan, yang tersedia dalam dua ukuran: gpt-oss-safeguard-120b dan gpt-oss-safeguard-20b. Model-model ini merupakan versi yang disetel ulang dari open model gpt-oss kami dan tersedia di bawah lisensi permisif Apache 2.0 yang sama, yang mengizinkan siapa saja untuk menggunakan, memodifikasi, dan meluncurkannya secara bebas. Kedua model dapat diunduh hari ini dari Hugging Face(terbuka di jendela baru).
Model gpt-oss-safeguard menggunakan penalaran untuk secara langsung menafsirkan kebijakan yang disediakan pengembang pada waktu inferensi—mengklasifikasi pesan pengguna, penyelesaian, dan obrolan lengkap sesuai kebutuhan pengembang. Pengembang selalu memutuskan kebijakan yang akan digunakan, sehingga respons lebih relevan dan disesuaikan dengan contoh penggunaan pengembang. Model menggunakan rantai pemikiran, yang dapat ditinjau pengembang untuk memahami cara model mencapai keputusan. Selain itu, kebijakan diberikan selama inferensi, alih-alih dilatih ke dalam model, sehingga mempermudah pengembang untuk merevisi kebijakan secara iteratif guna meningkatkan kinerja. Pendekatan ini, yang awalnya kami kembangkan untuk penggunaan internal, secara signifikan lebih fleksibel dari metode tradisional yang melatih pengklasifikasi untuk secara tidak langsung menyimpulkan batas keputusan dari sejumlah besar contoh berlabel.
Model gpt-oss-safeguard memungkinkan pengembang untuk menarik garis kebijakan yang paling sesuai dengan contoh penggunaan mereka. Misalnya, forum diskusi game video mungkin ingin mengembangkan kebijakan untuk mengklasifikasi postingan yang membahas kecurangan dalam permainan, atau situs ulasan produk mungkin ingin menggunakan kebijakannya sendiri untuk menyaring ulasan yang tampaknya palsu.
Model menerima dua input sekaligus—kebijakan dan konten yang akan diklasifikasikan berdasarkan kebijakan tersebut—dan mengeluarkan kesimpulan tentang posisi konten, beserta penalarannya. Pengembang menentukan cara, jika memang akan digunakan, untuk memanfaatkan kesimpulan tersebut dalam saluran keselamatan mereka sendiri. Kami telah melihat pendekatan berbasis penalaran ini bekerja sangat baik dalam situasi berikut:
- Potensi bahaya sedang muncul atau berkembang, dan kebijakan perlu menyesuaikan diri dengan cepat.
- Domain ini sangat bernuansa dan sulit ditangani oleh pengklasifikasi yang lebih kecil.
- Pengembang tidak memiliki cukup sampel untuk melatih pengklasifikasi berkualitas tinggi atas setiap risiko di platform mereka.
- Latensi tidak sepenting menghasilkan label berkualitas tinggi yang dapat dijelaskan.
Kami merilis pratinjau gpt-oss-safeguard ini untuk menerima masukan dari komunitas riset dan keselamatan serta melakukan iterasi lebih lanjut pada kinerja model. Selama beberapa bulan, kami mengerjakan rilis open weight ini dengan ROOST(terbuka di jendela baru) untuk mengidentifikasi kebutuhan kritis pengembang, menguji model, dan menyusun dokumentasi pengembang. Sebagai bagian dari peluncuran ini, ROOST akan membentuk komunitas model(terbuka di jendela baru), yang juga diluncurkan hari ini, untuk menjelajahi model AI terbuka guna melindungi ruang online. Bersama dengan rilis ini, kami memublikasikan laporan teknis singkat yang merinci kinerja keselamatan dari model pratinjau ini.
Dalam hal keselamatan, kami percaya pada pertahanan berlapis. Kami melatih model kami untuk merespons secara aman, dan kami menerapkan lapisan perlindungan tambahan untuk mendeteksi serta menangani input dan output yang berpotensi tidak aman berdasarkan kebijakan kami. Pengklasifikasi keselamatan, yang membedakan konten aman dari konten tidak aman di bidang risiko tertentu, telah lama menjadi lapisan pertahanan utama bagi model bahasa besar kami sendiri dan model bahasa besar lainnya.
Pengklasifikasi keselamatan tradisional, seperti yang tersedia melalui API Moderasi(terbuka di jendela baru) kami, dikembangkan dengan mengkurasi ribuan contoh konten yang aman dan tidak aman secara manual, berdasarkan kebijakan keselamatan yang telah ditentukan sebelumnya. Dari data pelatihan ini, pengklasifikasi belajar membedakan output yang aman dari output yang tidak aman. Dalam pendekatan tradisional ini, pengklasifikasi tidak pernah benar-benar melihat kebijakan keselamatan. Sebaliknya, pengklasifikasi mencoba menyimpulkan kebijakan mendasar yang digunakan untuk memberi label pada contoh dengan menemukan persamaan dalam konten yang diberi label tidak aman serta perbedaan antara konten yang tidak aman dan konten yang aman.
Pengklasifikasi tradisional dapat memiliki kinerja tinggi, dengan latensi dan biaya operasi rendah. Namun, mengumpulkan contoh pelatihan dalam jumlah memadai dapat memerlukan banyak waktu dan biaya, serta memperbarui atau mengubah kebijakan memerlukan pelatihan ulang bagi pengklasifikasi.
Model gpt-oss-safeguard berbeda karena kemampuan penalarannya memungkinkan pengembang untuk menerapkan kebijakan apa pun , termasuk kebijakan yang mereka tulis sendiri atau ambil dari sumber lain, dan penalaran membantu model menggeneralisasi kebijakan yang baru ditulis. Selain kebijakan keselamatan, gpt-oss-safeguard dapat digunakan untuk memberi label pada konten dengan cara lain yang penting bagi produk dan platform tertentu.
Model penalaran utama kami kini mempelajari kebijakan keselamatan kami secara langsung, dan menggunakan kemampuan penalarannya untuk menilai apa yang aman. Pendekatan ini, yang kami sebut penyelarasan deliberatif, secara signifikan meningkatkan metode pelatihan keselamatan sebelumnya dan membuat model penalaran kami lebih aman dalam beberapa aspek dibandingkan pendahulunya yang tidak menggunakan penalaran, bahkan seiring peningkatan kemampuannya. Namun, penalaran tidak hanya berguna untuk melatih model itu sendiri. Hal ini juga membuka kemungkinan baru untuk pertahanan berlapis. Pendekatan berbasis penalaran lebih fleksibel dan kurang dibatasi oleh detail pelatihan sebelumnya, keunggulan yang terkadang lebih dari cukup untuk membenarkan biaya komputasi dan latensi tambahan yang ditimbulkannya.
Model gpt-oss-safeguard merupakan penerapan bobot terbuka dari pendekatan yang kami kembangkan secara internal, dalam alat yang kami sebut sebagai Safety Reasoner. Kami memulai dengan fine-tuning berbasis reinforcement pada tugas pelabelan kebijakan, memberikan penghargaan pada model karena mencerminkan penilaian yang benar dari pakar manusia. Ini mengajarkan model untuk bernalar tentang cara kebijakan mengarah pada penilaiannya. Saat ini, Safety Reasoner memungkinkan kami untuk memperbarui kebijakan keselamatan secara dinamis di produksi dalam waktu yang lebih singkat dibandingkan waktu yang dibutuhkan untuk melatih ulang pengklasifikasi. Ini menjadikan Safety Reasoner sebagai alat utama untuk penerapan iteratif: saat kami menerapkan model baru ke produksi, kami sering kali memulai dengan kebijakan lebih ketat dan menggunakan jumlah komputasi yang relatif besar apabila dibutuhkan agar Safety Reasoner dapat menerapkan kebijakan tersebut secara saksama. Lalu, kami menyesuaikan kebijakan kami seiring meningkatnya pemahaman kami tentang risiko dalam produksi. Dalam beberapa peluncuran terkini kami, porsi total komputasi yang dikhususkan untuk penalaran keselamatan telah mencapai 16%.
Safety Reasoner telah menjadi komponen inti barisan keselamatan kami. Untuk pembuatan gambar dan Sora 2, ia melakukan evaluasi hasil yang dinamis dan bertahap untuk mengidentifikasi dan memblokir pembuatan yang tidak aman secara waktu nyata. Dalam domain seperti biologi dan tindakan melukai diri sendiri, kami menjalankan model seperti yang digunakan dalam API Moderasi sebagai pengklasifikasi kecil, cepat, dan dengan tingkat recall tinggi untuk menentukan konten mana yang berada dalam domain yang diperhatikan, lalu menggunakan Safety Reasoner untuk meninjau konten tersebut. Safety Reasoner mengklasifikasi output model berdasarkan taksonomi terperinci guna menentukan cara terbaik untuk merespons, yang merupakan bagian dari perlindungan berlapis kami di seluruh sistem seperti GPT‑5 dan Agen ChatGPT. Dan sekarang, model gpt-oss-safeguard menjadikan pendekatan yang sama tersedia bagi siapa pun.
Kami mengevaluasi model gpt-oss-safeguard pada rangkaian evaluasi internal dan eksternal.
Dalam evaluasi internal, kami menyediakan beberapa kebijakan secara simultan ke gpt-oss-safeguard pada waktu inferensi. Untuk setiap input uji, kami mengevaluasi apakah gpt-oss-safeguard mengklasifikasikan teks dengan benar berdasarkan semua kebijakan yang disertakan. Ini adalah tantangan—model dihitung akurat hanya jika sama persis dengan label set emas untuk semua kebijakan yang disertakan.
Model gpt-oss-safeguard dan Safety Reasoner internal kami mengungguli gpt-5-thinking dan open model gpt-oss pada keakuratan multi-kebijakan. Model gpt-oss-safeguard yang mengungguli gpt-5-thinking sangat mengejutkan, mengingat ukuran model-model tersebut yang kecil.
Kami mengevaluasi lebih lanjut model-model ini pada kumpulan data moderasi(terbuka di jendela baru) yang kami rilis dengan makalah riset 2022(terbuka di jendela baru) kami dan pada ToxicChat(terbuka di jendela baru), tolok ukur publik berdasarkan kueri pengguna ke chatbot sumber terbuka.
Pada set evaluasi moderasi 2022, kami melakukan evaluasi menggunakan kebijakan keselamatan internal kami (dengan menyesuaikan satu kebijakan untuk memperhitungkan perubahan berikutnya). Model gpt-oss-safeguard sedikit mengungguli semua model lain yang diuji, termasuk Safety Reasoner internal dan gpt-5-thinking kami, meskipun perbedaan antara Safety Reasoner dan gpt-oss-safeguard ini tidak signifikan secara statistik.
Untuk ToxicChat, kami mengevaluasi menggunakan prompt tulisan tangan singkat yang disesuaikan dari beberapa kebijakan internal kami. Safety Reasoner internal kami kembali mengungguli gpt-5-thinking, sedangkan gpt-5-thinking dan Safety Reasoner sama-sama sedikit mengungguli gpt-oss-safeguard-120b dan gpt-oss-safeguard-20b. Kami berharap ukuran gpt-oss-safeguard yang relatif kecil tetap membuatnya lebih disukai untuk tipe tugas ini.
Terdapat dua keterbatasan khusus dari gpt-oss-safeguard. Pertama, kami telah mengamati bahwa pengklasifikasi yang dilatih pada puluhan ribu sampel berlabel berkualitas tinggi masih dapat berkinerja lebih baik dalam mengklasifikasikan konten dibandingkan gpt-oss-safeguard ketika melakukan penalaran langsung dari kebijakan. Meluangkan waktu untuk melatih pengklasifikasi khusus mungkin lebih disukai untuk kinerja lebih tinggi pada risiko yang lebih rumit.
Kedua, gpt-oss-safeguard memerlukan banyak waktu dan komputasi, sehingga sulit untuk ditingkatkan skalanya di semua konten platform. Secara internal, kami menangani hal ini dalam beberapa cara dengan Safety Reasoner: (1) kami menggunakan pengklasifikasi lebih kecil dan lebih cepat untuk menentukan konten yang akan dinilai dan (2) dalam beberapa keadaan, kami menggunakan Safety Reasoner secara asinkron untuk memberikan pengalaman pengguna dengan latensi rendah sekaligus mempertahankan kemampuan melakukan intervensi jika kami mendeteksi konten tidak aman.
Model gpt-oss-safeguard adalah rangkaian model keselamatan terbuka pertama dari OpenAI yang dibangun bersama komunitas. Kami telah melakukan iterasi pada gpt-oss-safeguard dengan spesialis kepercayaan dan keamanan di SafetyKit, ROOST, Tomoro, serta Discord sebagai bagian dari pengujian awal. CTO ROOST, Vinay Rao, berkata, “gpt-oss-safeguard merupakan model penalaran sumber terbuka pertama dengan desain ‘bawa kebijakan dan definisi kerugian Anda sendiri’. Organisasi berhak untuk secara bebas mempelajari, mengubah, dan menggunakan teknologi keselamatan yang kritis serta mampu berinovasi. Dalam pengujian kami, model ini terampil dalam memahami berbagai kebijakan, menjelaskan penalarannya, dan menunjukkan nuansa dalam menerapkan kebijakan, yang kami yakini akan bermanfaat bagi tim pembangun dan tim keselamatan.”
Kami akan terus berkolaborasi dengan komunitas untuk meningkatkan alat keselamatan sumber terbuka, termasuk melalui Komunitas Model ROOST (RMC). RMC mempertemukan praktisi dan peneliti keselamatan untuk berbagi praktik terbaik dalam menerapkan model AI sumber terbuka ke alur kerja keselamatan, termasuk hasil evaluasi dan masukan model. Kunjungi repo GitHub RMC(terbuka di jendela baru) untuk mempelajari selengkapnya tentang kemitraan ini dan cara untuk terlibat.
Untuk memulai pembangunan dengan model-model ini, unduh dari Hugging Face(terbuka di jendela baru).
