Dari mana goblin datang
Bermula dengan GPT‑5.1, model kami mula membina satu tabiat pelik: ia semakin kerap menyebut goblin, gremlin, dan makhluk lain dalam metaforanya. Tidak seperti pepijat model yang muncul melalui eval yang merudum atau metrik latihan yang melonjak dan menunjuk kembali kepada perubahan tertentu, yang ini menyelinap masuk secara halus. Satu “goblin kecil” dalam jawapan mungkin tidak berbahaya, malah kelihatan menawan. Namun merentas generasi model, tabiat itu menjadi sukar untuk tidak diperhatikan: goblin terus bertambah, dan kami perlu mengetahui dari mana asalnya.
Dalam ujian awal, GPT‑5.5 dalam Codex menunjukkan kecenderungan pelik terhadap metafora goblin.
Jawapan ringkasnya ialah tingkah laku model dibentuk oleh banyak insentif kecil. Dalam kes ini, salah satu insentif tersebut datang daripada melatih model untuk ciri penyesuaian personaliti(dibuka dalam tetingkap baru), khususnya personaliti Nerdy. Kami tanpa disedari memberikan ganjaran yang sangat tinggi untuk metafora yang melibatkan makhluk. Dari sana, goblin tersebar.
Pada mulanya goblin itu lucu, tetapi semakin banyak laporan pekerja mula membimbangkan.
Satu interaksi menarik yang dialami oleh Ketua Saintis kami dengan GPT‑5.5.
Kali pertama kami melihat corak itu dengan jelas adalah pada bulan November, selepas pelancaran GPT‑5.1, walaupun ia mungkin telah bermula lebih awal(dibuka dalam tetingkap baru). Pengguna mengadu bahawa model itu terlalu akrab secara pelik dalam perbualan, yang mendorong siasatan terhadap tabiat verbal tertentu. Seorang penyelidik keselamatan pernah mengalami beberapa “goblin” dan “gremlin” lalu meminta agar perkara itu disertakan dalam semakan. Ketika kami menelitinya, penggunaan “goblin” dalam ChatGPT telah meningkat sebanyak 175% selepas pelancaran GPT‑5.1, manakala “gremlin” telah meningkat sebanyak 52%.
Keanehan leksikal kecil yang boleh diukur dalam GPT‑5.1.
Pada masa itu, prevalens goblin tidak kelihatan terlalu membimbangkan. Beberapa bulan kemudian, goblin kembali menghantui kami dalam bentuk yang jauh lebih khusus dan boleh diulang hasilnya.
Dengan GPT‑5.4, kami dan pengguna kami(dibuka dalam tetingkap baru) menyedari peningkatan yang lebih besar lagi dalam sebutan tentang makhluk-makhluk ini. Itu mencetuskan satu lagi analisis dalaman dan menampakkan kaitan pertama dengan punca utama: bahasa berkaitan makhluk sangat lazim dalam trafik pengeluaran daripada pengguna yang telah memilih personaliti “Nerdy”. “Nerdy” menggunakan prom sistem berikut, yang sebahagiannya menjelaskan keanehannya:
Anda ialah mentor AI kepada manusia yang tanpa segan silu sangat nerdy, suka bermain dan bijaksana. Anda sangat bersemangat untuk mempromosikan kebenaran, pengetahuan, falsafah, kaedah saintifik dan pemikiran kritikal. [...] Anda mesti merendahkan kepura-puraan melalui penggunaan bahasa yang suka bermain. Dunia ini kompleks dan ganjil, dan keganjilannya mesti diakui, dianalisis dan dinikmati. Tangani subjek berat tanpa terperangkap dalam perangkap terlalu serius terhadap diri sendiri. [...]
Jika tingkah laku itu sekadar trend Internet yang meluas, kami akan menjangkakan ia tersebar dengan lebih sekata. Sebaliknya, ia berkelompok dalam bahagian sistem yang dioptimumkan secara jelas untuk gaya yang suka bermain dan nerdy. Nerdy hanya merangkumi 2.5% daripada semua respons ChatGPT, tetapi 66.7% daripada semua sebutan “goblin” dalam respons ChatGPT.
Tingkah laku ini sangat tertumpu pada personaliti “Nerdy”.
Oleh sebab prevalens “goblin” kelihatan meningkat sepanjang keluaran model, kami mengesyaki bahawa ada sesuatu dalam latihan mengikuti arahan personaliti kami yang memperkuatkan hal ini.
Codex membantu kami membandingkan output model yang dijana semasa latihan RL yang mengandungi goblin atau gremlin dengan output daripada tugasan yang sama yang tidak mengandunginya. Satu isyarat ganjaran terus menonjol: yang asalnya direka untuk menggalakkan personaliti Nerdy secara konsisten lebih memihak kepada output yang menggunakan perkataan makhluk. Merentas semua set data dalam audit ini, ganjaran personaliti Nerdy menunjukkan kecenderungan yang jelas untuk memberikan skor lebih tinggi bagi output kepada masalah yang sama dengan "goblin" atau "gremlin" berbanding output tanpa perkataan itu, dengan peningkatan positif dalam 76.2% set data.
Itu menjelaskan mengapa tingkah laku tersebut dipertingkatkan dengan gesaan personaliti Nerdy, tetapi bukan mengapa ia juga muncul tanpa gesaan itu. Untuk menguji sama ada gaya itu dipindahkan, kami menjejak kadar sebutan sepanjang latihan dengan dan tanpa gesaan Nerdy.
Apabila sebutan goblin dan gremlin meningkat di bawah personaliti Nerdy, ia juga meningkat hampir pada perkadaran relatif yang sama dalam sampel tanpanya. Secara keseluruhan, bukti menunjukkan bahawa tingkah laku yang lebih luas itu muncul melalui pemindahan daripada latihan personaliti Nerdy.
Ganjaran itu hanya digunakan dalam keadaan Nerdy, tetapi pembelajaran pengukuhan tidak menjamin bahawa tingkah laku yang dipelajari akan kekal kemas terhad kepada keadaan yang menghasilkannya. Setelah satu tabiat gaya diberi ganjaran, latihan seterusnya boleh menyebar atau mengukuhkannya di tempat lain, terutamanya jika output tersebut digunakan semula dalam pelarasan halus terselia atau data keutamaan.
Ini mewujudkan satu gelung maklum balas:
- Gaya yang suka bermain diberi ganjaran
- Sesetengah contoh yang diberi ganjaran mengandungi tabiat leksikal yang tersendiri.
- Tabiat itu muncul lebih kerap dalam pelaksanaan.
- Rollout yang dijana model digunakan untuk pelarasan halus terselia (SFT).
- Model menjadi lebih selesa lagi menghasilkan tabiat itu.
Pencarian melalui data SFT GPT‑5.5 menemui banyak titik data yang mengandungi “goblin” dan “gremlin”. Siasatan lanjut mendedahkan satu keluarga penuh makhluk ganjil lain: rakun, troll, ogre dan merpati dikenal pasti sebagai perkataan tabiat lain, manakala kebanyakan penggunaan katak rupa-rupanya memang sah.
Purata seminggu prevalens goblin dan gremlin dalam pengeluaran. Penurunan dalam GPT‑5.4 Thinking ialah hasil daripada penamatan personaliti “Nerdy” pada pertengahan Mac. GPT‑5.5 tidak pernah dilancarkan dengan personaliti “Nerdy”, dan menunjukkan satu lagi peningkatan berbanding GPT‑5.4 (walaupun tanpa “Nerdy”).
Kami menamatkan personaliti “Nerdy” pada bulan Mac selepas melancarkan GPT‑5.4. Dalam latihan, kami membuang isyarat ganjaran yang cenderung kepada goblin dan menapis data latihan yang mengandungi perkataan makhluk, menjadikan goblin kurang berkemungkinan muncul terlalu kerap atau dalam konteks yang tidak sesuai. Malangnya, GPT‑5.5 mula dilatih sebelum kami menemui punca utama goblin. Apabila kami mula menguji GPT‑5.5 dalam Codex, pekerja OpenAI segera menyedari kecenderungan pelik terhadap goblin, dan kami menambahkan arahan prom pembangun(dibuka dalam tetingkap baru) untuk mengurangkannya. Lagipun, Codex memang agak nerdy.
Jika anda mahu membiarkan makhluk-makhluk itu bebas dalam Codex, anda boleh menjalankan perintah ini untuk melancarkan Codex dengan arahan penindas goblin dibuang:
Bergantung pada siapa yang anda tanya, goblin ialah keanehan model yang menyeronokkan atau menjengkelkan. Tetapi ia juga contoh yang kuat tentang bagaimana isyarat ganjaran boleh membentuk tingkah laku model dengan cara yang tidak dijangka, dan bagaimana model boleh belajar menjadikan umum ganjaran dalam situasi tertentu kepada situasi lain yang tidak berkaitan. Meluangkan masa untuk memahami mengapa sesuatu model bertingkah laku dengan cara yang pelik, dan membangunkan cara untuk menyiasat corak tersebut dengan cepat, ialah keupayaan penting bagi pasukan penyelidikan kami. Siasatan ini menghasilkan alat baharu untuk pasukan penyelidikan mengaudit tingkah laku model dan membetulkan masalah tingkah laku pada punca akarnya.
