Kami telah melatih model yang dinamakan ChatGPT yang berinteraksi secara perbualan. Format dialog membolehkan ChatGPT menjawab soalan susulan, mengakui kesilapannya, mencabar premis yang salah dan menolak permintaan yang tidak sesuai.
ChatGPT adalah model adik-beradik kepada InstructGPT, yang dilatih untuk mengikuti arahan dalam prom dan memberikan tindak balas terperinci.
Kami teruja untuk memperkenalkan ChatGPT bagi mendapatkan maklum balas pengguna dan mempelajari tentang kekuatan serta kelemahannya. Semasa pratonton penyelidikan, penggunaan ChatGPT adalah percuma. Cubalah sekarang di chatgpt.com(dibuka dalam tetingkap baru).
Sampel
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Kami melatih model ini menggunakan Pembelajaran Pengukuhan dari Maklum Balas Manusia (RLHF), menggunakan kaedah yang sama seperti InstructGPT, tetapi dengan sedikit perbezaan dalam tetapan pengumpulan data. Kami melatih model awal menggunakan pelarasan halus terselia: jurulatih AI manusia menyediakan perbualan di mana mereka memainkan peranan kedua-dua belah pihak—pengguna dan pembantu AI. Kami memberikan jurulatih akses kepada cadangan yang ditulis oleh model untuk membantu mereka menyusun tindak balas mereka. Kami mencampurkan set data dialog baharu ini dengan set data InstructGPT, yang kami ubah menjadi format dialog.
Untuk mencipta model ganjaran bagi pembelajaran pengukuhan, kami perlu mengumpul data perbandingan, yang terdiri daripada dua atau lebih tindak balas model yang disenaraikan mengikut kualiti. Untuk mengumpul data ini, kami mengambil perbualan yang dilakukan oleh jurulatih AI dengan chatbot. Kami secara rawak memilih mesej yang ditulis oleh model, mengambil sampel beberapa penyelesaian alternatif, dan meminta jurulatih AI untuk menyusunnya mengikut peringkat. Dengan menggunakan model ganjaran ini, kami boleh menyempurnakan model menggunakan Pengoptimuman Dasar Proksimal. Kami menjalankan beberapa lelaran proses ini.
ChatGPT diperhalusi daripada model dalam siri GPT‑3.5, yang menamatkan latihan pada awal 2022. Anda boleh mengetahui lebih lanjut mengenai siri 3.5 di sini(dibuka dalam tetingkap baru). ChatGPT dan GPT‑3.5 telah dilatih pada infrastruktur superkomputer Azure AI.
- ChatGPT kadangkala menulis jawapan yang kedengaran munasabah tetapi tidak betul atau tidak masuk akal. Menyelesaikan isu ini adalah mencabar, kerana: (1) semasa latihan RL, tiada sumber kebenaran yang tersedia; (2) melatih model untuk lebih berhati-hati menyebabkan ia menolak soalan yang sebenarnya boleh dijawab dengan betul; dan (3) latihan yang diselia boleh mengelirukan model kerana jawapan ideal bergantung pada apa yang diketahui oleh model(dibuka dalam tetingkap baru), bukannya apa yang diketahui oleh pendemo manusia.
- ChatGPT sensitif terhadap perubahan pada frasa input atau mencuba prom yang sama beberapa kali. Sebagai contoh, dengan satu frasa soalan, model boleh mendakwa tidak tahu jawapannya, tetapi dengan sedikit perubahan frasa, ia boleh menjawab dengan betul.
- Model ini sering kali terlalu berjela-jela dan kerap menggunakan frasa tertentu secara berlebihan, seperti mengulangi bahawa ia adalah model bahasa yang dilatih oleh OpenAI. Isu-isu ini timbul daripada berat sebelah dalam data latihan (jurulatih lebih suka jawapan yang lebih panjang yang kelihatan lebih menyeluruh) dan ia adalah masalah pengoptimuman berlebihan yang terkenal. 1 2
- Sebaik-baiknya, model akan bertanya soalan penjelasan apabila pengguna memberikan pertanyaan yang tidak jelas. Sebaliknya, model semasa kami biasanya meneka apa yang dimaksudkan oleh pengguna.
- Walaupun kami telah berusaha untuk membuat model menolak permintaan yang tidak sesuai, kadangkala ia akan bertindak balas terhadap arahan yang berbahaya atau menunjukkan tingkah laku yang berat sebelah. Kami menggunakan API Penyederhanaan untuk memberi amaran atau menyekat jenis kandungan tertentu yang tidak selamat, tetapi kami menjangkakan ia mempunyai beberapa negatif dan positif palsu buat masa ini. Kami teruja untuk mengumpul maklum balas pengguna bagi membantu usaha berterusan kami untuk menambah baik sistem ini.
Keluaran penyelidikan ChatGPT hari ini adalah langkah terbaharu dalam penggunaan berulang OpenAI bagi sistem AI yang semakin selamat dan berguna. Banyak pelajaran daripada penggunaan model terdahulu seperti GPT‑3 dan Codex telah memaklumkan langkah-langkah keselamatan untuk keluaran ini, termasuk pengurangan ketara dalam output berbahaya dan tidak benar yang dicapai melalui penggunaan pembelajaran pengukuhan daripada maklum balas manusia (RLHF).
Kami tahu bahawa banyak batasan kekal seperti yang dibincangkan di atas dan kami merancang untuk membuat kemas kini model secara berkala untuk menambah baik dalam bidang tersebut. Tetapi kami juga berharap dengan menyediakan antara muka yang boleh diakses kepada ChatGPT, kami akan mendapat maklum balas pengguna yang berharga tentang isu yang belum kami ketahui.
Pengguna digalakkan untuk memberikan maklum balas tentang output model yang bermasalah melalui UI, serta mengenai positif/negatif palsu daripada penapis kandungan luaran yang juga merupakan sebahagian daripada antara muka. Kami amat berminat dengan maklum balas mengenai output berbahaya yang boleh berlaku dalam dunia sebenar, keadaan bukan permusuhan, serta maklum balas yang membantu kami mendedahkan dan memahami risiko baharu dan kemungkinan mitigasi. Anda boleh memilih untuk menyertai Peraduan Maklum Balas ChatGPT(dibuka dalam tetingkap baru)3 untuk peluang memenangi sehingga $500 dalam kredit API. A Penyertaan boleh diserahkan melalui borang maklum balas yang dipautkan dalam antara muka ChatGPT.
Kami teruja untuk membawa pelajaran dari keluaran ini ke dalam pelaksanaan sistem yang lebih berkemampuan, sama seperti yang dimaklumkan dalam pelaksanaan sebelumnya.
Nota kaki
- A
Tiada pembelian diperlukan, terbatal jika dilarang. Mesti sekurang-kurangnya 18 tahun untuk masuk. Untuk butiran peraduan, lihat Peraturan Rasmi(dibuka dalam tetingkap baru).
Rujukan
- 1
Stiennon, Nisan, et al. “Belajar meringkaskan dengan maklum balas manusia(dibuka dalam tetingkap baru).” Kemajuan dalam Sistem Pemprosesan Maklumat Neural 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, dan Jacob Hilton. “Undang-undang Penskalaan untuk Pengoptimuman Berlebihan Model Ganjaran(dibuka dalam tetingkap baru).” arXiv pracetak arXiv:2210.10760 (2022).
- 3
Inspirasi untuk pertandingan ini sebahagiannya datang daripada karya Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, dan Joy Buolamwini. Ganjaran Pepijat Untuk Kemudaratan Algoritma? Pelajaran dari Pendedahan Kerentanan Keselamatan Siber untuk Penemuan, Pendedahan, dan Pemulihan Kemudaratan Algoritma. Washington, DC: Liga Keadilan Algoritma. Januari 2022. Tersedia di https://ajl.org/bugs(dibuka dalam tetingkap baru). Lihat juga karya oleh Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, dan Gretchen Krueger et al. “Ke Arah Pembangunan AI yang Boleh Dipercayai: Mekanisme untuk Menyokong Tuntutan yang Boleh Disahkan,” April 2020. Tersedia di https://arxiv.org/abs/2004.07213(dibuka dalam tetingkap baru). Lihat contoh terdahulu pertandingan sedemikian di HackerOne. 2021b. “Bias Algoritma Twitter.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(dibuka dalam tetingkap baru). Akhir sekali, lihat karya awal yang diterbitkan mengenai topik ini daripada Rubinovitz, JB, "Program Hadiah Bias sebagai Kaedah Memerangi Bias dalam AI," Ogos 2018. Tersedia di https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(dibuka dalam tetingkap baru).
Penulis
Penghargaan
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
