Kami telah melatih model bernama ChatGPT yang berinteraksi melalui percakapan. Format dialognya memungkinkan ChatGPT untuk menjawab pertanyaan lanjutan, mengakui kesalahannya, mempertanyakan premis yang keliru, dan menolak permintaan yang tidak patut.
ChatGPT adalah model yang terkait dengan InstructGPT, yang dilatih untuk mengikuti instruksi dalam prompt dan memberikan respons terperinci.
Kami sangat antusias memperkenalkan ChatGPT untuk mendapatkan masukan dari pengguna dan mempelajari kelebihan serta kelemahannya. Selama pratinjau riset, penggunaan ChatGPT gratis. Cobalah sekarang di chatgpt.com(terbuka di jendela baru).
Contoh
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Kami melatih model ini menggunakan Pembelajaran Penguatan dari Masukan Manusia (RLHF), menggunakan metode yang sama seperti InstructGPT, tetapi dengan sedikit perbedaan dalam pengaturan pengumpulan data. Kami melatih model awal menggunakan setelan lanjut yang disupervisi: pelatih AI manusia menyediakan percakapan di mana mereka memerankan kedua sisi—pengguna dan asisten AI. Kami memberi para pelatih akses ke saran-saran yang ditulis oleh model untuk membantu mereka menyusun responsnya. Kami mencampur kumpulan data dialog baru ini dengan kumpulan data InstructGPT, yang kami ubah menjadi format dialog.
Untuk membuat model penghargaan untuk pembelajaran penguatan, kami perlu mengumpulkan data perbandingan, yang terdiri dari dua atau lebih respons model yang diberi peringkat berdasarkan kualitas. Untuk mengumpulkan data ini, kami mengambil percakapan yang dilakukan pelatih AI dengan chatbot. Kami secara acak memilih pesan yang ditulis oleh model, mengambil sampel beberapa penyelesaian alternatif, dan meminta pelatih AI untuk menentukan peringkatnya. Dengan menggunakan model penghargaan ini, kami bisa menyempurnakan model menggunakan Optimalisasi Kebijakan Proksimal. Kami melakukan beberapa iterasi dari proses ini.
ChatGPT disempurnakan dari model dalam seri GPT‑3.5, yang menyelesaikan pelatihan pada awal tahun 2022. Anda dapat mempelajari lebih lanjut tentang seri 3.5 di sini(terbuka di jendela baru). ChatGPT dan GPT‑3.5 dilatih pada infrastruktur superkomputer Azure AI.
- ChatGPT terkadang menghasilkan jawaban yang terdengar masuk akal tetapi sebenarnya salah atau tidak bermakna. Memperbaiki masalah ini merupakan tantangan, karena: (1) selama pelatihan RL, saat ini tidak ada sumber kebenaran; (2) melatih model agar lebih berhati-hati menyebabkannya menolak pertanyaan yang sebenarya dapat dijawabnya dengan benar; dan (3) pelatihan yang disupervisi menyesatkan model karena jawaban idealnya bergantung pada apa yang diketahui model(terbuka di jendela baru), bukan apa yang diketahui oleh manusia yang memberi masukan.
- ChatGPT sensitif terhadap perubahan pada frasa masukan atau upaya menjalankan perintah yang sama beberapa kali. Misalnya, jika diberikan satu cara pengungkapan pertanyaan, model dapat menyatakan bahwa ia tidak tahu jawabannya, tetapi jika diberikan pengungkapan yang sedikit diubah, model dapat menjawab dengan benar.
- Model ini sering kali terlalu bertele-tele dan terlalu sering menggunakan frasa tertentu, seperti menyatakan kembali bahwa ini adalah model bahasa yang dilatih oleh OpenAI. Masalah ini muncul akibat bias dalam data pelatihan (pelatih lebih menyukai jawaban yang lebih panjang yang terlihat lebih komprehensif) dan masalah optimalisasi berlebihan yang umum terjadi.1, 2
- Idealnya, model akan mengajukan pertanyaan klarifikasi saat pengguna memberikan pertanyaan yang ambigu. Sebaliknya, model kami saat ini biasanya menebak apa yang dimaksud pengguna.
- Meskipun kami telah berupaya agar model tersebut menolak permintaan yang tidak pantas, terkadang model tersebut akan merespons instruksi yang berbahaya atau menunjukkan perilaku yang bias. Kami menggunakan Moderation API untuk memperingatkan atau memblokir beberapa jenis konten yang tidak aman, tetapi kemungkinan akan ada beberapa konten negatif dan positif palsu untuk saat ini. Kami ingin sekali mengumpulkan masukan pengguna untuk membantu pekerjaan berkelanjutan kami guna meningkatkan sistem ini.
Rilis riset ChatGPT hari ini adalah langkah terbaru dalam penerapan iteratif OpenAI terhadap sistem AI yang kian aman dan bermanfaat. Banyak pelajaran dari penerapan model sebelumnya seperti GPT‑3 dan Codex telah menginformasikan mitigasi keselamatan yang ada untuk rilis ini, termasuk pengurangan substansial dalam keluaran yang berbahaya dan tidak benar yang dicapai melalui penggunaan pembelajaran penguatan dari masukan manusia (RLHF).
Kami tahu bahwa masih banyak keterbatasan sebagaimana dibahas di atas dan kami berencana untuk melakukan pembaruan model secara berkala guna memperbaiki area tersebut. Namun kami juga berharap bahwa dengan menyediakan antarmuka yang bisa diakses ke ChatGPT, kami akan memperoleh masukan pengguna yang berharga mengenai masalah yang belum kami ketahui.
Pengguna didorong untuk memberikan masukan mengenai keluaran model yang bermasalah melalui UI, serta mengenai konten positif/negatif palsu dari filter konten eksternal yang juga merupakan bagian dari antarmuka. Kami secara khusus tertarik pada masukan terkait keluaran berbahaya yang bisa terjadi di kondisi normal dunia nyata, serta masukan yang membantu kami mengungkap dan memahami risiko baru serta kemungkinan mitigasi. Anda dapat memilih untuk mengikuti Kontes Masukan ChatGPT(terbuka di jendela baru)3 untuk mendapatkan kesempatan memenangkan hingga $500 dalam kredit API.A Entri bisa dikirimkan melalui formulir masukan yang ditautkan di antarmuka ChatGPT.
Kami bersemangat untuk menerapkan pelajaran dari rilis ini ke dalam penerapan sistem yang lebih canggih, sebagaimana penerapan sebelumnya menginformasikan penerapan ini.
Catatan kaki
- A
Tidak perlu pembelian, tidak berlaku apabila dilarang. Harus berusia minimal 18 tahun untuk masuk. Untuk detail kontes, lihat Aturan Resmi(terbuka di jendela baru).
Referensi
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(terbuka di jendela baru).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, dan Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(terbuka di jendela baru).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Inspirasi untuk kontes ini sebagian berasal dari karya Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, dan Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. Januari 2022. Tersedia di https://ajl.org/bugs(terbuka di jendela baru). Lihat juga karya Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, dan Gretchen Krueger dkk. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims”, April 2020. Tersedia di https://arxiv.org/abs/2004.07213(terbuka di jendela baru). Lihat contoh sebelumnya mengenai kompetisi semacam itu di HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(terbuka di jendela baru). Terakhir, lihat karya awal yang dipublikasikan mengenai topik ini dari Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI”, Agustus 2018. Tersedia di https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(terbuka di jendela baru).
Penulis
Ucapan Terima Kasih
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
