İnsanlarla sohbet eder gibi etkileşime giren ChatGPT adlı bir model eğittik. ChatGPT diyalog formatı sayesinde takip sorularını yanıtlayabiliyor, hatalarını kabul edebiliyor, yanlış ön kabullere itiraz edebiliyor ve uygunsuz talepleri reddedebiliyor.
ChatGPT bir istemdeki bir talimatı uygulamak ve ayrıntılı bir yanıt vermek için eğitilen InstructGPT ile aynı aileden bir model.
ChatGPT’yi kullanıcılara tanıttığımız çok heyecanlıyız ve onlardan geri bildirim almak ve modelin güçlü ve zayıf yönlerini öğrenmek için sabırsızlanıyoruz. Araştırma ön izlemesi boyunca ChatGPT kullanımı ücretsiz olacak. chatgpt.com(yeni bir pencerede açılır) adresinde şimdi dene.
Örnekler
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Bu modeli InstructGPT ile aynı yöntemleri kullanarak İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF) yöntemiyle eğittik ve yalnızca veri toplama kurulumunda küçük değişiklikler yaptık. Denetlenen ince ayar yöntemini kullanarak bir başlangıç modeli eğittik. Bu süreçte insan yapay zeka eğitmenleri hem kullanıcı hem de yapay zeka asistanı rolünü oynadıkları konuşmalar yaptılar. Eğitmenlerin yanıtlarını oluşturmalarına yardımcı olmak amacıyla model tarafından yazılmış önerilere erişimlerini sağladık. Bu yeni diyalog veri setini, diyalog formatına dönüştürdüğümüz InstructGPT veri seti ile birleştirdik.
Takviyeli öğrenme için bir ödül modeli oluşturmak amacıyla kaliteye göre sıralanmış iki veya daha fazla model yanıtından oluşan karşılaştırma verileri toplamamız gerekiyordu. Bu verileri toplamak için yapay zeka eğitmenlerinin sohbet robotu ile konuşmalarını aldık. Model tarafından yazılmış bir mesajı rastgele seçtik, birkaç alternatif tamamlama örneği aldık ve yapay zeka eğitmenlerinden bunları sıralamalarını istedik. Bu ödül modellerinden yararlanarak Yakınsal Politika Optimizasyonu ile model üzerinde ince ayar yapabiliyoruz. Bu süreci birkaç kez yineledik.
ChatGPT, 2022 yılının başlarında eğitimi tamamlanan GPT‑3.5 serisindeki bir model üzerinde ince ayarla oluşturuldu. 3.5 serisi hakkında daha fazla bilgi buradadır(yeni bir pencerede açılır). ChatGPT ve GPT‑3.5, Azure AI süper bilgisayar altyapısında eğitildi.
- ChatGPT bazen kulağa mantıklı gelse de yanlış veya anlamsız olan yanıtlar veriyor. Bu sorunu çözmek zor, çünkü: (1) Takviyeli öğrenme eğitimi sırasında güncel bir doğruluk kaynağı bulunmuyor; (2) modeli daha temkinli olacak şekilde eğitmek doğru yanıtlayabileceği soruları reddetmesine neden oluyor ve (3) denetlenen eğitim modeli yanlış yönlendiriyor, çünkü ideal yanıt modeli eğiten insanın ne bildiğinden çok modelin ne bildiğine bağlıdır(yeni bir pencerede açılır).
- ChatGPT girdi ifadesindeki küçük değişiklikler veya aynı istemin birden fazla denenmesi karşısında hassastır. Örneğin, modele soru belirli bir ifadeyle sorulduğunda model cevabı bilmediğini iddia edebiliyor, ama aynı soru biraz değişik bir şekilde ifade edildiğinde doğru yanıt verebiliyor.
- Model genellikle aşırı derecede ayrıntılı yanıtlar veriyor ve OpenAI tarafından eğitilmiş bir dil modeli olduğu gibi belirli bazı ifadeleri biraz fazla tekrarlıyor. Bu sorunların nedenleri, eğitim verilerindeki ön yargılar (eğitmenler daha kapsamlı gözüken, daha uzun cevapları tercih ediyor) ve iyi bilinen aşırı optimizasyon sorunları.1, 2
- İdeal durumda, kullanıcı muğlak bir soru sorduğunda modelin durumu açıklığa kavuşturacak sorular sorması beklenir. Mevcut modellerimiz genellikle bunun yerine kullanıcının neyi amaçladığına dair tahmin yürütüyor.
- Modelin uygunsuz talepleri reddetmesi için çaba sarf ettik, ancak yine de bazen zararlı talimatlara yanıt verebilir veya ön yargılı davranışlar sergileyebilir. Güvenli olmayan bazı içerik türlerini engellemek veya bunlara bir uyarı içeren yanıtlar verilmesini sağlamak için Moderation API kullanıyoruz, ancak şimdilik bazı hatalı negatifler ve hatalı pozitifler ortaya çıkabilir. Bu sistemi iyileştirme yolunda devam eden çalışmalarımızda bize yardımcı olabilecek kullanıcı geri bildirimleri toplamak istiyoruz.
ChatGPT’nin bugünkü araştırma sürümü, OpenAI’ın giderek daha güvenli ve kullanışlı yapay zeka sistemlerini yinelemeli olarak dağıtma yolunda attığı en son adım. GPT‑3 ve Codex gibi daha önceki modellerin dağıtılmasından çıkarılan birçok ders bu sürümde kullanılan güvenlik risklerini azaltma önlemlerine temel oluşturdu. Bu derslere, insan geri bildiriminden takviyeli öğrenme (RLHF) kullanımıyla sağlanan, zararlı ve gerçek dışı çıktıların önemli ölçüde azaltılması da dahil.
Yukarıda değinilen sınırlamalardan birçoğunun hâlâ devam ettiğinin farkındayız ve bu alanlarda iyileştirmeler sağlamak için düzenli model güncellemeleri yapmayı planlıyoruz. Ayrıca, ChatGPT’ye erişilebilir bir arayüz sağlayarak şu anda farkında olmadığımız sorunlara dair kullanıcılardan değerli geri bildirimler almayı umuyoruz.
Kullanıcıların sorunlu model çıktılarına ve arayüzün bir parçası olan harici içerik filtresinden gelen hatalı pozitiflere/negatiflere dair geri bildirimlerini kullanıcı arayüzü üzerinden iletmesi bizi memnun eder. Gerçek dünyada, düşmanca olmayan koşullarda ortaya çıkabilecek zararlı çıktılarla ilgili geri bildirimlerin yanı sıra yeni riskleri ve olası risk azaltma önlemlerini belirlememize ve anlamamıza yardımcı olacak geri bildirimler almayı özellikle istiyoruz. API kredilerinde 500 ABD dolarına kadar ödül kazanma fırsatını kullanmak için ChatGPT Geri Bildirim Yarışmasına(yeni bir pencerede açılır)3 katılabilirsiniz.A Yarışma katılma başvuruları ChatGPT arayüzünde bağlantı verilen geri bildirim formu aracılığıyla gönderilebilir.
Daha önceki dağıtımların bu sürümü şekillendirmesi gibi, bu sürümden elde edeceğimiz derslerin de bizi daha yetenekli sistemlere taşıyacağını bilmek bizi heyecanlandırıyor.
Dipnotlar
- A
Satın alma işlemi gerekmez ve yasaklanmış olan yerlerde geçersizdir. Katılmak için en az 18 yaşında olmak gerekir. Yarışmanın ayrıntılarını öğrenmek için Resmi Kurallar'a(yeni bir pencerede açılır) bak.
Referanslar
- 1
Stiennon, Nisan, ve diğerleri. “Learning to summarize with human feedback (İnsan geri bildirimi ile özetlemeyi öğrenmek)(yeni bir pencerede açılır).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman ve Jacob Hilton. “Scaling Laws for Reward Model Overoptimization (Ödül Modelinin Aşırı Optimizasyonu İçin Ölçekleme Yasaları)(yeni bir pencerede açılır).” arXiv ön baskısı arXiv:2210.10760 (2022).
- 3
Bu yarışmanın kısmen ilham kaynağı Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji ve Joy Buolamwini'nin çalışmalarıdır. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress (Algoritmik Olumsuzluklar İçin Hata Avcılığı Ödülleri? Algoritmik Olumsuzlukların Keşfedilmesi, Açıklanması ve Tazmin Edilmesi Alanında Siber Güvenlik Zafiyetlerinin Açıklanmasından Alınacak Dersler). Washington, DC: Algorithmic Justice League. Ocak 2022. Şu adresten erişilebilir: https://ajl.org/bugs(yeni bir pencerede açılır) Ayrıca Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn ve Gretchen Krueger ve diğerlerinin çalışmalarına bakılabilir. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims (Güvenilir Yapay Zekâ Geliştirme Yolunda Adımlar: Doğrulanabilir İddiaları Destekleme Mekanizmaları)”, Nisan 2020. Şu adresten erişilebilir: https://arxiv.org/abs/2004.07213(yeni bir pencerede açılır). Bu türden bir yarışmanın daha eski bir örneği HackerOne'da görülebilir. 2021b. “Twitter Algorithmic Bias (Twitter’ın Algoritmik Ön Yargısı)”. HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(yeni bir pencerede açılır). Son olarak, Rubinovitz, JB, tarafından bu konuda yayınlanan ilk çalışmalara bakılabilir: “Bias Bounty Programs as a Method of Combatting Bias in AI (Yapay Zekâda Ön Yargı İle Mücadele Yöntemi Olarak Ön Yargı Avcılığı Ödül Programları)”, Ağustos 2018. Şu adresten erişilebilir: https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(yeni bir pencerede açılır).
Yazar
Teşekkürler
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
