Kiképeztünk egy ChatGPT nevű modellt, amely társalgási módon lép interakcióba. A párbeszédes formátum lehetővé teszi, hogy a ChatGPT válaszoljon a további kérdésekre, elismerje hibáit, megkérdőjelezze a helytelen előfeltevéseket és elutasítsa a nem megfelelő kéréseket.
A ChatGPT az InstructGPT testvérmodellje, amelyet arra tanítottak, hogy kövesse a promptban szereplő utasításokat, és részletes választ adjon.
Örömmel mutatjuk be a ChatGPT‑t, hogy megismerhessük a felhasználók visszajelzéseit, és megismerhessük annak erősségeit és gyengeségeit. A kutatási előnézet során a ChatGPT használata ingyenes. Próbáld ki most a chatgpt.com(új ablakban nyílik meg) oldalon.
Minták
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Ezt a modellt az emberi visszajelzésekből származó megerősítéses tanulás (RLHF) alkalmazásával képeztük, ugyanazokat a módszereket használva, mint az InstructGPT, de az adatgyűjtési beállításokban kisebb eltérésekkel. Egy kezdeti modellt felügyelt finomhangolással képeztünk: az emberi AI-oktatók olyan beszélgetéseket biztosítottak, amelyekben mindkét szerepet eljátszották—a felhasználót és az AI-asszisztenst. Hozzáférést adtunk az oktatóknak a modell által írt javaslatokhoz, hogy segítsük őket a válaszaik összeállításában. Ezt az új párbeszédes adathalmazt összekevertük az InstructGPT adathalmazzal, amelyet párbeszédes formátumra alakítottunk át.
A megerősítéses tanulás jutalmazási modelljének létrehozásához összehasonlító adatokat kellett gyűjtenünk, amelyek két vagy több modellválasz minőség szerinti rangsorolásából álltak. Ezen adatok összegyűjtéséhez olyan beszélgetéseket gyűjtöttünk össze, amelyeket az AI-oktatók folytattak a chatrobottal. Véletlenszerűen kiválasztottunk egy modelllel írt üzenetet, több alternatív befejezést mintavételeztünk, és az AI-oktatók rangsorolták őket. Ezeknek a jutalmazási modelleknek a segítségével a Proximal Policy Optimization segítségével finomhangolhatjuk a modellt. Ennek a folyamatnak több iterációját hajtottuk végre.
A ChatGPT‑t a GPT‑3.5 sorozat egyik modelljéből finomhangolták, amelynek betanítása 2022 elején fejeződött be. A 3.5-ös sorozatról itt(új ablakban nyílik meg) tudhatsz meg többet. A ChatGPT‑t és a GPT‑3.5‑öt egy Azure AI szuperszámítógépes infrastruktúrán képezték ki.
- A ChatGPT néha hihetőnek tűnő, de helytelen vagy értelmetlen válaszokat ad. A probléma megoldása kihívást jelent, mivel: (1) az RL betanítás során jelenleg nincs igazság forrása; (2) a modell óvatosabbá tétele miatt visszautasítja azokat a kérdéseket, amelyekre helyesen tud válaszolni; és (3) a felügyelt betanítás félrevezeti a modellt, mert az ideális válasz attól függ, amit a modell tud(új ablakban nyílik meg), nem pedig attól, amit az emberi demonstrátor tud.
- A ChatGPT érzékeny a bevitel megfogalmazásának finomításaira vagy ugyanazon utasítás többszöri megkísérlésére. Például, ha egy kérdés egy adott megfogalmazásával találkozik, a modell azt mondhatja, hogy nem tudja a választ, de egy enyhe átfogalmazás eseté helyesen válaszolhat.
- A modell gyakran túlságosan bőbeszédű, és túlzásba visz bizonyos kifejezéseket, például ismételten kijelenti, hogy ez egy OpenAI által képzett nyelvi modell. Ezek a problémák a betanítási adatok torzításaiból erednek (a trénerek a hosszabb, átfogóbbnak tűnő válaszokat részesítik előnyben), valamint a jól ismert túloptimalizálási problémákból.1 és 2
- Ideális esetben a modell tisztázó kérdéseket tenne fel, ha a felhasználó kétértelmű lekérdezést adna meg. Ehelyett jelenlegi modelljeink általában kitalálják, mit szeretett volna a felhasználó.
- Bár igyekeztünk, hogy a modell visszautasítsa a nem megfelelő kéréseket, néha mégis válaszolhat káros utasításokra, vagy elfogult viselkedést mutathat. A Moderation API-t használjuk bizonyos típusú nem biztonságos tartalmak figyelmeztetésére vagy blokkolására, de számítunk rá, hogy egyelőre lesznek hamis pozitív és pozitív eredmények. Örömmel gyűjtjük a felhasználói visszajelzéseket, hogy segítsük a rendszer folyamatos fejlesztésére irányuló munkánkat.
A ChatGPT mai kutatási kiadása az OpenAI egyre biztonságosabb és hasznosabb AI rendszereinek iteratív bevezetésének legújabb lépése. A korábbi modellek, mint a GPT‑3 és a Codex telepítéséből származó számos tanulság segítette a jelen kiadás biztonsági intézkedéseinek kialakítását, beleértve az emberi visszajelzésekből származó megerősítéses tanulás (RLHF) alkalmazásával elért káros és valótlan kimenetek jelentős csökkentését.
Tudjuk, hogy a fent említett korlátozások közül sok továbbra is fennáll, és tervezzük a modell rendszeres frissítését, hogy javítsunk ezeken a területeken. De azt is reméljük, hogy ha hozzáférhető felületet biztosítunk a ChatGPT‑hez, értékes felhasználói visszajelzéseket kapunk azokról a kérdésekről, amelyekről még nem tudunk.
A felhasználókat arra ösztönözzük, hogy az interfészen keresztül adjanak visszajelzést a problémás modellkimeneteken, valamint a szintén az interfész részét képező külső tartalomszűrő hamis pozitív/negatív eredményein. Különösen érdekelnek minket a valós, nem ellenséges körülmények között előforduló káros kimenetekkel kapcsolatos visszajelzések, valamint azok a visszajelzések, amelyek segítenek feltárni és megérteni az új kockázatokat és a lehetséges enyhítéseket. Dönthetsz úgy, hogy részt veszel a ChatGPT Visszajelzés Versenyen(új ablakban nyílik meg)3, és esélyed van akár az 500 dollár értékű API-kreditet megnyerni. A A bejegyzéseket a ChatGPT felületén található visszajelzési űrlapon keresztül lehet beküldeni.
Örömmel vesszük át a jelen kiadásból nyert tanulságokat a fejlettebb rendszerek bevezetésébe, ahogyan a korábbi bevezetések is alapul szolgáltak ehhez.
Lábjegyzetek
- A
Vásárlás nem szükséges, tiltott területeken érvénytelen. A részvételhez legalább 18 évesnek kell lenni. A verseny részleteit lásd a Hivatalos Szabályzatban(új ablakban nyílik meg).
Hivatkozások
- 1
Stiennon, Nisan, et al. „Learning to summarize with human feedback(új ablakban nyílik meg).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman és Jacob Hilton. „Scaling Laws for Reward Model Overoptimization(új ablakban nyílik meg).” arXiv preprint arXiv:2210.10760 (2022).
- 3
A verseny inspirációja részben Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji és Joy Buolamwini munkáiból ered. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. 2022. január Elérhető a https://ajl.org/bugs(új ablakban nyílik meg) oldalon. Lásd még Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn és Gretchen Krueger et al. munkáját: „Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims”, 2020. április. Elérhető a https://arxiv.org/abs/2004.07213(új ablakban nyílik meg) oldalon. Nézz meg egy korábbi példát egy ilyen versenyre a HackerOne-on. 2021b. „Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(új ablakban nyílik meg). Végezetül tekintse meg a témakörrel kapcsolatos korai publikációt Rubinovitz, JB-től, „Bias Bounty Programs as a Method of Combatting Bias in AI”, 2018. augusztus. Elérhető a https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(új ablakban nyílik meg) oldalon.
Szerző
Köszönetnyilvánítások
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic és Christopher Hesse
