Обучихме модел, наречен ChatGPT, който взаимодейства по чрез разговор. Форматът на диалог позволява на ChatGPT да отговаря на последващи въпроси, да признава грешките си, да оспорва неправилни предпоставки и да отхвърля неподходящи заявки.
ChatGPT е модел, подобен на InstructGPT, който е обучен да следва инструкция в подкана и да предоставя подробен отговор.
Развълнувани сме да представим ChatGPT, за да получим обратна връзка от потребителите и да научим за неговите силни и слаби страни. По време на предварителния преглед на изследването, използването на ChatGPT е безплатно. Изпробвайте го сега на chatgpt.com(отваря се в нов прозорец).
Образци
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Обучихме този модел с помощта на подсилващо обучение от човешка обратна връзка (RLHF), използвайки същите методи като InstructGPT, но с леки разлики в настройката за събиране на данни. Обучихме начален модел чрез контролирано прецизиране: обучителите по изкуствен интелект предоставиха разговори, в които играеха и двете роли - потребителя и асистентът с изкуствен интелект. Дадохме на обучителите достъп до предложения, написани от модела, за да им помогнем да съставят своите отговори. Смесихме този нов набор от данни за диалог с набора от данни на InstructGPT, който трансформирахме във формат за диалог.
За да създадем модел за възнаграждение за подсилващо обучение, трябваше да съберем данни за сравнение, които се състояха от два или повече отговора на модела, класирани по качество. За да съберем тези данни, ние използвахме разговори, които обучителите по изкуствен интелект проведоха с чатбота. На случаен принцип избрахме съобщение, написано от модел, взехме няколко алтернативни варианта за завършване и накарахме обучителите по изкуствен интелект да ги класират. Използвайки тези модели за възнаграждение, можем да прецизираме модела, използвайки Проксимална оптимизация на политиките. Извършихме няколко итерации на този процес.
ChatGPT е фино настроен от модел от серията GPT‑3.5, който завърши обучението си в началото на 2022 г. Можете да научите повече за серията 3.5 тук(отваря се в нов прозорец). ChatGPT и GPT‑3.5 бяха обучени на инфраструктура за суперкомпютри с изкуствен интелект Azure.
- ChatGPT понякога пише правдоподобно звучащи, но неправилни или безсмислени отговори. Решаването на този проблем е предизвикателство, тъй като: (1) по време на RL обучението в момента няма източник на истина; (2) обучението на модела да бъде по-предпазлив го кара да отказва въпроси, на които може да отговори правилно; и (3) контролирането обучение подвежда модела, защото идеалният отговор зависи от това, което моделът знае, а не от това, което знае(отваря се в нов прозорец) човешкият демонстратор.
- ChatGPT е чувствителен към промени във въведените фрази или опити за въвеждане на една и съща подкана многократно. Например при една формулировка на въпрос, моделът може да твърди, че не знае отговора, но при леко преформулиране, може да отговори правилно.
- Моделът често е прекалено многословен и прекомерно използва определени фрази, като например повтаря, че е езиков модел, обучен от OpenAI. Тези проблеми възникват от пристрастия в данните за обучение (обучителите предпочитат по-дълги отговори, които изглеждат по-изчерпателни) и добре известни проблеми с прекомерната оптимизация.1, 2
- В идеалния случай моделът би задавал изясняващи въпроси, когато потребителят предостави двусмислена заявка. Вместо това настоящите ни модели обикновено гадаят какво е имал предвид потребителят.
- Въпреки че сме положили усилия да накараме модела да отказва неподходящи заявки, понякога той отговаря на вредни инструкции или проявява пристрастно поведение. Ние използваме API за модериране , за да предупреждаваме или блокираме определени видове опасно съдържание, но засега очакваме да има някои фалшиви отрицателни и положителни резултати. Ние сме нетърпеливи да събираме обратна връзка от потребителите, за да подпомогнем текущата си работа за подобряване на тази система.
Днешното изследователско издание на ChatGPT е последната стъпка в итеративното внедряване на OpenAI на все по-безопасни и полезни системи за изкуствен интелект. Много от поуките от внедряването на по-ранни модели, като GPT‑3 и Codex, са допринесли за формирането на мерките за безопасност, приложени в това издание, включително значително намаляване на вредните и неверни изходи, постигнато чрез използването на подсилващо обучение от човешка обратна връзка (RLHF).
Знаем, че все още съществуват много ограничения, както е обсъдено по-горе, и планираме да правим редовни актуализации на модела, за да подобрим тези области. Но също така се надяваме, че предоставяйки достъпен интерфейс на ChatGPT, ще получим ценна обратна връзка от потребителите по въпроси, за които все още не сме информирани.
Потребителите се насърчават да предоставят обратна връзка за проблемните изходи на модела чрез потребителския интерфейс, както и за фалшиви положителни/отрицателни резултати от външния филтър за съдържание, който също е част от интерфейса. Особено се интересуваме от обратна връзка относно вредни изходи, които биха могли да възникнат в реални, неконфликтни условия, както и от обратна връзка, която ни помага да разкрием и разберем нови рискове и възможни мерки за смекчаване. Можете да изберете да участвате в Конкурса за обратна връзка на ChatGPT(отваря се в нов прозорец)3 за шанс да спечелите до $500 в API кредити.A Записите могат да бъдат изпращани чрез формуляра за обратна връзка, към който има връзка в интерфейса на ChatGPT.
С нетърпение очакваме да приложим поуките от това издание при внедряването на по-способни системи, точно както по-ранните внедрявания повлияха на това .
Бележки под линия
- A
Не е необходима покупка, невалидно е където е забранено. Трябва да сте поне на 18 години, за да влезете. За подробности относно конкурса, моля, вижте Официалните правила(отваря се в нов прозорец).
Препратки
- 1
Stiennon, Nisan и др. „Да се научим да обобщаваме с човешка обратна връзка(отваря се в нов прозорец).“ Напредък в системите за обработка на невронна информация 33 (2020): 3008-3021.
- 2
Гао, Лео, Джон Шулман и Джейкъб Хилтън. „<ahref=\" \">Закони за мащабиране за свръхоптимизация на модела за възнаграждение.“(отваря се в нов прозорец) arXiv preprint arXiv:2210.10760 (2022 г.).
- 3
Вдъхновението за този конкурс идва отчасти от работата на Кенуей, Джош, Камий Франсоа, Саша Костанца-Чок, Иниолуа Дебора Раджи и Джой Буоламвини. Награди за откриване на грешки при алгоритмични вреди? Уроци от разкриването на уязвимости в киберсигурността за откриване, разкриване и обезщетяване на алгоритмични вреди. Вашингтон, окръг Колумбия: Алгоритмична лига на справедливостта. Януари 2022 г. Достъпно на https://ajl.org/bugs(отваря се в нов прозорец). Вижте също работата на Бръндидж, Майлс, Авин, Шахар, Уанг, Жасмин, Белфийлд, Хайдн и Гретхен Крюгер и др. „Към разработване на надежден изкуствен интелект: Механизми за поддържане на проверими твърдения“, април 2020 г. Достъпно на https://arxiv.org/abs/2004.07213(отваря се в нов прозорец). Вижте по-ранен пример за такова състезание в HackerOne. 2021b. „Алгоритмично пристрастие в Twitter.“ HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(отваря се в нов прозорец). Накрая вижте ранно публикувана работа по тази тема от Рубиновиц, Дж. Б., „Програми за награди, основани на предубеждения, като метод за борба с предубежденията в ИИ“, август 2018 г. Достъпно на https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(отваря се в нов прозорец).
Автор
Благодарности
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic и Christopher Hesse
