Ми створили модель під назвою ChatGPT, яка взаємодіє з користувачем у формі розмови. Формат діалогу дає змогу ChatGPT відповідати на додаткові запитання, визнавати власні помилки, ставити під сумнів неправильні припущення та відхиляти недоречні запити.
ChatGPT — це споріднена модель до InstructGPT, навчена виконувати інструкції в запиті та надавати докладні відповіді.
Ми раді представити ChatGPT, щоб отримати відгуки користувачів та дізнатися про його сильні та слабкі сторони. Під час дослідницького попереднього перегляду використання ChatGPT є безкоштовним. Спробуйте зараз на chatgpt.com(відкривається у новому вікні).
Зразки
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Ми навчали цю модель за допомогою методу навчання підкріпленням на основі людських відгуків (RLHF), використовуючи ті самі підходи, що й для InstructGPT, але з деякими відмінностями в організації збору даних. Спочатку ми створили базову модель шляхом додаткового навчання під наглядом: тренери зі штучного інтелекту надавали діалоги, у яких виступали з обох сторін — як користувач, так і асистент. Ми надали тренерам доступ до підказок, згенерованих моделлю, щоб допомогти їм формулювати відповіді. Новий корпус діалогів ми поєднали з набором даних InstructGPT, перетворивши його у формат діалогів.
Щоб створити модель винагороди для навчання підкріпленням, нам потрібно було зібрати порівняльні дані, що складалися з двох або більше відповідей моделі, упорядкованих за якістю. Щоб зібрати ці дані, ми взяли розмови, які тренери зі штучного інтелекту вели з чат-ботом. Ми випадково вибирали одне повідомлення, створене моделлю, генерували кілька альтернативних варіантів і просили тренерів розставити їх за рейтингом. На основі цих моделей винагороди ми могли донавчати модель, використовуючи метод оптимізації політики з обмеженням (Proximal Policy Optimization). Цей процес ми повторили кілька разів.
ChatGPT створено на основі донавченої моделі серії GPT‑3.5, навчання якої завершилося на початку 2022 року. Більше про серію 3.5 можна дізнатися тут(відкривається у новому вікні). ChatGPT і GPT‑3.5 були навчені на інфраструктурі суперкомп'ютерів Azure AI.
- ChatGPT іноді створює правдоподібні на вигляд, але помилкові або безглузді відповіді. Усунути цю проблему складно, оскільки: (1) під час навчання з підкріпленням наразі немає достовірного джерела істини; (2) якщо навчити модель більшої обережності, вона починає відхиляти навіть ті запитання, на які може відповісти правильно; (3) навчання з учителем вводить модель в оману, адже правильна відповідь залежить від того, що знає сама модель(відкривається у новому вікні), а не від знань людини, яка демонструє приклад.
- ChatGPT чутливий до незначних змін у формулюванні запиту або до повторного введення того самого запиту. Наприклад, за одного формулювання питання модель може стверджувати, що не знає відповіді, але за незначного перефразування може відповісти правильно.
- Модель часто надмірно багатослівна й повторює певні фрази, зокрема нагадує, що є мовною моделлю, створеною OpenAI. Ці проблеми виникають через упередженість у даних для навчання (тренери надають перевагу довшим відповідям, які виглядають більш вичерпними) та загальновідомі проблеми надмірної оптимізації.1, 2
- В ідеалі модель мала б ставити уточнювальні запитання, коли користувач формулює запит нечітко. Проте наразі наші моделі зазвичай лише здогадуються, що мав на увазі користувач.
- Попри наші зусилля змусити модель відхиляти недоречні запити, вона іноді все ж реагує на шкідливі інструкції або демонструє упередженість. Ми використовуємо Moderation API, щоб попереджати або блокувати певні типи небезпечного вмісту, але ми очікуємо, що наразі він матиме деякі хибні спрацьовування та пропуски. Ми прагнемо збирати відгуки користувачів, щоб і надалі вдосконалювати цю систему.
Сьогоднішній дослідницький реліз ChatGPT — це черговий етап у поступовому впровадженні OpenAI дедалі безпечніших і корисніших систем штучного інтелекту. Багато висновків, зроблених під час упровадження попередніх моделей, таких як GPT‑3 і Codex, лягли в основу заходів безпеки цього релізу, зокрема суттєвого зменшення кількості шкідливих або неправдивих відповідей завдяки використанню навчання підкріпленням на основі людських відгуків (RLHF).
Ми знаємо, що залишається багато обмежень, про які йшлося вище, і ми плануємо регулярно оновлювати модель, щоб удосконалювати її в цих аспектах. Водночас ми сподіваємося, що, надаючи зручний інтерфейс до ChatGPT, ми зможемо отримати цінні відгуки користувачів щодо проблем, про які нам ще невідомо.
Ми заохочуємо користувачів залишати відгуки про проблемні відповіді моделі безпосередньо через інтерфейс, а також повідомляти про хибні спрацьовування чи пропуски зовнішнього фільтра вмісту, який також є частиною інтерфейсу. Нас особливо цікавлять відгуки щодо потенційно шкідливих відповідей, які можуть виникати у звичайних, не зумисно провокованих ситуаціях, а також відгуки, що допомагають виявляти й розуміти нові ризики та можливі способи їх усунення. Ви можете взяти участь у конкурсі відгуків ChatGPT(відкривається у новому вікні),3 щоб отримати шанс виграти до 500 доларів США у вигляді кредитів API.A Заявки можна подати через форму відгуків, посилання на яку доступне в інтерфейсі ChatGPT.
Ми раді використати досвід цього релізу під час упровадження ще потужніших систем — так само, як попередні релізи допомогли створити цей.
Виноски
- A
Покупка не є обов’язковою; недійсне там, де заборонено. Учасникам має бути не менше 18 років. Деталі конкурсу дивіться в розділі Офіційні правила(відкривається у новому вікні).
Джерела
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(відкривається у новому вікні).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(відкривається у новому вікні).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Натхненням для цього конкурсу частково стала робота Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji та Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. January 2022. Доступно за адресою https://ajl.org/bugs(відкривається у новому вікні). Див. також роботу Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, and Gretchen Krueger et al. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,” April 2020. Доступно за адресою https://arxiv.org/abs/2004.07213(відкривається у новому вікні). Приклад подібного конкурсу можна знайти на сайті HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(відкривається у новому вікні). Також ознайомтеся з ранньою публікацією з цієї теми: Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI,” August 2018. Доступно за посиланням https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(відкривається у новому вікні).
Автор
Подяки
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
