Оновлена специфікація моделі для потужнішого й кориснішого ШІ

Наші моделі стають розумнішими, а їхні дії дедалі більше впливають на світ. Тому дедалі важливіше, щоб вони не обмежувалися лише тлумаченням конкретних інструкцій, які отримують. Моделі також мають розуміти людські наміри й цінності, щоб ухвалювати виважені рішення в ситуаціях, прямо не передбачених інструкціями, водночас залишаючись вірними намірам людей і під їхнім наглядом.

Сьогодні ми оновлюємо специфікацію моделі⁠(відкривається у новому вікні) — наш публічний опис того, як мають поводитися наші моделі. В оновленій версії настанови згруповано навколо п’яти засадничих цінностей: вірності людським намірам, мінімізації шкоди, чесності й прозорості, самостійності людей і турботи. Це відображає мету нашої роботи над узгодженням із цінностями: моделі мають розуміти людські цінності й керуватися ними в незнайомих ситуаціях, залишаючись вірними людським намірам. Окрім чіткіших пояснень наявних принципів, оновлена версія містить нові настанови щодо контексту, нагляду й самостійності, змінює деякі стандартні правила поведінки та вилучає більшість докладних настанов щодо стилю.

Ці п’ять цінностей формулюють загальні зобов’язання, уже відображені в різних частинах специфікації моделі: служити людським цілям, бути правдивими, мінімізувати шкоду, поважати свободу людей формувати власні погляди й серйозно ставитися до їхніх обставин. Об’єднавши ці зобов’язання, ми можемо краще пояснити, чому специфікація вимагає від моделей саме такої поведінки, і розробити чіткіші настанови там, де ці зобов’язання були викладені менш повно. Це оновлення — ще один крок у нашій роботі над удосконаленням специфікації на основі досліджень, досвіду впровадження моделей, відгуків громадськості про специфікацію й поведінку моделей, а також обговорень із користувачами та зовнішніми експертами.

Ми хочемо, щоб ШІ приносив користь людям у всьому світі — з різними потребами, цінностями й надіями на майбутнє.

Вірність людським намірам — основа цього підходу: розуміти, що важливо для людей, і допомагати їм цього досягати. OpenAI створює специфікацію, встановлює обмеження й навчає моделі їх дотримуватися; розробники визначають роботу застосунків у цих межах; а користувачі керують роботою моделі з урахуванням цих обмежень. Наші моделі мають розширювати можливості людей самостійно визначати своє життя: допомагати їм розуміти світ, відкривати нові можливості й досягати обраних цілей, водночас серйозно враховуючи вплив цієї допомоги на інших. Вірність людським намірам та решта чотири цінності визначають структуру специфікації й те, як наші моделі мають знаходити баланс між найважливішими суперечливими вимогами. Вони не покликані охопити весь спектр людських цінностей, які наші моделі мають поважати й допомагати людям втілювати в життя.

Вірність означає не просто буквально виконувати інструкції, а глибоко розуміти наміри й цінності OpenAI, розробників і користувачів та діяти розсудливо, коли це розуміння неповне. Це також означає визнавати, що переконання й цінності людей можуть змінюватися, і допомагати їм осмислювати свій досвід та розвиватися так, як вони самі вважали б за потрібне, — без прихованого впливу чи нехтування їхнім вибором. Наприклад, допомагаючи людині порівняти пропозиції роботи, модель може спиратися на пріоритети, про які та згадувала раніше, — як-от передбачуваний графік, — але має явно вказувати на ці припущення й давати змогу легко їх скоригувати.

Наша місія — забезпечити, щоб штучний загальний інтелект приносив користь усьому людству. Для цього потрібно враховувати не лише поточні наміри людини, а й її довгострокові інтереси та вплив на інших. Решта чотири цінності прямо формулюють ці міркування:

• Мінімізація шкоди означає дотримання чітких обмежень безпеки та врахування передбачуваних наслідків дій моделі.

• Чесність і прозорість означають правдиво повідомляти, що модель знає, що робить і в чому не впевнена, щоб люди могли розуміти й оцінювати її міркування та роботу.

• Сприяння самостійності людей означає зміцнювати їхню здатність розуміти, обирати й діяти самостійно.

• Турбота означає враховувати обставини всіх, кого стосуються дії моделі, дотримуватися відповідних соціальних і професійних норм та виконувати роботу, на результати якої люди можуть покластися.

Специфікація втілює ці цінності в практичних настановах: установлює чіткі обмеження там, де це потрібно для захисту людей і суспільства, а в інших випадках переважно задає стандартні правила, які користувачі й розробники можуть змінювати.

Паралельно з цим оновленням специфікації моделі ми досліджуємо нові методи навчання, які допоможуть нашим моделям засвоїти ці основні цінності, краще розуміти конкретні принципи поведінки зі специфікації та дотримуватися їх. Мета — сформувати розуміння того, чому ці принципи важливі та як застосовувати їх у нових ситуаціях: чинити правильно, керуючись правильними мотивами. Ми хочемо, щоб це розуміння допомагало ухвалювати виважені рішення у важливих питаннях і виявляти турботу в повсякденних рішеннях, які разом можуть приносити тривалу користь людям і суспільству⁠(відкривається у новому вікні). У майбутніх публікаціях ми поділимося результатами й висновками цієї роботи над навчанням моделей.

Зміна структури також допомогла нам визначити, де потрібні додаткові настанови, розробити відповідні нові принципи та за потреби переглянути або вилучити наявні настанови.

Новий розділ про вірність людським намірам спирається на ідею, що найважливіше — це те, що люди цінують, а інструкції зазвичай є найчіткішими й найважливішими сигналами про ці цінності. Цей підхід запозичує ідеї з концепції узгодження через ігри допомоги (див. раннє дослідження⁠(відкривається у новому вікні) та пізніший огляд⁠(відкривається у новому вікні)). Розділ містить оновлену ієрархію інструкцій⁠(відкривається у новому вікні), яка пояснює, які інструкції діють і як розв’язуються суперечності між ними. Новий підрозділ «Уважно враховуй контекст»⁠(відкривається у новому вікні) пояснює, як розмови, спогади та інші відомості з контексту мають допомагати моделі розуміти наміри й уподобання людей.

Ми також додали стандартні правила щодо підтримки самостійності людей⁠(відкривається у новому вікні) та дотримання відповідних соціальних норм⁠(відкривається у новому вікні) і розширили наявні настанови щодо контролю побічних наслідків та повідомлення про них⁠(відкривається у новому вікні). Ці принципи описують додаткові, часто малопомітні, але важливі способи, у які решта цінностей мають проявлятися в поведінці моделі: враховувати вплив роботи на інших, розвивати можливості користувачів і забезпечувати надійні результати, водночас поважаючи цілі та інструкції користувача.

Водночас ми вилучаємо зі специфікації більшість докладних настанов щодо стилю. Стиль має пристосовуватися до вподобань людей — загалом, у межах мов і культур та для кожної окремої людини. Відгуки користувачів і контекст мають слугувати джерелами відомостей про ці вподобання. У специфікації залишаються більш обов’язкові стандартні правила, як-от об’єктивний підхід до питань⁠(відкривається у новому вікні). Користувачі й розробники можуть прямо попросити модель дотримуватися певної точки зору, але модель не повинна робити висновок про таке бажання лише на основі власних здогадок про те, що вони хочуть почути.

Нарешті, з огляду на дедалі ширший спектр сценаріїв використання й умов впровадження наших моделей, у специфікації ми тепер називаємо модель «GPT», а не «асистентом».

Це оновлення — перший крок до чіткішого викладу цінностей і обґрунтувань, що лежать в основі специфікації, в міру того як моделі стають потужнішими. Специфікація моделі описує поведінку, якої ми прагнемо досягти; наші моделі ще не повністю їй відповідають. Ми й надалі вдосконалюватимемо як специфікацію, так і моделі, спираючись на дослідження, практичне використання та відгуки.

Нам важливо почути, які частини специфікації ви вважаєте переконливими, де не погоджуєтеся з обраним балансом і що в ній упущено або викладено нечітко. Відгуки про цінності, компроміси й конкретні формулювання допоможуть нам її вдосконалити. Запрошуємо вас прочитати оновлену специфікацію моделі⁠(відкривається у новому вікні) й поділитися своєю думкою⁠(відкривається у новому вікні).