GPT‑4

Це новий крок OpenAI на шляху до масштабування технологій глибокого вивчення. GPT‑4 — потужна мультимодальна модель, здатна сприймати як текст, так і зображення та створювати текстові відповіді. Хоча в деяких реальних ситуаціях вона поступається людині, її результати на професійних і академічних тестах відповідають людському рівню. Наприклад, у симуляції іспиту на адвокатську ліцензію GPT‑4 продемонструвала результат, що відповідає найкращим 10 % учасників, обмежень, хоча до ідеалу ще далеко. тоді як GPT‑3.5 опинилася в найгірших 10 %. Протягом шести місяців ми поступово вдосконалювали⁠ GPT‑4 , використовуючи досвід, накопичений у межах програми стрес-тестування та роботи з ChatGPT. Це дало змогу досягти найкращих на сьогодні показників точності, керованості та здатності моделі дотримуватися встановлених обмежень, хоча до ідеалу ще далеко.

За останні два роки ми повністю перебудували нашу інфраструктуру глибокого навчання та спільно з Azure спроєктували суперкомп'ютер, створений з нуля спеціально під наші завдання. Рік тому ми навчили GPT‑3.5 як перший «тестовий варіант» для нової системи. У процесі роботи ми виявили й усунули низку помилок, а також покращили теоретичні засади. У результаті навчання GPT‑4 пройшло безпрецедентно стабільно (за нашими мірками), ставши першим великим проєктом, у якому ми змогли точно передбачити продуктивність ще до запуску. Продовжуючи розвивати напрям масштабованості, ми прагнемо вдосконалювати методологію, щоб уміти заздалегідь прогнозувати й готуватися до майбутніх можливостей моделей, що вважаємо критично важливим для забезпечення безпеки

Ми запускаємо текстові можливості GPT‑4 через ChatGPT та API (зі списком очікування⁠). Щоб підготувати функцію обробки зображень до ширшого впровадження, на першому етапі ми співпрацюємо з одним партнером⁠(відкривається у новому вікні). Крім того, ми відкриваємо вихідний код OpenAI Evals⁠(відкривається у новому вікні) (нашої платформи для автоматичної оцінки продуктивності моделей ШІ). Це дасть змогу всім охочим повідомляти про недоліки моделей і таким чином сприяти їх подальшому вдосконаленню.

У повсякденному діалозі різниця між GPT‑3.5 і GPT‑4 може здаватися незначною. Проте вона стає очевидною, коли складність завдання досягає певного рівня. GPT‑4 демонструє вищу надійність, креативність і здатність розуміти більш тонкі та багаторівневі інструкції, ніж GPT‑3.5

Щоб зрозуміти відмінності між двома моделями, ми провели серію тестів, зокрема симуляцію іспитів, спочатку призначених для людей. Ми використовували найновіші загальнодоступні версії тестів (наприклад, завдання Олімпіад та відкриті питання AP) або купували тренувальні іспити за 2022–2023 роки. Спеціального навчання для проходження цих тестів не проводилося. Невелика частина завдань могла трапитися моделі під час навчання, однак ми вважаємо, що отримані результати відображають реальні здібності моделі (подробиці наведені в нашому технічному звіті⁠(відкривається у новому вікні)).

внутрішня примітка [[fh А]]

Ми також провели оцінювання GPT‑4 із використанням традиційних тестів, що застосовуються для моделей машинного навчання. За результатами цих тестів GPT‑4 суттєво перевершує як наявні великі мовні моделі, так і більшість передових (SOTA) систем, зокрема тих, що спеціально адаптовані під конкретні тести або навчені за вдосконаленими протоколами:

Більшість існуючих тестів машинного навчання створено англійською мовою. Щоб попередньо оцінити можливості GPT‑4 іншими мовами, ми переклали тест MMLU (набір із 14 000 запитань із множинним вибором із 57 дисциплін) різними мовами за допомогою Azure Translate (див. Додаток⁠). У 24 із 26 протестованих мов GPT‑4 перевершила показники GPT‑3.5 та інших великих мовних моделей (Chinchilla, PaLM), зокрема мов з обмеженими ресурсами — таких як латиська, валлійська та суахілі

Ми також використовуємо GPT‑4 усередині компанії, і це вже дало значний ефект у таких напрямах, як підтримка користувачів, продажі, модерація контенту та програмування. Крім того, модель допомагає фахівцям оцінювати результати роботи інших систем ШІ, що знаменує початок другого етапу нашої стратегії узгодженості⁠.

GPT‑4 може приймати запити, що містять текст і зображення, що — аналогічно текстовому режиму — дозволяє користувачу ставити будь-які завдання, пов’язані з обробкою мови або візуальної інформації. Модель генерує текстові відповіді (наприклад, природною мовою, у вигляді коду тощо) на основі вхідних даних, де текст і зображення можуть чергуватися. У різних сферах — від документів із текстом і фотографіями до схем чи скріншотів — GPT‑4 демонструє можливості, подібні до тих, що спостерігаються під час роботи лише з текстом. Крім того, модель можна доповнювати методами, що застосовуються для суто текстових моделей, зокрема few-shot навчанням (із кількома прикладами) і ланцюжками міркувань⁠(відкривається у новому вікні). Можливість введення зображень наразі перебуває на стадії дослідницького тестування й недоступна для широкої аудиторії.Введення візуальних даних

Ми попередньо оцінюємо продуктивність моделі GPT‑4, перевіряючи її на обмеженому наборі стандартних академічних візуальних тестів. Проте ці результати не відображають повний спектр можливостей моделі, оскільки ми постійно відкриваємо нові, інколи несподівані завдання, з якими вона успішно справляється. Незабаром ми плануємо опублікувати додаткові аналітичні матеріали й результати оцінок, а також детально дослідити вплив різних методів, застосованих під час тестування.

внутрішня примітка [[fii:А]]

Ми продовжуємо роботу в усіх напрямах, визначених у нашому плані щодо формування поведінки систем штучного інтелекту⁠, включно з можливістю керування їхнім стилем. На відміну від класичної версії ChatGPT з фіксованою манерою спілкування, довжиною відповідей і тоном тексту, розробники (а невдовзі й користувачі ChatGPT) тепер можуть задавати стиль і завдання моделі, описуючи інструкції в «системному» повідомленні. Такі повідомлення дають користувачам API можливість суттєво налаштовувати взаємодію з моделлю в установлених межах⁠(відкривається у новому вікні). Ми продовжуємо вдосконалювати цей напрям (особливо з огляду на те, що системні повідомлення є найпростішим способом «зламати» поточну модель, тобто дотримання обмежень ще не є ідеальним), але запрошуємо вас протестувати цю функцію та поділитися відгуками.

Попри досягнуті результати, GPT‑4 зберігає ті самі обмеження, що й попередні версії GPT. Передусім модель усе ще не є повністю надійною, оскільки може спотворювати факти та припускатися логічних помилок. Тому результати роботи моделі слід використовувати обережно, особливо у сферах, де помилки неприпустимі. У таких випадках радимо застосовувати додаткові заходи контролю: ручну перевірку, використання додаткових джерел або взагалі уникати використання моделі.

Попри те, що ця проблема й досі актуальна, модель GPT‑4 значно скоротила кількість спотворень і помилок порівняно з попередніми моделями, які також постійно вдосконалюються. За нашими внутрішніми тестами на стійкість до хибних фактів GPT‑4 показала результат на 40 % вищий, ніж остання версія GPT‑3.5.

Ми досягли прогресу в зовнішніх тестах, зокрема TruthfulQA, який оцінює здатність моделі відрізняти факти від навмисно сформульованих неправдивих тверджень. У цих завданнях хибні відповіді сформульовано так, щоб вони звучали переконливо.

Базова версія GPT‑4 лише незначно перевершує GPT‑3.5 за цим параметром, однак після навчання RLHF⁠, застосованого також для GPT‑3.5⁠, різниця стає суттєвою. Як показують приклади, GPT‑4 уміє уникати шаблонних висловів (наприклад, «старого собаку новим трюкам не навчиш»), але все ще може пропускати тонкі деталі — скажімо, помилково стверджувати, що Елвіс Преслі був сином актора.

Попри досягнутий прогрес, модель усе ще може демонструвати певні форми упередженості у відповідях. Як ми зазначали в останній публікації блогу⁠, наша мета — створювати системи ШІ з розумною поведінкою за замовчуванням, яка відображає цінності широкого кола користувачів, забезпечувати можливість налаштовувати такі системи в заданих межах і отримувати відгуки користувачів щодо того, якими ці межі мають бути.

Модель GPT‑4 загалом не володіє знаннями про події після вересня 2021 року, коли було завершено навчання основної частини її даних, і не здатна навчатися на власному досвіді. Іноді вона припускається простих логічних помилок, що не відповідають її загальній компетентності в багатьох галузях, або виявляє надмірну довірливість, погоджуючись із очевидно хибними твердженнями користувача. Крім того, як і людина, модель GPT‑4 може помилятися в складних завданнях, наприклад, допускаючи вразливості безпеки у створюваному нею коді.

GPT‑4 також може з повною впевненістю помилятися у своїх відповідях, не виявляючи належної обережності й не перевіряючи інформацію повторно, навіть коли ймовірність помилки є високою. Цікаво, що базова попередньо навчена модель має добру калібровку (її рівень упевненості зазвичай відповідає реальній імовірності правильності відповіді). Проте після додаткового етапу навчання ця калібровка знижується.

Ми безперервно вдосконалюємо GPT‑4, прагнучи зробити модель більш безпечною й орієнтованою на поставлені цілі вже з початку навчання. Наші зусилля охоплюють відбір і фільтрацію навчальних даних, проведення оцінок та взаємодію з експертами, покращення механізмів безпеки й постійний моніторинг роботи моделі.

Модель GPT‑4, як і її попередники, може становити загрозу. Вона здатна генерувати шкідливі поради, створювати помилковий код або надавати недостовірну інформацію. Водночас її нові можливості створюють додаткові зони ризику. Щоб оцінити їхній масштаб і протестувати модель у складних сценаріях, ми залучили понад 50 експертів із різних сфер — від безпеки та кіберзахисту до біологічних ризиків і міжнародної політики. Отримані результати допомогли протестувати поведінку GPT‑4 у ситуаціях підвищеної небезпеки, де потрібна глибока експертна оцінка. Відгуки та дані експертів були використані для вдосконалення системи захисту: зокрема, ми додали нові дані, щоб покращити здатність GPT‑4 відмовляти у запитах, пов’язаних зі створенням небезпечних хімічних речовин.

У процесі навчання GPT‑4 методом RLHF (навчання з підкріпленням на основі людського зворотного зв’язку) застосовується додатковий сигнальний механізм безпеки, спрямований на зменшення кількості шкідливого контенту (відповідно до наших правил використання⁠(відкривається у новому вікні)). Модель навчається відмовляти у виконанні запитів, пов’язаних із таким вмістом. Винагорода задається за допомогою класифікатора GPT‑4, який працює у режимі zero-shot (без попереднього навчання на аналогічних прикладах) та оцінює межі безпеки й стиль відповідей на запити, пов’язані з темами безпеки. Щоб запобігти помилковим відмовам у коректних запитах, ми формуємо різноманітний набір даних із різних джерел (зокрема розмічені виробничі дані, тестування фахівцями, запити, згенеровані самою моделлю) і застосовуємо сигнали безпеки (як позитивні, так і негативні) до дозволених і заборонених категорій контенту. 

Наші заходи дали змогу суттєво підвищити рівень безпеки GPT‑4 порівняно з GPT‑3.5. Ми зменшили схильність моделі відповідати на запити, пов’язані із забороненим контентом, на 82 % порівняно з GPT‑3.5, а також підвищили відповідність відповідей на теми безпеки (наприклад, медичні поради чи самопошкодження) нашим політикам на 29 %.

Загалом наші втручання на рівні моделі ускладнюють провокування небажаної поведінки, хоча повністю виключити таку можливість поки що неможливо. Крім того, усе ще існують способи обходу обмежень, що дають змогу створювати контент, який порушує наші правила використання⁠. У міру того як «ризик на токен» у системах штучного інтелекту зростає, стає критично важливо забезпечити максимально високий рівень надійності таких захисних механізмів. Поки цього не досягнуто, ці обмеження мають доповнюватися заходами безпеки на етапі впровадження, зокрема моніторингом можливих зловживань.

Моделі GPT‑4 і їхні подальші версії мають потенціал істотно впливати на суспільство як позитивно, так і негативно. Ми співпрацюємо із зовнішніми дослідниками, щоб глибше розуміти й оцінювати можливі наслідки, а також розробляти методи оцінювання потенційно небезпечних можливостей, які можуть проявитися у майбутніх системах. Незабаром ми поділимося своїм баченням можливого соціального та економічного впливу GPT‑4 й інших систем штучного інтелекту.

Як і попередні моделі серії GPT, базову версію GPT‑4 навчали передбачати наступне слово в тексті, використовуючи як відкриті джерела (наприклад, інтернет), так і ліцензовані дані. Цей корпус охоплює інформацію у масштабах усього інтернету: від правильних і помилкових розв’язань математичних задач до прикладів «слабкого» та «сильного» міркування, суперечливих і логічно узгоджених тверджень, а також відображає широкий спектр ідеологій та ідей.

Тому, відповідаючи на запитання, базова модель може генерувати безліч варіантів, які не завжди відповідають намірам користувача. Щоб скоригувати поведінку моделі та наблизити його до користувацького запиту у визначених рамках, ми застосовуємо навчання з підкріпленням на основі зворотного зв’язку від людей (RLHF⁠).

Варто зазначити, що основні можливості моделі формуються саме під час етапу попереднього навчання. Етап RLHF не покращує результати на тестах (і без додаткового налаштування навіть може їх погіршити). Однак керування поведінкою моделі відбувається вже після навчання: базовій моделі потрібен спеціально сформульований запит, щоб вона «зрозуміла», що необхідно відповісти на поставлені запитання.

Одним із ключових напрямів проєкту GPT‑4 стало створення архітектури глибокого вивчення, яка масштабується передбачувано. Основна причина полягає в тому, що під час навчання таких великих моделей, як GPT‑4, неможливо проводити детальне налаштування кожної з них. Ми розробили інфраструктуру та методи оптимізації зі стабільною й передбачуваною поведінкою на різних масштабах. Щоб перевірити цю здатність до масштабування, ми заздалегідь точно передбачили фінальне значення втрат GPT‑4 на нашій внутрішній кодовій базі (яка не входить до навчального набору), екстраполювавши результати з моделей, навчальних за тією ж методикою, але з обчислювальними витратами, меншими у 10 000 разів:

Тепер, коли ми можемо точно прогнозувати метрику, яку оптимізують під час навчання, ми почали розробляти методологію для прогнозування більш наочних метрик. Наприклад, нам вдалося передбачити відсоток успішних рішень для частини набору HumanEval⁠(відкривається у новому вікні), екстраполювавши результати з моделей, що використовують у 1 000 разів менше обчислювальних ресурсів:

Попри це деякі можливості ШІ залишаються непередбачуваними. Наприклад, конкурс Inverse Scaling Prize мав на меті виявити метрику, показники якої погіршуються зі збільшенням обчислювальних ресурсів моделі; однією з таких стала метрика «ігнорування ретроспективи⁠(відкривається у новому вікні)». Однак GPT‑4, як показали нові дані⁠(відкривається у новому вікні), повністю порушує цю закономірність:

Ми переконані, що здатність точно прогнозувати розвиток технологій машинного навчання відіграє ключову роль у забезпеченні безпеки, але водночас їй приділяють недостатньо уваги, попри величезний потенційний ефект (хоча нас тішать ініціативи, які з’являються в різних наукових центрах). Ми активно розвиваємо напрямки, що дадуть суспільству змогу краще розуміти перспективи та обмеження майбутніх систем, і сподіваємося, що це стане спільним завданням для всієї галузі.

Ми відкриваємо вихідний код OpenAI Evals⁠(відкривається у новому вікні) — програмного фреймворку для створення й запуску тестів, призначених для оцінювання моделей на кшталт GPT‑4 із можливістю детального аналізу їхньої роботи на окремих прикладах. Ми використовуємо Evals, щоб спрямовувати розвиток наших моделей (виявляти слабкі місця та запобігати регресіям). Користувачі також можуть застосовувати цей інструмент для відстеження продуктивності різних версій моделей (які тепер виходитимуть регулярно) і вдосконалення інтеграцій у продуктах. Наприклад, компанія Stripe використовувала Evals, щоб доповнити власні експертні оцінки та виміряти точність роботи свого інструмента для документації на базі GPT.

Оскільки код повністю відкритий, Evals дає змогу створювати власні нові класи для реалізації індивідуальної логіки оцінювання⁠(відкривається у новому вікні). Однак, за нашим досвідом, багато тестів будуються за кількома типових «шаблонами», тому ми включили ті шаблони⁠(відкривається у новому вікні), що виявилися найбільш корисними всередині компанії (зокрема шаблон для «оцінок, що виставляються моделлю» — ми з'ясували, що GPT‑4 дивовижно добре перевіряє власні відповіді). Зазвичай найефективніший спосіб створити нову оцінку⁠(відкривається у новому вікні) — використати один із цих шаблонів і додати власні дані. Ми з нетерпінням чекаємо рішень, які створить спільнота з допомогою цих шаблонів і Evals загалом.

Ми сподіваємося, що Evals стане платформою для спільного створення та обміну тестами, що охоплюють максимально широкий спектр помилок і складних завдань. Як приклад, ми розробили набір тестів із логічними головоломками⁠(відкривається у новому вікні), що містить десять завдань, у яких GPT‑4 помиляється. Evals також підтримує інтеграцію наявних оцінювальних тестів: ми додали кілька інтерактивних прикладів⁠(відкривається у новому вікні) із академічними тестами та приклади використання окремих фрагментів CoQA⁠(відкривається у новому вікні) як демонстрацію.

Ми запрошуємо всіх використовувати Evals для тестування наших моделей і ділитися найцікавішими прикладами. Ми переконані, що Evals стане невід’ємною частиною процесу застосування й розвитку наших моделей. Ми відкриті до будь-яких пропозицій, запитань і відгуків⁠(відкривається у новому вікні).

Підписники ChatGPT Plus отримають доступ до GPT‑4 на сайті chatgpt.com⁠(відкривається у новому вікні) з установленим обмеженням використання. Ми регулюватимемо це обмеження використання залежно від попиту та продуктивності системи, однак очікуємо суттєві обмеження пропускної здатності (протягом наступних місяців ми плануємо розширювати й оптимізувати інфраструктуру).

Залежно від патернів трафіку ми можемо запровадити новий рівень підписки для користувачів із підвищеним обсягом запитів до GPT‑4. Ми також сподіваємося з часом надати обмежену кількість безкоштовних запитів, щоб і ті, хто не має підписки, могли спробувати GPT‑4.

Щоб отримати доступ до API GPT‑4 (він використовує той самий ChatCompletions API⁠(відкривається у новому вікні), що й gpt-3.5-turbo), зареєструйтеся у списку очікування⁠. Ми починаємо запрошувати перших розробників уже сьогодні й поступово розширюватимемо доступ, щоб збалансувати навантаження та попит. Якщо ви досліджуєте соціальний вплив штучного інтелекту або питання його узгодження з етичними принципами, ви можете подати заявку на пільговий доступ через нашу Програму доступу для дослідників⁠.

Після отримання доступу ви зможете надсилати лише текстові запити до моделі gpt-4 (введення зображень наразі доступне лише в обмеженій альфа-версії). Ми автоматично оновлюватимемо модель до рекомендованої стабільної версії по мірі виходу нових релізів (поточну версію можна зафіксувати, зазначивши gpt-4-0314, підтримка якої триватиме до 14 червня). Вартість становить 0,03 долара США за 1 000 токенів запиту та 0,06 долара США за 1 000 токенів відповіді. Стандартні обмеження: 40 000 токенів на хвилину та 200 запитів на хвилину.

GPT‑4 має контекстну довжину 8 192 токени. Ми також надаємо обмежений доступ до версії з контекстною довжиною 32 768 токенів (приблизно 50 сторінок тексту) — gpt-4-32k, яка з часом автоматично оновлюватиметься (поточна версія: gpt-4-32k-0314, підтримується до 14 червня). Вартість становить 0,06 долара США за 1 000 токенів запиту та 0,12 долара США за 1 000 токенів відповіді. Ми продовжуємо покращувати якість моделі для роботи з довгим контекстом і будемо вдячні за ваші відгуки щодо її роботи у ваших сценаріях. Обробка заявок на доступ до версій 8K і 32K здійснюється з різною швидкістю залежно від доступних ресурсів, тому доступ до них може надаватися у різний час.

Ми переконані, що GPT‑4 стане важливим інструментом, який зробить життя людей кращим і стане базою для багатьох інноваційних застосунків. Нас очікує ще чимало роботи, і ми плануємо вдосконалювати цю модель разом із спільнотою, яка створює рішення на її основі, досліджує її та робить свій внесок у розвиток.

Докладніше: Читайте документ⁠(відкривається у новому вікні) / Ознайомтеся з системною карткою⁠(відкривається у новому вікні) / Спробуйте ChatGPT Plus⁠(відкривається у новому вікні) / Протестуйте в Playground⁠(відкривається у новому вікні) / Перегляньте демонстрацію⁠(відкривається у новому вікні) / Зробіть свій внесок у OpenAI Evals⁠(відкривається у новому вікні)

Приклад запитань MMLU, перекладених іншими мовами. Зверніть увагу: ми використовуємо узгоджені варіанти токенів (A–D):