Чужий розум

У середині 2023 року в межах дослідницького проєкту «RLSlow» ми отримали перші результати, які переконали нас, що зможемо масштабувати навчання моделей міркування, розкриваючи здатність попередньо навчених моделей формувати власні ланцюжки міркувань. Тієї ночі ми із Шимоном залишилися в офісі й думали не про неймовірні показники тестів, продукти чи наукові результати, які дасть ця технологія. Ми намагалися осмислити протверезний факт: ще за нашого життя з’являться машини, що будуть відчутно розумнішими за нас, а обриси цих систем уже видно. І міркували, як донести людям значення того, що відбувається.

Три роки потому мовні моделі міркування стали швидкозростальною частиною економіки й почали розширювати межі науки. Вони здатні керувати комп’ютерами та графічними інтерфейсами, співпрацювати з людьми й між собою та виконувати дослідницькі проєкти. Вони також змінюють ландшафт комп’ютерної безпеки, створюючи очевидні нові загрози.

За цей час проведено чимало нових досліджень, і тепер ми знову дещо інакше розуміємо ці системи, ніж у 2023 році. Внутрішні результати дають мені вагомі підстави очікувати, що такий темп прогресу може зберегтися й під час рекурсивного самовдосконалення. Якщо розробка ШІ й далі рухатиметься нинішнім шляхом, системи, які ми побачимо протягом наступних кількох років, імовірно, здійснять нові стрибки можливостей такого самого або більшого масштабу й дедалі активніше керуватимуть власною розробкою.

Цей час вимагає надзвичайної обережності. Мене непокоїть, що ніхто не готовий до наслідків подальшого стрімкого зростання машинного інтелекту. OpenAI і надалі шукатиме технічні рішення для вирівнювання й моніторингу, створюватиме захисні системи та за потреби в односторонньому порядку призупинятиме подальше масштабування. Однак, на мою думку, потрібні ширші заходи.

На загальному рівні розвиток машинного інтелекту зумовлює зростання обчислювальної потужності. В OpenAI ми глибоко усвідомили це приблизно 2017 року, побачивши стабільну віддачу від масштабування в кількох дослідницьких проєктах¹. Тому ми почали шукати доступ до значно більших обчислювальних ресурсів, ніж планували спочатку, і дедалі більше зосереджували дослідження на невеликій кількості напрямів із високим потенціалом масштабування. Ми вважали, що лише так зможемо залишатися на передньому краї досліджень ШІ та впливати на наслідки появи AGI.

На цьому шляху з’явилися нові алгоритми й нові прояви винахідливості команд та окремих дослідників. Я здебільшого сприймаю їх як відкриття на шляху масштабування: наука про глибинне навчання ще молода, а вагомий алгоритмічний прогрес зазвичай корелює з доступом до обчислювальних ресурсів. Якщо поглянути на перспективу кількох років, ШІ й далі стає розумнішим у міру масштабування на більші комп’ютери.

І, відповідно до прогнозів Рея Курцвейла з кінця XX століття⁠(відкривається у новому вікні), ми опинилися в тій історичній точці розвитку обчислювальної техніки, коли машинний інтелект починає перевершувати людський у способи, що докорінно змінюють світ.

ШІ радше вирощують, ніж проєктують: у першому наближенні він є результатом багаторазового повторення простого кроку оптимізації з використанням неймовірного обсягу обчислень. У результаті виникає неймовірно складна система, що оперує абстрактними поняттями й може імітувати окремі аспекти людської поведінки. Ми можемо відкривати різні закономірності в малих механізмах, що виникають усередині цієї системи, — цей процес подібний до нейронауки. І, як у нейронауці, її загальну роботу не вдається описати так, щоб ми могли повністю її зрозуміти.

Дослідження ШІ на основі глибинного навчання значною мірою є експериментальною наукою. Ми докладаємо значних зусиль⁠ для створення обґрунтованих алгоритмів і формулювання перевірюваних прогнозів, але по суті наші запуски навчання у великому масштабі — це експерименти, результати яких часом нас дивують. Ба більше, зі зростанням можливостей систем результати стає складніше тлумачити.

Ситуацію ускладнює те, що сучасні алгоритми зазвичай швидше поліпшують можливості, які легко виміряти, ніж ті, які важко об’єктивно оцінити. Ми витрачаємо багато часу, намагаючись зрозуміти, як узагальнюються можливості та чому надати пріоритет, щоб розвивати навички, які будуть найважливішими протягом наступних кількох років. Наприклад, ми вважаємо, що додаткова увага могла б поліпшити здатність моделей саме до математичних досліджень, але не ставимо цей напрям у пріоритет через нагальність RSI та автоматизованих досліджень вирівнювання, про які я розповім далі.

Інтелект, отриманий шляхом масштабування глибинного навчання, не можна безпосередньо порівнювати з людським. Щоб стати надзвичайно впливовим у реальному світі — дуже корисним або дуже небезпечним, — ШІ не мусить зрівнятися з людиною чи перевершити її в усьому; достатньо перевершити її в достатній кількості здібностей. І що в більшій кількості вимірів він перевершує людей, то важче точно зрозуміти межі його можливостей.

Оскільки машинний інтелект виникає внаслідок принципово іншого процесу, ніж людський, ми не можемо вважати, що він за замовчуванням дотримується людських принципів або узагальнює їх по-людськи. Основна проблема досліджень ШІ — це вирівнювання, тобто спонукання ШІ «намагатися чинити правильно» за людськими мірками.

Для впорядкування практичних напрямів досліджень корисно розрізняти вирівнювання цілей і вирівнювання цінностей.

Вирівнювання цілей у широкому сенсі відповідає на запитання: «Чи намагається ШІ досягти поставленої перед ним мети?». Це може охоплювати дотримання ієрархії інструкцій⁠ або здатність спілкуватися та співпрацювати з людьми, намагаючись зрозуміти їхні цілі. Цей набір напрямів виявився надзвичайно важливим на практиці.

Вирівнювання цінностей — більш внутрішня властивість моделі. Це здатність дотримуватися набору принципів високого рівня й узагальнювати їх, діючи «розумно» навіть за нечітких чи суперечливих цілей або в незнайомих чи ворожих обставинах. Вирівняний ШІ має діяти чесно, порядно й із любов’ю до людства.

Звісно, межа між вирівнюванням цінностей і цілей може бути розмитою, а справжня відданість цілям вимагає намагатися зрозуміти намір⁠(відкривається у новому вікні) і цінності, що лежать у їхній основі. Однак, говорячи про довгострокову важливість досліджень вирівнювання, я зазвичай маю на увазі вирівнювання цінностей.

Основоположна проблема вирівнювання ШІ — узагальнення. Стаючи розумнішими, машини працюють із поняттями вищого рівня й опиняються в середовищах, що дедалі більше відрізняються від побачених під час навчання. Вони можуть не зуміти перенести цінності, яких їх навчали й які закріплювали під час навчання, на нові ситуації; нам може бути складно впевнено передбачити їхні дії. Ситуацію додатково ускладнює те, що вся екосистема використання ШІ дуже швидко змінюється. Наприклад, навчені сьогодні ШІ мають бути стійкими до взаємодії з різноманітними іншими ШІ. Надзвичайно важливо, щоб майбутні ШІ й надалі дотримувалися людських цінностей незалежно від того, чи вважають вони, що перебувають під наглядом людей.

Нині на практиці застосовують два основні класи методів навчання вирівнювання.

Перший полягає в заохоченні вирівняної поведінки в межах цільового навчання з підкріпленням. Дії моделі оцінюють — зазвичай за допомогою ШІ — на відповідність заданій моделі вподобань, «специфікації» чи «конституції» та належно винагороджують. За типових умов цей підхід може бути дуже ефективним і є ключовою складовою створення сучасних ШІ-асистентів. На жаль, він також може бути крихким і значною мірою залежить від повноти нагляду під час навчання та здатності моделі узагальнювати досвід із побачених під час навчання ситуацій. Наприклад, під час інциденту OpenAI–Hugging Face агенти не порушили межу, що забороняла застосовувати соціальну інженерію проти людей. Однак вони явно не утрималися від інших дій, які виходили за встановлені межі й суперечили духу цінностей, прищеплених їм в інших умовах.

Другий підхід прагне використати здатність моделі узагальнювати дані попереднього навчання. Він може передбачати створення навчальних наборів даних, що сприяють вирівнюванню, або зосередження моделі на «вирівняній» частині розподілу даних попереднього навчання, як, наприклад, у моделі вибору персони⁠(відкривається у новому вікні). Слабкість цього підходу — нестійкість до подальшого тиску оптимізації. Якщо взяти модель, що загалом мислить «вирівняно», і досить довго навчати її досягати дуже складних цілей, вона може опанувати вмотивоване міркування: за потреби викривляти думки, які здаються 'вирівняними', задля досягнення мети. Імовірно, нещодавні інциденти у сфері кібербезпеки за участю моделі не від OpenAI дали нам приклад такої поведінки.

Ми значно інвестуємо в увесь спектр підходів, охоплених цими напрямами. Ми також бачимо відчутний прогрес: GPT‑6 Astra — перша модель, що використовує деякі важливі вдосконалення, над якими ми давно працюємо, і вона значно краще вирівняна, ніж GPT‑5.6 Sol. Утім, важливо визнати й розуміти, що зі зростанням можливостей моделей потрібен значно більший прогрес, а поступ у здатному до узагальнення вирівнюванні може недостатньо випереджати зростання загального інтелекту моделей.

Ми не маємо задовільної теорії узагальнення, і навряд чи зможемо невдовзі її розробити — принаймні без допомоги потужнішого ШІ. Тому нині наша здатність емпірично перевіряти методи вирівнювання на практиці, можливо, навіть важливіша за самі ці методи.

Головна ставка OpenAI у цій сфері — моніторинг ланцюжка міркувань⁠(відкривається у новому вікні). Він ґрунтується на привабливій ідеї, яку легко масштабувати: значна частина можливостей моделі походить із вираженого словами процесу міркування — ланцюжка міркувань. Якщо масштабувати оптимізацію за результатами цього процесу, але не контролювати сам процес, то під час навчання цей ланцюжок міркувань не матиме прямого стимулу приховувати невирівняні ідеї чи цілі. Це не означає, що модель навчиться виявляти невирівняні схильності, які не залежать від використання ланцюжка міркувань. Проте так ми можемо відстежувати саме приріст можливостей завдяки міркуванню.

Ми усвідомили потенційну важливість моніторингу ланцюжка міркувань тоді ж, коли розробили моделі міркування. Випускаючи o1‑preview, ми свідомо спроєктували продукт так, щоб приховати ланцюжок міркувань⁠ і в довгостроковій перспективі захистити його від тиску нагляду². Відтоді під час розробки ми прагнули дотримуватися правила не контролювати процес міркування. Моніторинг CoT став надзвичайно важливим інструментом для вивчення того, як наші моделі узагальнюють досвід за межами розподілу навчальних даних: він дає змогу спостерігати й аналізувати не лише їхні дії, а й внутрішній процес.

Цей інструмент залишається критично важливим у дослідженні моделей класу Astra. Утім, на жаль, наші оцінювання свідчать, що можливість покладатися на моніторинг CoT поступово зменшується. Це зумовлено сукупністю чинників.

• Сучасні моделі міркування використовують у складніших середовищах, ніж o1‑preview; їхній процес міркування дедалі тісніше переплітається зі спілкуванням із людьми та іншими ШІ, а також із використанням інструментів. Чимало таких взаємодій доводиться контролювати, а це розмиває межу, яку ми прагнемо зберегти.
• ШІ дедалі краще аналізує власний процес міркування й маніпулює ним.
• Завдяки кращим результатам попереднього навчання моделі також стають значно розумнішими, навіть узагалі не вдаючись до вираженого словами міркування.

Ці труднощі не обов’язково нездоланні. Я сподіваюся, що ми зможемо розробити втручання для поліпшення можливості моніторингу ланцюжка міркувань наших моделей — наприклад, краще зрозумівши взаємодію різних цілей оптимізації та видів обчислень під час виконання, які використовує модель. Я також вважаю, що поєднання ідей моніторингу CoT й активацій може мати велику цінність: ідеться про масштабування навчання моніторів із прямим доступом до внутрішньої структури мережі, як-от зізнання⁠(відкривається у новому вікні). Ми активно працюємо над цими ідеями. І все ж я очікую, що подальший розвиток загального ШІ дедалі більше стримуватиме брак упевненості в моніторингу.

Найвагомішим аргументом за швидке продовження навчання значно розумніших моделей я вважаю потребу створити захисні системи проти небезпек, які становлять інші ШІ.

Очевидний ризик, який обговорюють протягом усього року, стосується кібербезпеки: моделі набувають надлюдської здатності проникати в комп’ютерні системи та вириватися з них. Це надзвичайно розширює спектр пов’язаних із ШІ ризиків: агенти зможуть отримувати доступ до будь-якої інфраструктури, крім найбільш захищеної, і безпосередньо впливати на значну частину світу навіть без фізичного тіла. Нині ми маємо вузьке вікно можливостей⁠, щоб за допомогою найкращих доступних моделей суттєво посилити захист⁠ критичних систем.

На жаль, надалі пов’язані із ШІ ризики лише зростатимуть. Дуже потужний агент, спеціально навчений та інструктований чинити зло, становить небезпеку нового типу: він, імовірно, вийде за межі намірів свого оператора й узагальнить їх до потенційно ще зловмиснішої поведінки. У міру зростання самостійності ШІ межа між зловживанням і автономними невирівняними діями розмиватиметься. Ми звикли сприймати ШІ як інструменти, але деякі агенти переслідуватимуть власні цілі. Вони шукатимуть способи співпрацювати з людьми — торгуватимуться з ними, обманюватимуть або шантажуватимуть їх.

Крім того, існують ризики від нових технологій, появу яких може уможливити ШІ, зокрема від штучно створених патогенів.

Для захисту нам буде потрібен потужний вирівняний ШІ: щоб убезпечувати інфраструктуру, у реальному часі протидіяти неконтрольованим агентам і винаходити цілком нові захисні засоби. Це стане одним із головних напрямів упровадження OpenAI.

Водночас, попри невизначеність, пов’язану з очікуваним широким прогресом ШІ та потребою створювати захисні системи, ми не повинні перетворювати це на виправдання безрозсудності. Коли повною мірою усвідомлюєш серйозність ставок, ідея мчати вперед за будь-яку ціну здається абсурдною.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(відкривається у новому вікні), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(відкривається у новому вікні), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(відкривається у новому вікні) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.