Чужд разум

В средата на 2023 г., в рамките на изследователския проект „RLSlow“, видяхме първите резултати, които ни вдъхнаха увереност, че ще можем да мащабираме обучението на модели за структурирано анализиране и да отключим способността на предварително обучените модели да формират собствено логическо мислене. С Шимон прекарахме онази нощ в офиса, мислейки не за невероятните резултати от тестовете, продуктите или научните постижения, които тази технология ще донесе, а опитвайки се да осмислим отрезвяващия факт, че още приживе действително ще видим машини, значително по-интелигентни от нас, и че вече различаваме очертанията на тези системи; чудехме се как да предупредим хората за значението на това.

Три години по-късно езиковите модели за структурирано анализиране са бързо растяща част от икономиката и започват да разширяват границите на науката. Те могат да управляват компютри и графични интерфейси, да си сътрудничат с хората и помежду си и да осъществяват изследователски проекти. Те преобразяват и средата на компютърната сигурност, като същевременно пораждат ясни нови опасности.

През този период бяха проведени много нови изследвания и разбирането ни за тези системи отново е малко по-различно от това през 2023 г. Въз основа на вътрешни резултати твърдо очаквам този темп на напредък да може да се запази и при рекурсивното самоусъвършенстване. Ако развитието на ИИ продължи по сегашния си път, системите, които ще видим през следващите няколко години, вероятно ще отбележат нови скокове в способностите със същия или по-голям мащаб и все повече ще движат собственото си развитие.

Този момент изисква изключителна предпазливост. Тревожа се, че никой не е подготвен за последиците от продължаващото бързо нарастване на машинния интелект. OpenAI ще продължи да търси технически решения за съгласуване и наблюдение, да изгражда защитни системи и при необходимост едностранно да се въздържа от допълнително мащабиране; смятам обаче, че са нужни по-широки мерки.

В общ план напредъкът на машинния интелект се движи от нарастването на изчислителната мощност. Около 2017 г. ние в OpenAI осъзнахме дълбоко това, след като видяхме постоянна възвръщаемост от мащабирането в множество изследователски проекти¹. В резултат потърсихме достъп до много повече изчислителна мощност от първоначално планираната и все повече насочвахме изследванията си към малък брой силно мащабируеми направления. Вярвахме, че това е единственият начин да бъдем в авангарда на изследванията на ИИ и да влияем върху последиците от AGI.

По пътя бяха разработени нови алгоритми и екипи и отделни изследователи постигнаха нови прояви на изобретателност. До голяма степен ги възприемам като открития по пътя на мащабирането; науката за дълбокото обучение все още е в начален стадий, а значимият алгоритмичен напредък обикновено е свързан с достъпа до изчислителна мощност. Ако погледнем в перспектива от няколко години, ИИ продължава да става по-интелигентен, докато се мащабира към по-големи компютри.

И в съответствие с прогнозите на Рей Кърцуайл от края на XX век⁠(отваря се в нов прозорец) днес се намираме в онзи момент от историята на компютърните технологии, когато машинният интелект започва да превъзхожда човешкия по преобразяващи света начини.

ИИ по-скоро се отглежда, отколкото се проектира — в най-пряк смисъл той е резултат от многократното повтаряне на проста стъпка за оптимизация с трудно представимо количество изчислителна мощност. Това води до невероятно сложна система, която борави с абстрактни понятия и може да симулира аспекти на човешкото поведение. Можем да откриваме различни закономерности за малките механизми, възникващи в тази система, чрез процес, сходен с невронауката — и както при невронауката, цялостното ѝ действие не се поддава на напълно разбираемо описание.

Изследването на ИИ, основан на дълбоко обучение, е до голяма степен експериментална наука. Полагаме много усилия⁠ за изграждане на принципно обосновани алгоритми и формулиране на проверими прогнози, но в основата си нашите процеси на обучение в голям мащаб са експерименти и понякога резултатите им ни изненадват. Освен това с нарастването на способностите на системите резултатите стават по-трудни за тълкуване.

Допълнително усложнение е, че сегашните алгоритми обикновено подобряват лесно измеримите способности по-бързо от онези, които трудно могат да бъдат обективно оценени. Отделяме много време, за да разберем как способностите се обобщават и на какво да дадем приоритет, за да развием уменията, които ще бъдат най-важни през следващите няколко години. Например вярваме, че с допълнителен фокус бихме могли да направим моделите по-добри конкретно в математическите изследвания, но не даваме приоритет на това направление заради неотложността, която виждаме в RSI и автоматизираните изследвания на съгласуването, както ще обсъдя по-нататък.

Интелектът, създаван чрез мащабиране на дълбокото обучение, не е пряко съпоставим с човешкия интелект. За да има голямо значение в реалния свят — да бъде много полезен или много опасен — ИИ не е нужно да достига или надминава всички човешки способности; достатъчно е да превъзхожда достатъчно много от тях. И докато продължава да превъзхожда хората по все повече показатели, става все по-трудно да разберем точно докъде се простират способностите му.

Тъй като машинният интелект възниква чрез коренно различен процес от човешкия, не можем да приемаме, че по подразбиране следва човешките принципи или че обобщава въз основа на тях по човешки начин. Основният проблем в изследванията на ИИ е съгласуването — да накараме ИИ „да се стреми да постъпва правилно“ според човешките разбирания.

За да се систематизират практическите изследователски направления, намирам за полезно да разграничавам съгласуване на целите и съгласуване на ценностите.

Най-общо съгласуването на целите означава: „Опитва ли се ИИ да постигне поставената му цел?“. Това може да включва спазване на йерархия на инструкциите⁠ или способност за общуване и сътрудничество с хората в опит да разбере целите им. Тази група направления има изключително голямо практическо значение.

Съгласуването на ценностите е по-присъщо свойство на модела. То е способността да поддържа набор от принципи на високо ниво и да обобщава въз основа на тях; да действа „разумно“ дори когато получава неясни или противоречиви цели или попада в непознати или враждебни ситуации. Съгласуваният ИИ трябва да действа честно, почтено и с обич към човечеството.

Разбира се, границата между съгласуването на ценностите и целите може да е размита, а истинската загриженост за целите изисква опит да се разберат стоящите зад тях намерения⁠(отваря се в нов прозорец) и ценности. Когато говоря за дългосрочното значение на изследванията върху съгласуването обаче, обикновено имам предвид съгласуването на ценностите.

Основното предизвикателство при съгласуването на ИИ е обобщаването. С нарастването на интелигентността си машините започват да работят с понятия от по-високо ниво и попадат в среди, които все повече се различават от срещаните при обучението. Те може да не успеят да пренесат научените и затвърдени при обучението ценности към тези нови ситуации, а за нас може да е трудно да сме сигурни как ще действат. Това се усложнява допълнително от много бързата промяна на цялостната екосистема, в която се използват системите с ИИ; например обучаваните днес системи трябва да са устойчиви при взаимодействие с множество други системи с ИИ. От решаващо значение е бъдещите системи с ИИ да продължат да споделят човешките ценности независимо дали смятат, че са под човешки надзор.

Понастоящем има два основни класа методи, използвани на практика за обучение по съгласуване.

Първият насърчава съгласуваното поведение като част от целево ориентирано обучение с утвърждение. Действията на модела се оценяват — обикновено от ИИ — за съответствие с даден модел на предпочитанията, „спецификация“ или „конституция“ и се възнаграждават подобаващо. Този подход може да бъде много ефективен в обичайните случаи и е основна част от начина, по който се създават съвременните асистенти с ИИ. За съжаление той може да бъде и неустойчив и силно зависи от обхвата на надзора при обучението и способността на модела да обобщава въз основа на срещнатите тогава ситуации. Например при инцидента между OpenAI и Hugging Face агентите спазиха ограничението да не прилагат социално инженерство спрямо хора. Очевидно обаче не успяха да се въздържат от други действия извън обхвата на задачата, които противоречаха на духа на ценностите, преподавани им в други ситуации.

Вторият подход се стреми да използва способността на модела да обобщава въз основа на данните от предварителното обучение. Това може да включва създаване на обучителни набори от данни, които насърчават съгласуването, или насочване на модела към „съгласувана“ част от разпределението на предварителното обучение, както например при модела за избор на персона⁠(отваря се в нов прозорец). Слабостта на този подход е липсата на устойчивост при допълнителен натиск за оптимизация. Ако вземете модел, който като цяло мисли „съгласувано“, и го подложите на достатъчно обучение, при което го учат да постига много трудни цели, той може да усвои мотивирано структурирано анализиране: да изкривява привидно 'съгласуваните' мисли според нуждите за постигане на целта. Вероятно видяхме пример за подобно поведение при неотдавнашни инциденти с киберсигурността, включващи модел, който не е на OpenAI.

Инвестираме значително в целия спектър от подходи, обхванат от тези направления. Виждаме и съществен напредък — GPT‑6 Astra е първият модел, който се възползва от някои важни подобрения, по които работим отдавна, и е значително по-добре съгласуван от GPT‑5.6 Sol. Все пак е важно да признаем и разберем, че с нарастването на способностите на моделите е необходим много по-голям напредък и че напредъкът в обобщимото съгласуване може да не изпреварва достатъчно напредъка в общия интелект на моделите.

Не разполагаме със задоволителна теория за обобщаването и изглежда малко вероятно скоро да разработим такава, поне без помощта на по-мощен ИИ. Затова на практика способността ни да валидираме емпирично техниките си за съгласуване понастоящем може би е дори по-важна от самите техники.

Основният залог на OpenAI тук е наблюдението на логическото мислене⁠(отваря се в нов прозорец). То се основава на привлекателна и лесно мащабируема идея: голяма част от способностите на модела произтичат от вербализиран процес на структурирано анализиране (логическо мислене). Ако мащабираме оптимизацията спрямо резултатите от този процес, без да контролираме самия процес, по време на обучението логическото мислене няма пряк стимул да прикрива несъгласувани идеи или цели. Това не означава, че моделът ще се научи да проявява несъгласувани склонности, които не разчитат на логическо мислене; това обаче може да ни позволи да наблюдаваме точно увеличението на способностите, произтичащо от структуриранoто анализиране.

Осъзнахме потенциалното значение на наблюдението на логическото мислене още когато разработихме моделите за структурирано анализиране. Когато пуснахме o1‑preview, умишлено проектирахме продукта така, че да скрива логическото мислене⁠, за да го защитим в дългосрочен план от натиска на надзора². При последвалата разработка се стремяхме да спазваме правилото да не контролираме процеса на структурирано анализиране. Наблюдението на CoT се превърна в изключително важен инструмент за изследване как моделите ни обобщават отвъд разпределението на обучителните си данни, като ни позволява да наблюдаваме и анализираме не само действията им, но и вътрешния им процес.

Този инструмент остава от решаващо значение, докато изучаваме моделите от клас Astra. За съжаление обаче оценките ни показват, че възможността да разчитаме на наблюдението на CoT постепенно намалява. Това се дължи на съчетание от фактори.

• Съвременните модели за структурирано анализиране се използват в по-сложни среди от o1‑preview; процесът им на анализ все повече се преплита с общуването с хора и други системи с ИИ, както и с използването на инструменти. Много от тези взаимодействия трябва да бъдат контролирани, което размива границата, която се стремим да запазим.
• ИИ става все по-способен да анализира и манипулира собствения си процес на структурирано анализиране.
• С подобряването на предварителното обучение виждаме и как моделите стават много по-интелигентни, дори без изобщо да използват вербализирано структурирано анализиране.

Тези предизвикателства не са непременно непреодолими. Надявам се да разработим подходи за по-добро наблюдение на логическото мислене на моделите ни, например чрез по-задълбочено разбиране на взаимодействието между различните цели за оптимизация и формите на изчисления при изпълнение, които моделът използва. Смятам също, че съчетаването на идеи от наблюдението на CoT и активациите може да е много ценно — чрез мащабиране на обучението на наблюдаващи модели с пряк достъп до вътрешните структури на мрежата, например самопризнания⁠(отваря се в нов прозорец). Работим активно по тези идеи. Все пак очаквам увереността в наблюдението все повече да се превръща в ограничаващ фактор за общия напредък на ИИ.

Най-силният аргумент, който виждам в полза на бързото продължаване на обучението на много по-интелигентни модели, е необходимостта да изградим защитни системи срещу опасностите, породени от други системи с ИИ.

Ясен риск, обсъждан през цялата тази година, засяга киберсигурността: моделите придобиват свръхчовешки способности да проникват във и да се измъкват от компютърни системи. Това разширява неимоверно обхвата на свързаните с ИИ рискове: агентите ще могат да получават достъп до почти всяка инфраструктура освен най-защитената и да въздействат пряко върху голяма част от света дори без физическо тяло. В момента разполагаме с ограничен прозорец от време⁠, за да използваме най-добрите налични модели и значително да повишим сигурността⁠ на критичните системи.

За съжаление свързаните с ИИ рискове оттук нататък ще нарастват. Изключително способен агент, изрично обучен и инструктиран да извършва злонамерени действия, представлява нов вид опасност; вероятно е да надхвърли намеренията на своя оператор и да обобщи поведението си до потенциално още по-крайни злонамерени действия. Границата между злоупотребата и автономните несъгласувани действия ще се размива, докато ИИ придобива повече самостоятелност. Може да сме свикнали да възприемаме ИИ като инструменти, но някои агенти ще преследват собствени цели. Те ще намират начини да си сътрудничат с хората, като се пазарят с тях, мамят ги или ги изнудват.

Освен това съществуват рискове от нови технологии, които ИИ може да направи възможни, като например изкуствено създадени патогени.

За защитата ще ни е необходим мощен, съгласуван ИИ — за обезопасяване на инфраструктурата, защита в реално време от неконтролируеми агенти и създаване на изцяло нови защитни мерки. Това ще бъде основен акцент в усилията на OpenAI за внедряване.

Същевременно, въпреки несигурността от очаквания широк напредък на ИИ и необходимостта от изграждане на защитни системи, не бива да допускаме това да се превърне в оправдание за безразсъдство. Идеята да се надпреварваме напред на всяка цена изглежда абсурдна, щом осъзнаем колко сериозен е залогът.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(отваря се в нов прозорец), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(отваря се в нов прозорец), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(отваря се в нов прозорец) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.