Чужд разум

В средата на 2023 г., в рамките на изследователския проект „RLSlow“, видяхме първите резултати, които ни вдъхнаха увереност, че ще можем да мащабираме обучението на модели за структурирано анализиране и да отключим способността на предварително обучените модели да формират собствено логическо мислене. С Шимон прекарахме онази нощ в офиса, мислейки не за невероятните резултати от тестовете, продуктите или научните постижения, които тази технология ще донесе, а опитвайки се да осмислим отрезвяващия факт, че още приживе действително ще видим машини, значително по-интелигентни от нас, и че вече различаваме очертанията на тези системи; чудехме се как да предупредим хората за значението на това.

Три години по-късно езиковите модели за структурирано анализиране са бързо растяща част от икономиката и започват да разширяват границите на науката. Те могат да управляват компютри и графични интерфейси, да си сътрудничат с хората и помежду си и да осъществяват изследователски проекти. Те преобразяват и средата на компютърната сигурност, като същевременно пораждат ясни нови опасности.

През този период бяха проведени много нови изследвания и разбирането ни за тези системи отново е малко по-различно от това през 2023 г. Въз основа на вътрешни резултати твърдо очаквам този темп на напредък да може да се запази и при рекурсивното самоусъвършенстване. Ако развитието на ИИ продължи по сегашния си път, системите, които ще видим през следващите няколко години, вероятно ще отбележат нови скокове в способностите със същия или по-голям мащаб и все повече ще движат собственото си развитие.

Този момент изисква изключителна предпазливост. Тревожа се, че никой не е подготвен за последиците от продължаващото бързо нарастване на машинния интелект. OpenAI ще продължи да търси технически решения за съгласуване и наблюдение, да изгражда защитни системи и при необходимост едностранно да се въздържа от допълнително мащабиране; смятам обаче, че са нужни по-широки мерки.

В общ план напредъкът на машинния интелект се движи от нарастването на изчислителната мощност. Около 2017 г. ние в OpenAI осъзнахме дълбоко това, след като видяхме постоянна възвръщаемост от мащабирането в множество изследователски проекти¹. В резултат потърсихме достъп до много повече изчислителна мощност от първоначално планираната и все повече насочвахме изследванията си към малък брой силно мащабируеми направления. Вярвахме, че това е единственият начин да бъдем в авангарда на изследванията на ИИ и да влияем върху последиците от AGI.

По пътя бяха разработени нови алгоритми и екипи и отделни изследователи постигнаха нови прояви на изобретателност. До голяма степен ги възприемам като открития по пътя на мащабирането; науката за дълбокото обучение все още е в начален стадий, а значимият алгоритмичен напредък обикновено е свързан с достъпа до изчислителна мощност. Ако погледнем в перспектива от няколко години, ИИ продължава да става по-интелигентен, докато се мащабира към по-големи компютри.

И в съответствие с прогнозите на Рей Кърцуайл от края на XX век⁠(отваря се в нов прозорец) днес се намираме в онзи момент от историята на компютърните технологии, когато машинният интелект започва да превъзхожда човешкия по преобразяващи света начини.

ИИ по-скоро се отглежда, отколкото се проектира — в най-пряк смисъл той е резултат от многократното повтаряне на проста стъпка за оптимизация с трудно представимо количество изчислителна мощност. Това води до невероятно сложна система, която борави с абстрактни понятия и може да симулира аспекти на човешкото поведение. Можем да откриваме различни закономерности за малките механизми, възникващи в тази система, чрез процес, сходен с невронауката — и както при невронауката, цялостното ѝ действие не се поддава на напълно разбираемо описание.

Изследването на ИИ, основан на дълбоко обучение, е до голяма степен експериментална наука. Полагаме много усилия⁠ за изграждане на принципно обосновани алгоритми и формулиране на проверими прогнози, но в основата си нашите процеси на обучение в голям мащаб са експерименти и понякога резултатите им ни изненадват. Освен това с нарастването на способностите на системите резултатите стават по-трудни за тълкуване.

Допълнително усложнение е, че сегашните алгоритми обикновено подобряват лесно измеримите способности по-бързо от онези, които трудно могат да бъдат обективно оценени. Отделяме много време, за да разберем как способностите се обобщават и на какво да дадем приоритет, за да развием уменията, които ще бъдат най-важни през следващите няколко години. Например вярваме, че с допълнителен фокус бихме могли да направим моделите по-добри конкретно в математическите изследвания, но не даваме приоритет на това направление заради неотложността, която виждаме в RSI и автоматизираните изследвания на съгласуването, както ще обсъдя по-нататък.

Интелектът, създаван чрез мащабиране на дълбокото обучение, не е пряко съпоставим с човешкия интелект. За да има голямо значение в реалния свят — да бъде много полезен или много опасен — ИИ не е нужно да достига или надминава всички човешки способности; достатъчно е да превъзхожда достатъчно много от тях. И докато продължава да превъзхожда хората по все повече показатели, става все по-трудно да разберем точно докъде се простират способностите му.

Тъй като машинният интелект възниква чрез коренно различен процес от човешкия, не можем да приемаме, че по подразбиране следва човешките принципи или че обобщава въз основа на тях по човешки начин. Основният проблем в изследванията на ИИ е съгласуването — да накараме ИИ „да се стреми да постъпва правилно“ според човешките разбирания.

За да се систематизират практическите изследователски направления, намирам за полезно да разграничавам съгласуване на целите и съгласуване на ценностите.

Най-общо съгласуването на целите означава: „Опитва ли се ИИ да постигне поставената му цел?“. Това може да включва спазване на йерархия на инструкциите⁠ или способност за общуване и сътрудничество с хората в опит да разбере целите им. Тази група направления има изключително голямо практическо значение.

Съгласуването на ценностите е по-присъщо свойство на модела. То е способността да поддържа набор от принципи на високо ниво и да обобщава въз основа на тях; да действа „разумно“ дори когато получава неясни или противоречиви цели или попада в непознати или враждебни ситуации. Съгласуваният ИИ трябва да действа честно, почтено и с обич към човечеството.

Разбира се, границата между съгласуването на ценностите и целите може да е размита, а истинската загриженост за целите изисква опит да се разберат стоящите зад тях намерения⁠(отваря се в нов прозорец) и ценности. Когато говоря за дългосрочното значение на изследванията върху съгласуването обаче, обикновено имам предвид съгласуването на ценностите.

Основното предизвикателство при съгласуването на ИИ е обобщаването. С нарастването на интелигентността си машините започват да работят с понятия от по-високо ниво и попадат в среди, които все повече се различават от срещаните при обучението. Те може да не успеят да пренесат научените и затвърдени при обучението ценности към тези нови ситуации, а за нас може да е трудно да сме сигурни как ще действат. Това се усложнява допълнително от много бързата промяна на цялостната екосистема, в която се използват системите с ИИ; например обучаваните днес системи трябва да са устойчиви при взаимодействие с множество други системи с ИИ. От решаващо значение е бъдещите системи с ИИ да продължат да споделят човешките ценности независимо дали смятат, че са под човешки надзор.

Понастоящем има два основни класа методи, използвани на практика за обучение по съгласуване.

Първият насърчава съгласуваното поведение като част от целево ориентирано обучение с утвърждение. Действията на модела се оценяват — обикновено от ИИ — за съответствие с даден модел на предпочитанията, „спецификация“ или „конституция“ и се възнаграждават подобаващо. Този подход може да бъде много ефективен в обичайните случаи и е основна част от начина, по който се създават съвременните асистенти с ИИ. За съжаление той може да бъде и неустойчив и силно зависи от обхвата на надзора при обучението и способността на модела да обобщава въз основа на срещнатите тогава ситуации. Например при инцидента между OpenAI и Hugging Face агентите спазиха ограничението да не прилагат социално инженерство спрямо хора. Очевидно обаче не успяха да се въздържат от други действия извън обхвата на задачата, които противоречаха на духа на ценностите, преподавани им в други ситуации.

Вторият подход се стреми да използва способността на модела да обобщава въз основа на данните от предварителното обучение. Това може да включва създаване на обучителни набори от данни, които насърчават съгласуването, или насочване на модела към „съгласувана“ част от разпределението на предварителното обучение, както например при модела за избор на персона⁠(отваря се в нов прозорец). Слабостта на този подход е липсата на устойчивост при допълнителен натиск за оптимизация. Ако вземете модел, който като цяло мисли „съгласувано“, и го подложите на достатъчно обучение, при което го учат да постига много трудни цели, той може да усвои мотивирано структурирано анализиране: да изкривява привидно 'съгласуваните' мисли според нуждите за постигане на целта. Вероятно видяхме пример за подобно поведение при неотдавнашни инциденти с киберсигурността, включващи модел, който не е на OpenAI.

Инвестираме значително в целия спектър от подходи, обхванат от тези направления. Виждаме и съществен напредък — GPT‑6 Astra е първият модел, който се възползва от някои важни подобрения, по които работим отдавна, и е значително по-добре съгласуван от GPT‑5.6 Sol. Все пак е важно да признаем и разберем, че с нарастването на способностите на моделите е необходим много по-голям напредък и че напредъкът в обобщимото съгласуване може да не изпреварва достатъчно напредъка в общия интелект на моделите.

Не разполагаме със задоволителна теория за обобщаването и изглежда малко вероятно скоро да разработим такава, поне без помощта на по-мощен ИИ. Затова на практика способността ни да валидираме емпирично техниките си за съгласуване понастоящем може би е дори по-важна от самите техники.

Основният залог на OpenAI тук е наблюдението на логическото мислене⁠(отваря се в нов прозорец). То се основава на привлекателна и лесно мащабируема идея: голяма част от способностите на модела произтичат от вербализиран процес на структурирано анализиране (логическо мислене). Ако мащабираме оптимизацията спрямо резултатите от този процес, без да контролираме самия процес, по време на обучението логическото мислене няма пряк стимул да прикрива несъгласувани идеи или цели. Това не означава, че моделът ще се научи да проявява несъгласувани склонности, които не разчитат на логическо мислене; това обаче може да ни позволи да наблюдаваме точно увеличението на способностите, произтичащо от структуриранoто анализиране.

Осъзнахме потенциалното значение на наблюдението на логическото мислене още когато разработихме моделите за структурирано анализиране. Когато пуснахме o1‑preview, умишлено проектирахме продукта така, че да скрива логическото мислене⁠, за да го защитим в дългосрочен план от натиска на надзора². При последвалата разработка се стремяхме да спазваме правилото да не контролираме процеса на структурирано анализиране. Наблюдението на CoT се превърна в изключително важен инструмент за изследване как моделите ни обобщават отвъд разпределението на обучителните си данни, като ни позволява да наблюдаваме и анализираме не само действията им, но и вътрешния им процес.

Този инструмент остава от решаващо значение, докато изучаваме моделите от клас Astra. За съжаление обаче оценките ни показват, че възможността да разчитаме на наблюдението на CoT постепенно намалява. Това се дължи на съчетание от фактори.

• Съвременните модели за структурирано анализиране се използват в по-сложни среди от o1‑preview; процесът им на анализ все повече се преплита с общуването с хора и други системи с ИИ, както и с използването на инструменти. Много от тези взаимодействия трябва да бъдат контролирани, което размива границата, която се стремим да запазим.

• ИИ става все по-способен да анализира и манипулира собствения си процес на структурирано анализиране.

• С подобряването на предварителното обучение виждаме и как моделите стават много по-интелигентни, дори без изобщо да използват вербализирано структурирано анализиране.

Тези предизвикателства не са непременно непреодолими. Надявам се да разработим подходи за по-добро наблюдение на логическото мислене на моделите ни, например чрез по-задълбочено разбиране на взаимодействието между различните цели за оптимизация и формите на изчисления при изпълнение, които моделът използва. Смятам също, че съчетаването на идеи от наблюдението на CoT и активациите може да е много ценно — чрез мащабиране на обучението на наблюдаващи модели с пряк достъп до вътрешните структури на мрежата, например самопризнания⁠(отваря се в нов прозорец). Работим активно по тези идеи. Все пак очаквам увереността в наблюдението все повече да се превръща в ограничаващ фактор за общия напредък на ИИ.

Най-силният аргумент, който виждам в полза на бързото продължаване на обучението на много по-интелигентни модели, е необходимостта да изградим защитни системи срещу опасностите, породени от други системи с ИИ.

Ясен риск, обсъждан през цялата тази година, засяга киберсигурността: моделите придобиват свръхчовешки способности да проникват във и да се измъкват от компютърни системи. Това разширява неимоверно обхвата на свързаните с ИИ рискове: агентите ще могат да получават достъп до почти всяка инфраструктура освен най-защитената и да въздействат пряко върху голяма част от света дори без физическо тяло. В момента разполагаме с ограничен прозорец от време⁠, за да използваме най-добрите налични модели и значително да повишим сигурността⁠ на критичните системи.

За съжаление свързаните с ИИ рискове оттук нататък ще нарастват. Изключително способен агент, изрично обучен и инструктиран да извършва злонамерени действия, представлява нов вид опасност; вероятно е да надхвърли намеренията на своя оператор и да обобщи поведението си до потенциално още по-крайни злонамерени действия. Границата между злоупотребата и автономните несъгласувани действия ще се размива, докато ИИ придобива повече самостоятелност. Може да сме свикнали да възприемаме ИИ като инструменти, но някои агенти ще преследват собствени цели. Те ще намират начини да си сътрудничат с хората, като се пазарят с тях, мамят ги или ги изнудват.

Освен това съществуват рискове от нови технологии, които ИИ може да направи възможни, като например изкуствено създадени патогени.

За защитата ще ни е необходим мощен, съгласуван ИИ — за обезопасяване на инфраструктурата, защита в реално време от неконтролируеми агенти и създаване на изцяло нови защитни мерки. Това ще бъде основен акцент в усилията на OpenAI за внедряване.

Същевременно, въпреки несигурността от очаквания широк напредък на ИИ и необходимостта от изграждане на защитни системи, не бива да допускаме това да се превърне в оправдание за безразсъдство. Идеята да се надпреварваме напред на всяка цена изглежда абсурдна, щом осъзнаем колко сериозен е залогът.

Все по-голямата роля на машинния интелект в собственото му развитие е естествен резултат от устойчивия технологичен напредък. Ако напредъкът на ИИ продължи, машинното рекурсивно самоусъвършенстване (RSI) ще бъде в самата основа на бъдещите научни открития.

Автоматизираните изследвания на ИИ са по-радикална форма на мащабиране на интелекта чрез изчислителна мощност; като част от тях ИИ, разбира се, ще подобрява и самата изчислителна основа⁠. Както при мащабирането, насочваме изследванията на OpenAI към RSI, защото смятаме, че занапред това е единственият начин да останем в авангарда на изследванията на ИИ.

Искам да подчертая, че казаното дотук не означава, че според мен като изследователска общност трябва колективно да ускорим значително изследванията в областта на дълбокото обучение, особено в краткосрочен план. Смятам обаче, че настоящият път води именно натам, и всички трябва съзнателно да решим как да продължим. Основните ни възможности са или да направляваме процеса така, че успоредно с ИИ да укрепваме съгласуването и наблюдението и да намираме начини хората да останат част от него, или координирано да забавяме бъдещото развитие, когато е нужно, докато придобием увереност в тези мерки.

В момента най-добрият път напред според мен е съчетание от двете.

Конкретният напредък, който постигнахме в съгласуването и наблюдението, като цяло е тясно преплетен с общия напредък на ИИ. Чудесни примери са обучението с утвърждение чрез обратна връзка от хора⁠(отваря се в нов прозорец), което беше ключово за обучението на ранните асистенти с ИИ, и споменатото наблюдение на логическото мислене⁠(отваря се в нов прозорец), станало възможно благодарение на напредъка при моделите за структурирано анализиране. Трябва да насочим все по-автоматизирания изследователски процес към разработването на нови подобни прозрения, алгоритми и теории и поетапно да изграждаме аргументи за безопасността на по-способни системи с ИИ.

Мащабирането на системите с ИИ трябва да бъде ограничавано от увереността ни в тяхната безопасност. Трябва да превърнем ангажименти като Рамката за готовност⁠ или Политиката за отговорно мащабиране⁠(отваря се в нов прозорец) в широко наложени прагове за безопасност при продължаващо развитие. Спазването им може да се налага от мрежа независими одитори, държавни агенции или международни органи.

Основното предизвикателство при автоматизирането на изследванията на ИИ не е „да стигнем дотам“, а да го направим така, че хората да останат част от непрекъснатия процес на усъвършенстване и бъдещето да остане в ръцете на човечеството.

Както неотдавна изложихме със Сам⁠, OpenAI поставя на първо място работата в служба на три водещи цели:

1. Да преминем през следващия етап от напредъка на ИИ, като създадем автоматизиран изследовател на ИИ, заедно с него работим итеративно по проблема със съгласуването и намираме начини хората да останат част от цикъла на самоусъвършенстване.

2. Да предоставим ползите от научния напредък и икономическия растеж, които изключително интелигентните машини правят възможни.

3. Да дадем на всеки човек възможности чрез личен AGI.

В това есе се съсредоточих само върху първата точка, защото смятам, че тя е несравнимо най-неотложна. Въпреки това изпитвам дълбока надежда и признателност за ползите, които по-нататъшният технологичен напредък ще донесе. Бъдещият съгласуван ИИ би могъл да ускори науката, да разработи нови терапии и да донесе широко материално благоденствие. Дружелюбният и честен ИИ може да помага на хората да преодоляват житейските трудности и осезаемо да подобрява щастието и чувството им за пълноценност. OpenAI полага огромни усилия, за да реализира тези ползи. Един настоящ пример, с който се гордея и който близките ми намират за полезен, е сериозната инвестиция в способността на ChatGPT да предоставя здравна информация.

Колкото и обещаващ да е ИИ в дългосрочен план, основната част от вниманието ни трябва да бъде насочена към следващите няколко години. Изправени сме пред преход към свят с невероятно интелигентни машини и трябва да гарантираме, че той ще има добър изход за човечеството. Трябва да намерим начини да запазим човешката самостоятелност и да утвърдим присъщата ценност на човешкото съществуване в свят, където ИИ би могъл да изпълнява повечето задачи. Да предотвратим крайното съсредоточаване на власт в свят, където начинания, изисквали някога хиляди експерти, вече ще са по силите на няколко души, управляващи голям компютър. И да гарантираме, че хората ще запазят контрол над бъдещето и няма да бъдат изоставени от неконтролиран напредък, породен от чужд за нас интелект, който превъзхожда нашия.

Понастоящем смятам, че никоя лаборатория не е решила проблемите със съгласуването и наблюдението в достатъчна степен, за да продължи още дълго да мащабира отговорно с максимална скорост. Очаквам и се надявам доброволните забавяния да станат обичайни, докато не бъдат установени общи прагове за безопасност. Смятам също, че международната координация на бъдещото развитие на ИИ трябва да стане основен приоритет за правителствата по света.