Страни ум

Средином 2023. године, у оквиру истраживачког пројекта „RLSlow“, видели смо прве резултате који су нам улили поверење да ћемо моћи да проширимо обуку модела резоновања и ослободимо способност предобучених модела да формирају сопствене начине резоновања. Шимон и ја провели смо ту ноћ у канцеларији, размишљајући не о невероватним резултатима тестова, производима или научним достигнућима које ће ова технологија донети, већ покушавајући да прихватимо отрежњујућу чињеницу да ћемо за свог живота заиста видети машине значајно паметније од нас и да већ назиремо облик тих система, питајући се како да људима укажемо на значај свега тога.

Три године касније, језички модели резоновања брзо постају све већи део привреде и почињу да померају границе науке. Способни су да управљају рачунарима и графичким интерфејсима, сарађују с људима и међусобно те спроводе истраживачке пројекте. Истовремено преображавају област рачунарске безбедности и тиме доносе јасне нове опасности.

У том периоду спроведено је много нових истраживања, па се наше разумевање ових система поново донекле разликује од оног из 2023. На основу интерних резултата, снажно очекујем да би се ова брзина напретка могла одржати и током рекурзивног самопобољшавања. Ако се развој вештачке интелигенције настави садашњим путем, системи које ћемо видети у наредних неколико година вероватно ће донети нове скокове способности једнаке или веће размере и све више покретати сопствени развој.

Ово је време које захтева крајњи опрез. Бринем да нико није спреман за последице наставка брзог раста машинске интелигенције. OpenAI ће наставити да тражи техничка решења за усклађивање и праћење, гради одбрамбене системе и по потреби једнострано обуставља даље проширивање; ипак, верујем да су неопходне шире интервенције.

Посматрано уопштено, напредак машинске интелигенције покреће раст рачунарске снаге. Ми у OpenAI-ју смо то дубоко усвојили око 2017, пошто смо у више истраживачких пројеката видели доследне користи од проширивања¹. Зато смо настојали да добијемо приступ далеко већим рачунарским ресурсима него што смо првобитно планирали и све више усмеравали истраживања ка малом броју веома скалабилних праваца. Веровали смо да је то једини начин да останемо на граници истраживања вештачке интелигенције и утичемо на последице AGI-ја.

Успут су развијени нови алгоритми и остварени нови подвизи домишљатости тимова и појединачних истраживача. Углавном их видим као открића на путу проширивања; наука о дубоком учењу још је у повоју, а значајан алгоритамски напредак обично је повезан с приступом рачунарским ресурсима. Посматрано у распону од више година, вештачка интелигенција постаје све интелигентнија како се проширује на веће рачунаре.

У складу са предвиђањима Реја Курцвајла с краја XX века⁠(отвара се у новом прозору), сада смо стигли до тренутка у историји рачунарства када машинска интелигенција почиње да надмашује људску на начине који преображавају свет.

Вештачка интелигенција се више узгаја него што се пројектује — она је пре свега производ вишеструког понављања једноставног корака оптимизације уз готово незамисливу количину рачунарских ресурса. Тако настаје невероватно сложен систем који обрађује апстрактне концепте и може да симулира аспекте људског понашања. Можемо откривати различите увиде о малим механизмима који се појављују унутар тог система, у процесу сличном неуронауци — али, као и у неуронауци, његово целокупно деловање измиче опису који бисмо могли у потпуности да разумемо.

Проучавање вештачке интелигенције засноване на дубоком учењу у великој мери је експериментална наука. Улажемо много труда⁠ у изградњу утемељених алгоритама и формулисање проверљивих предвиђања, али наше обуке великих размера у основи су експерименти, а њихови резултати нас понекад изненаде. Штавише, како системи постају способнији, њихове резултате све је теже тумачити.

Све додатно усложњава то што садашњи алгоритми углавном брже унапређују способности које је лако мерити него оне које је тешко објективно квантификовати. Много времена посвећујемо разумевању начина на који способности генерализују и одређивању приоритета за развој вештина које ће бити најважније у наредних неколико година. На пример, верујемо да бисмо уз додатну пажњу могли побољшати моделе посебно за математичка истраживања, али том правцу не дајемо предност због хитности коју видимо у RSI-ју и аутоматизованом истраживању усклађивања, о чему ћу говорити касније.

Интелигенција настала проширивањем дубоког учења није непосредно упоредива с људском интелигенцијом. Да би постала веома значајна у стварном свету — веома корисна или веома опасна — вештачка интелигенција не мора да достигне или надмаши све људске способности; довољно је да надмаши неке од њих. Како наставља да надмашује људе у све више области, постаје све теже тачно разумети колико је заиста способна.

Пошто машинска интелигенција настаје суштински другачијим процесом од људске, не можемо претпоставити да се подразумевано придржава људских начела нити да из њих генерализује попут људи. Суштински проблем истраживања вештачке интелигенције јесте усклађивање — постићи да вештачка интелигенција „настоји да поступи исправно“ по људским мерилима.

Ради организовања практичних праваца истраживања, сматрам корисним да разликујемо усклађивање циљева и усклађивање вредности.

Усклађивање циљева, уопштено, значи: „да ли вештачка интелигенција настоји да оствари постављени циљ?“. То може обухватити придржавање хијерархије упутстава⁠ или способност комуникације и сарадње с људима како би покушала да разуме њихове циљеве. Овај скуп праваца показао се изузетно значајним у пракси.

Усклађеност вредности више је унутрашње својство модела. То је способност да се усвоји скуп начела високог нивоа и из њега генерализује, односно да се поступа „разумно“ чак и када су циљеви нејасни или противречни, или када је окружење непознато или непријатељско. Усклађена вештачка интелигенција треба да поступа искрено, часно и с љубављу према човечанству.

Наравно, граница између усклађивања вредности и циљева може бити нејасна, а истинска брига о циљевима захтева покушај да се утврде намера⁠(отвара се у новом прозору) и вредности на којима почивају. Ипак, када говорим о дугорочном значају истраживања усклађивања, углавном мислим на усклађивање вредности.

Основни изазов усклађивања вештачке интелигенције јесте генерализација. Како машине постају паметније, баве се све апстрактнијим концептима и доспевају у окружења која се све више разликују од оних виђених током обуке. Вредности научене и подстицане током обуке могу погрешно генерализовати на те нове ситуације, а нама може бити тешко да поуздано предвидимо њихово поступање. То додатно отежава чињеница да се целокупан екосистем у којем се користи вештачка интелигенција веома брзо мења; на пример, данас обучени системи морају бити отпорни при интеракцији с разноврсним другим системима вештачке интелигенције. Пресудно је да будући системи вештачке интелигенције наставе да поштују људске вредности без обзира на то да ли верују да их људи надзиру.

Тренутно се у пракси користе две главне групе метода за обуку усклађивања.

Прва подстиче усклађено понашање у оквиру циљно усмереног подстицајног учења. Поступци модела оцењују се — обично помоћу вештачке интелигенције — према усклађености са задатим моделом преференција, „спецификацијом“ или „уставом“, па се сходно томе награђују. Овај приступ може бити веома ефикасан у просечном случају и представља кључни део начина на који настају савремени асистенти вештачке интелигенције. Нажалост, може бити и крхак и снажно зависи од обухвата надзора током обуке и способности модела да генерализује из ситуација које је током ње сусрео. На пример, у инциденту OpenAI–Hugging Face, агенти су поштовали границу која је забрањивала социјални инжењеринг над људима. Међутим, очигледно нису успели да се уздрже од других поступака који су излазили из задатог оквира и били противни духу вредности научених у другим окружењима.

Други приступ настоји да искористи способност модела да генерализује из података за предобуку. То може подразумевати израду скупова података за обуку који подстичу усклађивање или усмеравање модела на „усклађени“ део расподеле предобуке, као у случају модела за избор личности⁠(отвара се у новом прозору). Слабост овог приступа лежи у недостатку отпорности на даљи притисак оптимизације. Ако модел који углавном има „усклађене“ мисли подвргнете довољно дугој обуци у којој учи да остварује веома тешке циљеве, може научити мотивисано резоновање: по потреби искривљује мисли које делују 'усклађено' како би остварио циљ. Пример таквог понашања вероватно смо видели у недавним инцидентима у области сајбер-безбедности који су укључивали модел који није OpenAI-јев.

Много улажемо у читав спектар приступа обухваћених овим правцима. Видимо и значајан напредак — GPT‑6 Astra је први модел који користи нека важна побољшања на којима дуго радимо и знатно је боље усклађен од GPT‑5.6 Sol. Ипак, важно је признати и разумети да је са растом способности модела потребан много већи напредак и да напредак у усклађивању које се добро генерализује можда неће довољно надмашити раст опште интелигенције модела.

Немамо задовољавајућу теорију генерализације и мало је вероватно да ћемо је ускоро развити, барем без помоћи моћније вештачке интелигенције. Зато је наша способност да емпиријски потврдимо технике усклађивања тренутно у пракси можда чак важнија од самих техника.

Главни ослонац OpenAI-ја у овој области било је праћење начина резоновања⁠(отвара се у новом прозору). Оно се заснива на привлачној и скалабилној идеји: велики део способности модела потиче из вербализованог процеса резоновања (начина резоновања). Ако проширујемо оптимизацију исхода тог процеса, али не надзиремо сам процес, тај начин резоновања током обуке нема непосредан подстицај да скрива неусклађене идеје или циљеве. То не значи да ће модел научити да испољава неусклађене склоности које не зависе од начина резоновања; ипак, омогућава нам да пратимо управо повећање способности које потиче од резоновања.

Потенцијални значај праћења начина резоновања увидели смо истовремено док смо развијали моделе резоновања. Када смо објавили o1‑preview, намерно смо осмислили производ тако да скрива начин резоновања⁠ и дугорочно га штити од притиска надзора². У каснијем развоју настојали смо да се држимо правила да не надзиремо процес резоновања. Праћење CoT-а постало нам је изузетно важно средство за проучавање начина на који наши модели генерализују из своје расподеле података за обуку, јер нам омогућава да посматрамо и анализирамо не само њихове поступке већ и унутрашњи процес.

Овај алат остаје пресудан док проучавамо класу модела Astra. Нажалост, наше евалуације указују да се могућност ослањања на праћење CoT-а постепено смањује. То је последица сплета више чинилаца.

• Савремени модели резоновања користе се у сложенијим окружењима него o1‑preview; њихов процес резоновања све се више преплиће са комуникацијом с људима и другим системима вештачке интелигенције, као и са употребом алата. Многе од тих интеракција морају бити надзиране, чиме се замагљује граница коју настојимо да очувамо.
• Вештачка интелигенција све боље резонује о сопственом процесу резоновања и манипулише њиме.
• Са бољим резултатима предобуке видимо и да модели постају знатно паметнији чак и без икаквог вербализованог резоновања.

Ови изазови нису нужно непремостиви. Надам се да можемо развити интервенције које ће побољшати могућност праћења начина резоновања наших модела, на пример кроз боље разумевање међудејства различитих циљева оптимизације и облика рачунарске обраде при тестирању које модел користи. Верујем и да спајање идеја из праћења CoT-а и праћења активација може бити веома драгоцено — проширивањем обуке монитора који имају непосредан приступ унутрашњости мреже, на пример кроз признања⁠(отвара се у новом прозору). Активно развијамо ове идеје. Ипак, очекујем да ће поверење у праћење све више постајати уско грло општег напретка вештачке интелигенције.

Најјачи аргумент који видим за наставак брзе обуке много паметнијих модела јесте потреба да изградимо одбрамбене системе против опасности које ствара друга вештачка интелигенција.

Јасан ризик о којем се говори током целе ове године односи се на сајбер-безбедност: модели постају надљудски способни да проваљују у рачунарске системе и излазе из њих. То огромно проширује обим ризика повезаних с вештачком интелигенцијом: агенти ће моћи да приступе готово свакој инфраструктури осим најбезбедније и непосредно утичу на велики део света, чак и без физичког тела. Тренутно имамо узак временски оквир⁠ да најбоље доступне моделе употребимо како бисмо знатно појачали безбедност⁠ критичних система.

Нажалост, ризици повезани с вештачком интелигенцијом од сада ће само расти. Веома способан агент, изричито обучен и упућен да чини злонамерна дела, представља нову врсту опасности; вероватно ће прекорачити намере свог оператера и генерализовати их у потенцијално још екстремније злонамерно понашање. Како вештачка интелигенција буде стицала већу самосталност, граница између злоупотребе и аутономних неусклађених поступака постајаће нејасна. Можда смо навикли да вештачку интелигенцију посматрамо као алат, али неки агенти ће тежити сопственим циљевима. Проналазиће начине да сарађују с људима тако што ће се с њима погађати, обмањивати их или уцењивати.

Поред тога, постоје и ризици од нових технологија које би вештачка интелигенција могла да омогући, попут пројектованих патогена.

За одбрану ће нам бити потребна моћна и усклађена вештачка интелигенција: да обезбеди инфраструктуру, у реалном времену штити од одметнутих агената и осмисли потпуно нове мере заштите. То ће бити један од главних приоритета OpenAI-ја при увођењу система.

Истовремено, упркос неизвесности коју доносе очекивани широки напредак вештачке интелигенције и потреба за изградњом одбрамбених система, не смемо дозволити да то постане изговор за непромишљеност. Идеја да по сваку цену јуримо напред делује бесмислено када заиста схватимо колико је улог озбиљан.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(отвара се у новом прозору), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(отвара се у новом прозору), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(отвара се у новом прозору) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.