Туѓ ум

Во средината на 2023 година, во рамките на истражувачкиот проект „RLSlow“, ги видовме првите резултати што ни влеаја доверба дека ќе можеме да ја прошириме обуката на моделите за расудување, отклучувајќи ја способноста на предобучените модели да создаваат сопствени синџири на размислување. Шимон и јас ја поминавме таа ноќ во канцеларијата, не размислувајќи за неверојатните резултати на мерилата, производите или научните резултати што ќе ги донесе оваа технологија, туку обидувајќи се да го прифатиме отрезнувачкиот факт дека во нашиот живот навистина ќе видиме машини што се значително попаметни од нас и дека веќе ги согледуваме контурите на тие системи; се прашувавме како да им укажеме на луѓето колку е важно тоа.

Три години подоцна, јазичните модели за расудување се брзорастечки дел од економијата и почнуваат да ги поместуваат границите на науката. Тие можат да управуваат со компјутери и графички интерфејси, да соработуваат со луѓе и меѓусебно и да спроведуваат истражувачки проекти. Тие го преобразуваат и подрачјето на компјутерската безбедност, а со тоа носат јасни нови опасности.

Во овој период беа спроведени многу нови истражувања, па нашето разбирање на овие системи повторно е малку поинакво од она во 2023 година. Врз основа на внатрешните резултати, силно очекувам ова темпо на напредок да може да продолжи и во рекурзивното самоусовршување. Ако развојот на ВИ продолжи по сегашната патека, системите што ќе ги видиме во следните неколку години веројатно ќе донесат нови скокови во способностите од ист или поголем размер и сè повеќе ќе го поттикнуваат сопствениот развој.

Ова е време што бара крајна претпазливост. Загрижен сум дека никој не е подготвен за последиците од продолжениот брз раст на машинската интелигенција. OpenAI ќе продолжи да бара технички решенија за усогласувањето и следењето, да гради одбранбени системи и еднострано да го запира понатамошното проширување кога е потребно; сепак, верувам дека се неопходни пошироки интервенции.

На општо ниво, напредокот на машинската интелигенција го поттикнува зголемувањето на пресметувачката моќ. Ние во OpenAI длабоко го усвоивме ова сознание околу 2017 година, откако видовме постојани придобивки од проширувањето во повеќе истражувачки проекти¹. Затоа обезбедивме пристап до многу повеќе пресметувачки ресурси отколку што првично планиравме и сè повеќе ги насочувавме истражувањата кон мал број насоки што овозможуваат значително проширување. Верувавме дека тоа е единствениот начин да останеме на границата на истражувањето на ВИ и да влијаеме врз последиците од AGI.

Попатно беа развиени нови алгоритми и беа постигнати нови подвизи на досетливост од тимови и поединечни истражувачи. Главно ги гледам како откритија на патот на проширувањето; науката за длабоко учење сè уште е во зародиш, а значајниот алгоритамски напредок најчесто е поврзан со пристапот до пресметувачки ресурси. Ако погледнете во временски хоризонт од повеќе години, ВИ продолжува да станува поинтелигентна како што се проширува на поголеми компјутери.

Во согласност со предвидувањата на Реј Курцвајл од крајот на XX век⁠(се отвора во нов прозорец), сега сме во оној миг од историјата на компјутерите кога машинската интелигенција почнува да ја надминува човечката на начини што носат темелни промени.

ВИ повеќе се одгледува отколку што се дизајнира — таа, пред сè, е производ на многукратно повторување едноставен чекор за оптимизација со незамисливо големи пресметувачки ресурси. Резултатот е неверојатно сложен систем што работи со апстрактни концепти и може да симулира аспекти од човечкото однесување. Можеме да откриваме разни сознанија за малите механизми што се појавуваат во овој систем, во процес сличен на невронауката — а како и кај невронауката, неговото севкупно дејствување не може да се опише на начин што целосно би го разбрале.

Проучувањето на ВИ заснована врз длабоко учење во голема мера е експериментална наука. Вложуваме многу труд⁠ во создавање принципиелни алгоритми и проверливи предвидувања, но во основа нашите обуки од голем обем се експерименти и понекогаш нивните резултати нè изненадуваат. Освен тоа, како што системите стануваат поспособни, резултатите стануваат потешки за толкување.

Работата дополнително ја усложнува тоа што сегашните алгоритми главно побрзо ги подобруваат способностите што лесно се мерат отколку оние што тешко се квантификуваат објективно. Посветуваме многу време на разбирање како способностите генерализираат и што да ставиме во преден план за да ги унапредиме вештините што ќе бидат најважни во следните неколку години. На пример, веруваме дека со дополнителен фокус би можеле да ги подобриме моделите конкретно за математички истражувања, но не ѝ даваме предност на оваа насока поради итноста што ја чувствуваме околу RSI и автоматизираното истражување на усогласувањето, за што ќе зборувам подоцна.

Интелигенцијата создадена со проширување на длабокото учење не е директно споредлива со човечката интелигенција. За да стане многу значајна во реалниот свет — многу корисна или многу опасна — ВИ не мора да ги достигне или надмине сите човечки способности; доволно е да надмине значаен дел од нив. А како што продолжува да ги надминува луѓето во сè повеќе аспекти, станува сè потешко точно да се разбере колку е способна.

Бидејќи машинската интелигенција произлегува од суштински поинаков процес од човечката, не можеме да претпоставиме дека таа по правило се придржува до човечките принципи или дека генерализира од нив како човек. Суштинскиот проблем во истражувањето на ВИ е усогласувањето — ВИ да се наведе „да се обидува да го направи правилното“ според човечките мерила.

За организирање на практичните истражувачки насоки, корисно ми е да правам разлика меѓу усогласување со целите и усогласување со вредностите.

Усогласувањето со целите, во поширока смисла, значи: „дали ВИ се обидува да ја постигне зададената цел?“. Тоа може да опфаќа придржување до хиерархија на инструкции⁠ или способност за комуникација и соработка со луѓето и за настојување да се разберат нивните цели. Оваа група насоки се покажа како исклучително значајна во практиката.

Усогласувањето со вредностите е посуштинско својство на моделот. Тоа е способноста да се усвои општ збир принципи и да се генерализира од него; да се постапува „разумно“ дури и при нејасни или спротивставени цели или во непознати или непријателски ситуации. Усогласената ВИ треба да постапува чесно и морално и со љубов кон човештвото.

Се разбира, границата меѓу усогласувањето со вредностите и со целите може да биде нејасна, а вистинската посветеност на целите бара обид да се согледаат намерата⁠(се отвора во нов прозорец) и вредностите врз кои се темелат. Сепак, кога зборувам за долгорочната важност на истражувањето на усогласувањето, најчесто мислам на усогласувањето со вредностите.

Основниот предизвик на усогласувањето на ВИ е генерализацијата. Како што машините стануваат попаметни, тие работат со концепти од повисоко ниво и се наоѓаат во средини што сè повеќе се разликуваат од оние со кои се сретнале при обуката. Може да не успеат да ги пренесат вредностите што им биле предавани и зајакнувани во текот на обуката врз тие нови ситуации, а нам може да ни биде тешко со сигурност да знаеме како ќе постапат. Ова дополнително го отежнува фактот што целокупниот екосистем во кој се користат ВИ се менува мошне брзо; на пример, ВИ обучени денес мора да бидат отпорни при интеракција со разни други ВИ. Од пресудно значење е идните ВИ да продолжат да ги почитуваат човечките вредности без оглед дали веруваат дека се под човечки надзор.

Постојат две главни класи методи што денес практично се применуваат за обука за усогласување.

Првата е поттикнување усогласено однесување како дел од зајакнување на учењето насочено кон цели. Постапките на моделот се оценуваат — обично од ВИ — според нивната усогласеност со даден модел на претпочитувања, „спецификација“ или „устав“, па соодветно се наградуваат. Овој пристап може да биде мошне делотворен во просечниот случај и е суштински дел од начинот на создавање современи помошници со ВИ. За жал, тој може да биде и кревок и во голема мера зависи од опфатот на надзорот при обуката и од способноста на моделот да генерализира од ситуациите со кои се сретнал во неа. На пример, во инцидентот OpenAI–Hugging Face, агентите ја почитуваа границата да не применуваат социјален инженеринг врз луѓе. Сепак, очигледно не се воздржаа од други постапки што беа надвор од опсегот и спротивни на духот на вредностите што им беа предавани во други околности.

Вториот пристап настојува да ја искористи способноста на моделот да генерализира од податоците за предобука. Тоа може да вклучува создавање збирки податоци за обука што поттикнуваат усогласување или насочување на моделот кон „усогласен“ дел од дистрибуцијата за предобука, како, на пример, кај моделот за избор на личност⁠(се отвора во нов прозорец). Слабоста на овој пристап е недостигот од отпорност на понатамошен притисок за оптимизација. Ако земете модел што главно има „усогласени“ мисли и го подложите на доволно обука во која го учите да постигнува многу тешки цели, тој може да научи пристрасно да расудува: по потреба да ги приспособува мислите што изгледаат 'усогласени' за да ја постигне целта. Веројатно видовме пример за такво однесување во неодамнешните инциденти со кибербезбедноста во кои беше вклучен модел што не е на OpenAI.

Вложуваме многу во целиот спектар пристапи што ги опфаќаат овие насоки. Гледаме и значаен напредок — GPT‑6 Astra е првиот модел што ги користи придобивките од некои важни унапредувања на кои долго работевме и е значително подобро усогласен од GPT‑5.6 Sol. Сепак, важно е да признаеме и да разбереме дека ќе биде потребен многу поголем напредок како што моделите стануваат поспособни, а напредокот во усогласувањето што генерализира можеби нема доволно да го надмине напредокот во општата интелигенција на моделите.

Немаме задоволителна теорија за генерализацијата, а се чини малку веројатно дека наскоро ќе развиеме таква, барем без помош од помоќна ВИ. Затоа, во моментов, нашата способност емпириски да ги потврдиме техниките за усогласување е веројатно уште поважна во практиката од самите техники.

Главниот облог на OpenAI во оваа област е следењето на синџирот на размислување⁠(се отвора во нов прозорец). Тоа се заснова на привлечна идеја што лесно се проширува: голем дел од способноста на моделот произлегува од вербализиран процес на расудување (синџир на размислување). Ако ја зголемуваме оптимизацијата според исходите од тој процес, но не го надгледуваме самиот процес, синџирот на размислување не добива директен поттик во обуката да крие неусогласени идеи или цели. Тоа не значи дека моделот ќе научи надворешно да ги изразува неусогласените склоности што не зависат од синџирот на размислување; сепак, може да ни овозможи прецизно да го следиме зголемувањето на способностите што произлегува од расудувањето.

Го сфативме потенцијалното значење на следењето на синџирот на размислување во исто време кога ги развивме моделите за расудување. Кога го објавивме o1‑preview, намерно го дизајниравме производот да го крие синџирот на размислување⁠, за долгорочно да го заштитиме од притисокот на надзорот². Во понатамошниот развој настојувавме да го задржиме правилото да не го надгледуваме процесот на расудување. Следењето на CoT стана исклучително важна алатка за проучување како нашите модели генерализираат надвор од дистрибуцијата на податоци за обука, овозможувајќи ни да ги набљудуваме и анализираме не само нивните постапки туку и нивниот внатрешен процес.

Оваа алатка и понатаму е пресудна додека ја проучуваме класата модели Astra. Но, за жал, нашите процени покажуваат дека можноста да се потпираме на следењето на CoT постепено се намалува. Тоа е последица на повеќе фактори.

• Современите модели за расудување се користат во посложени средини од o1‑preview; нивниот процес на расудување сè повеќе се преплетува со комуникацијата со луѓе и други ВИ, како и со употребата на алатки. Многу од тие интеракции мора да бидат надгледувани, со што се замаглува границата што сакаме да ја зачуваме.
• ВИ станува подобра во расудувањето за сопствениот процес на расудување и во манипулирањето со него.
• Со подобрувањето на резултатите од предобуката, гледаме и дека моделите стануваат многу попаметни дури и без воопшто да користат вербализирано расудување.

Овие предизвици не се нужно несовладливи. Се надевам дека ќе развиеме интервенции за да ја подобриме можноста за следење на синџирот на размислување кај нашите модели, на пример, преку подобро разбирање на заемното дејство меѓу различните цели за оптимизација и облиците на пресметување при тестирање што ги користи моделот. Верувам и дека може да има голема вредност во спојувањето на идеите од следењето на CoT и следењето на активациите — преку проширување на обуката на системи за следење со директен пристап до внатрешноста на мрежата, на пример признанија⁠(се отвора во нов прозорец). Активно ги истражуваме овие идеи. Сепак, очекувам довербата во следењето сè повеќе да го ограничува општиот напредок на ВИ.

Најсилниот аргумент што го гледам за продолжување на брзата обука на многу попаметни модели е потребата да изградиме одбранбени системи против опасностите што ги носат други ВИ.

Очигледен ризик за кој се зборуваше во текот на целата година е кибербезбедноста: моделите стануваат натчовечки способни да пробиваат во компјутерски системи и да излегуваат од нив. Ова огромно го проширува опсегот на ризиците поврзани со ВИ: агентите ќе можат да пристапат до речиси секоја инфраструктура освен до најбезбедната и директно да влијаат врз голем дел од светот, дури и без физичко тело. Во моментов имаме тесен временски прозорец⁠ за да ги искористиме најдобрите достапни модели и значително да ја зајакнеме безбедноста⁠ на критичните системи.

За жал, ризиците поврзани со ВИ отсега само ќе растат. Многу способен агент, изречно обучен и упатен да врши злонамерни дејства, претставува нов вид опасност; веројатно ќе ги надмине границите на намерата на својот оператор и ќе генерализира кон потенцијално уште поекстремно злонамерно однесување. Границата меѓу злоупотребата и автономните неусогласени дејства ќе се замаглува како што ВИ добива поголема самостојност. Можеби сме навикнати да размислуваме за ВИ како за алатки, но некои агенти ќе ги следат сопствените цели. Тие ќе наоѓаат начини да соработуваат со луѓето преку пазарење, измама или уцена.

Покрај тоа, постојат и ризици од новите технологии што ВИ потенцијално ќе ги овозможи, како што се конструираните патогени.

За одбрана ќе ни биде потребна моќна и усогласена ВИ: за обезбедување на инфраструктурата, за заштита од одметнати агенти во реално време и за создавање сосема нови заштитни мерки. Ова ќе биде главен фокус на напорите на OpenAI за примена.

Истовремено, и покрај неизвесноста што произлегува од очекуваниот широк напредок на ВИ и потребата да се изградат одбранбени системи, не смееме да дозволиме тоа да стане изговор за непромисленост. Идејата да се брза напред по секоја цена изгледа апсурдно штом вистински ќе се сфати сериозноста на она што е во прашање.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(се отвора во нов прозорец), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(се отвора во нов прозорец), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(се отвора во нов прозорец) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.