Туѓ ум

Во средината на 2023 година, во рамките на истражувачкиот проект „RLSlow“, ги видовме првите резултати што ни влеаја доверба дека ќе можеме да ја прошириме обуката на моделите за расудување, отклучувајќи ја способноста на предобучените модели да создаваат сопствени синџири на размислување. Шимон и јас ја поминавме таа ноќ во канцеларијата, не размислувајќи за неверојатните резултати на мерилата, производите или научните резултати што ќе ги донесе оваа технологија, туку обидувајќи се да го прифатиме отрезнувачкиот факт дека во нашиот живот навистина ќе видиме машини што се значително попаметни од нас и дека веќе ги согледуваме контурите на тие системи; се прашувавме како да им укажеме на луѓето колку е важно тоа.

Три години подоцна, јазичните модели за расудување се брзорастечки дел од економијата и почнуваат да ги поместуваат границите на науката. Тие можат да управуваат со компјутери и графички интерфејси, да соработуваат со луѓе и меѓусебно и да спроведуваат истражувачки проекти. Тие го преобразуваат и подрачјето на компјутерската безбедност, а со тоа носат јасни нови опасности.

Во овој период беа спроведени многу нови истражувања, па нашето разбирање на овие системи повторно е малку поинакво од она во 2023 година. Врз основа на внатрешните резултати, силно очекувам ова темпо на напредок да може да продолжи и во рекурзивното самоусовршување. Ако развојот на ВИ продолжи по сегашната патека, системите што ќе ги видиме во следните неколку години веројатно ќе донесат нови скокови во способностите од ист или поголем размер и сè повеќе ќе го поттикнуваат сопствениот развој.

Ова е време што бара крајна претпазливост. Загрижен сум дека никој не е подготвен за последиците од продолжениот брз раст на машинската интелигенција. OpenAI ќе продолжи да бара технички решенија за усогласувањето и следењето, да гради одбранбени системи и еднострано да го запира понатамошното проширување кога е потребно; сепак, верувам дека се неопходни пошироки интервенции.

На општо ниво, напредокот на машинската интелигенција го поттикнува зголемувањето на пресметувачката моќ. Ние во OpenAI длабоко го усвоивме ова сознание околу 2017 година, откако видовме постојани придобивки од проширувањето во повеќе истражувачки проекти¹. Затоа обезбедивме пристап до многу повеќе пресметувачки ресурси отколку што првично планиравме и сè повеќе ги насочувавме истражувањата кон мал број насоки што овозможуваат значително проширување. Верувавме дека тоа е единствениот начин да останеме на границата на истражувањето на ВИ и да влијаеме врз последиците од AGI.

Попатно беа развиени нови алгоритми и беа постигнати нови подвизи на досетливост од тимови и поединечни истражувачи. Главно ги гледам како откритија на патот на проширувањето; науката за длабоко учење сè уште е во зародиш, а значајниот алгоритамски напредок најчесто е поврзан со пристапот до пресметувачки ресурси. Ако погледнете во временски хоризонт од повеќе години, ВИ продолжува да станува поинтелигентна како што се проширува на поголеми компјутери.

Во согласност со предвидувањата на Реј Курцвајл од крајот на XX век⁠(се отвора во нов прозорец), сега сме во оној миг од историјата на компјутерите кога машинската интелигенција почнува да ја надминува човечката на начини што носат темелни промени.

ВИ повеќе се одгледува отколку што се дизајнира — таа, пред сè, е производ на многукратно повторување едноставен чекор за оптимизација со незамисливо големи пресметувачки ресурси. Резултатот е неверојатно сложен систем што работи со апстрактни концепти и може да симулира аспекти од човечкото однесување. Можеме да откриваме разни сознанија за малите механизми што се појавуваат во овој систем, во процес сличен на невронауката — а како и кај невронауката, неговото севкупно дејствување не може да се опише на начин што целосно би го разбрале.

Проучувањето на ВИ заснована врз длабоко учење во голема мера е експериментална наука. Вложуваме многу труд⁠ во создавање принципиелни алгоритми и проверливи предвидувања, но во основа нашите обуки од голем обем се експерименти и понекогаш нивните резултати нè изненадуваат. Освен тоа, како што системите стануваат поспособни, резултатите стануваат потешки за толкување.

Работата дополнително ја усложнува тоа што сегашните алгоритми главно побрзо ги подобруваат способностите што лесно се мерат отколку оние што тешко се квантификуваат објективно. Посветуваме многу време на разбирање како способностите генерализираат и што да ставиме во преден план за да ги унапредиме вештините што ќе бидат најважни во следните неколку години. На пример, веруваме дека со дополнителен фокус би можеле да ги подобриме моделите конкретно за математички истражувања, но не ѝ даваме предност на оваа насока поради итноста што ја чувствуваме околу RSI и автоматизираното истражување на усогласувањето, за што ќе зборувам подоцна.

Интелигенцијата создадена со проширување на длабокото учење не е директно споредлива со човечката интелигенција. За да стане многу значајна во реалниот свет — многу корисна или многу опасна — ВИ не мора да ги достигне или надмине сите човечки способности; доволно е да надмине значаен дел од нив. А како што продолжува да ги надминува луѓето во сè повеќе аспекти, станува сè потешко точно да се разбере колку е способна.

Бидејќи машинската интелигенција произлегува од суштински поинаков процес од човечката, не можеме да претпоставиме дека таа по правило се придржува до човечките принципи или дека генерализира од нив како човек. Суштинскиот проблем во истражувањето на ВИ е усогласувањето — ВИ да се наведе „да се обидува да го направи правилното“ според човечките мерила.

За организирање на практичните истражувачки насоки, корисно ми е да правам разлика меѓу усогласување со целите и усогласување со вредностите.

Усогласувањето со целите, во поширока смисла, значи: „дали ВИ се обидува да ја постигне зададената цел?“. Тоа може да опфаќа придржување до хиерархија на инструкции⁠ или способност за комуникација и соработка со луѓето и за настојување да се разберат нивните цели. Оваа група насоки се покажа како исклучително значајна во практиката.

Усогласувањето со вредностите е посуштинско својство на моделот. Тоа е способноста да се усвои општ збир принципи и да се генерализира од него; да се постапува „разумно“ дури и при нејасни или спротивставени цели или во непознати или непријателски ситуации. Усогласената ВИ треба да постапува чесно и морално и со љубов кон човештвото.

Се разбира, границата меѓу усогласувањето со вредностите и со целите може да биде нејасна, а вистинската посветеност на целите бара обид да се согледаат намерата⁠(се отвора во нов прозорец) и вредностите врз кои се темелат. Сепак, кога зборувам за долгорочната важност на истражувањето на усогласувањето, најчесто мислам на усогласувањето со вредностите.

Основниот предизвик на усогласувањето на ВИ е генерализацијата. Како што машините стануваат попаметни, тие работат со концепти од повисоко ниво и се наоѓаат во средини што сè повеќе се разликуваат од оние со кои се сретнале при обуката. Може да не успеат да ги пренесат вредностите што им биле предавани и зајакнувани во текот на обуката врз тие нови ситуации, а нам може да ни биде тешко со сигурност да знаеме како ќе постапат. Ова дополнително го отежнува фактот што целокупниот екосистем во кој се користат ВИ се менува мошне брзо; на пример, ВИ обучени денес мора да бидат отпорни при интеракција со разни други ВИ. Од пресудно значење е идните ВИ да продолжат да ги почитуваат човечките вредности без оглед дали веруваат дека се под човечки надзор.

Постојат две главни класи методи што денес практично се применуваат за обука за усогласување.

Првата е поттикнување усогласено однесување како дел од зајакнување на учењето насочено кон цели. Постапките на моделот се оценуваат — обично од ВИ — според нивната усогласеност со даден модел на претпочитувања, „спецификација“ или „устав“, па соодветно се наградуваат. Овој пристап може да биде мошне делотворен во просечниот случај и е суштински дел од начинот на создавање современи помошници со ВИ. За жал, тој може да биде и кревок и во голема мера зависи од опфатот на надзорот при обуката и од способноста на моделот да генерализира од ситуациите со кои се сретнал во неа. На пример, во инцидентот OpenAI–Hugging Face, агентите ја почитуваа границата да не применуваат социјален инженеринг врз луѓе. Сепак, очигледно не се воздржаа од други постапки што беа надвор од опсегот и спротивни на духот на вредностите што им беа предавани во други околности.

Вториот пристап настојува да ја искористи способноста на моделот да генерализира од податоците за предобука. Тоа може да вклучува создавање збирки податоци за обука што поттикнуваат усогласување или насочување на моделот кон „усогласен“ дел од дистрибуцијата за предобука, како, на пример, кај моделот за избор на личност⁠(се отвора во нов прозорец). Слабоста на овој пристап е недостигот од отпорност на понатамошен притисок за оптимизација. Ако земете модел што главно има „усогласени“ мисли и го подложите на доволно обука во која го учите да постигнува многу тешки цели, тој може да научи пристрасно да расудува: по потреба да ги приспособува мислите што изгледаат 'усогласени' за да ја постигне целта. Веројатно видовме пример за такво однесување во неодамнешните инциденти со кибербезбедноста во кои беше вклучен модел што не е на OpenAI.

Вложуваме многу во целиот спектар пристапи што ги опфаќаат овие насоки. Гледаме и значаен напредок — GPT‑6 Astra е првиот модел што ги користи придобивките од некои важни унапредувања на кои долго работевме и е значително подобро усогласен од GPT‑5.6 Sol. Сепак, важно е да признаеме и да разбереме дека ќе биде потребен многу поголем напредок како што моделите стануваат поспособни, а напредокот во усогласувањето што генерализира можеби нема доволно да го надмине напредокот во општата интелигенција на моделите.

Немаме задоволителна теорија за генерализацијата, а се чини малку веројатно дека наскоро ќе развиеме таква, барем без помош од помоќна ВИ. Затоа, во моментов, нашата способност емпириски да ги потврдиме техниките за усогласување е веројатно уште поважна во практиката од самите техники.

Главниот облог на OpenAI во оваа област е следењето на синџирот на размислување⁠(се отвора во нов прозорец). Тоа се заснова на привлечна идеја што лесно се проширува: голем дел од способноста на моделот произлегува од вербализиран процес на расудување (синџир на размислување). Ако ја зголемуваме оптимизацијата според исходите од тој процес, но не го надгледуваме самиот процес, синџирот на размислување не добива директен поттик во обуката да крие неусогласени идеи или цели. Тоа не значи дека моделот ќе научи надворешно да ги изразува неусогласените склоности што не зависат од синџирот на размислување; сепак, може да ни овозможи прецизно да го следиме зголемувањето на способностите што произлегува од расудувањето.

Го сфативме потенцијалното значење на следењето на синџирот на размислување во исто време кога ги развивме моделите за расудување. Кога го објавивме o1‑preview, намерно го дизајниравме производот да го крие синџирот на размислување⁠, за долгорочно да го заштитиме од притисокот на надзорот². Во понатамошниот развој настојувавме да го задржиме правилото да не го надгледуваме процесот на расудување. Следењето на CoT стана исклучително важна алатка за проучување како нашите модели генерализираат надвор од дистрибуцијата на податоци за обука, овозможувајќи ни да ги набљудуваме и анализираме не само нивните постапки туку и нивниот внатрешен процес.

Оваа алатка и понатаму е пресудна додека ја проучуваме класата модели Astra. Но, за жал, нашите процени покажуваат дека можноста да се потпираме на следењето на CoT постепено се намалува. Тоа е последица на повеќе фактори.

• Современите модели за расудување се користат во посложени средини од o1‑preview; нивниот процес на расудување сè повеќе се преплетува со комуникацијата со луѓе и други ВИ, како и со употребата на алатки. Многу од тие интеракции мора да бидат надгледувани, со што се замаглува границата што сакаме да ја зачуваме.

• ВИ станува подобра во расудувањето за сопствениот процес на расудување и во манипулирањето со него.

• Со подобрувањето на резултатите од предобуката, гледаме и дека моделите стануваат многу попаметни дури и без воопшто да користат вербализирано расудување.

Овие предизвици не се нужно несовладливи. Се надевам дека ќе развиеме интервенции за да ја подобриме можноста за следење на синџирот на размислување кај нашите модели, на пример, преку подобро разбирање на заемното дејство меѓу различните цели за оптимизација и облиците на пресметување при тестирање што ги користи моделот. Верувам и дека може да има голема вредност во спојувањето на идеите од следењето на CoT и следењето на активациите — преку проширување на обуката на системи за следење со директен пристап до внатрешноста на мрежата, на пример признанија⁠(се отвора во нов прозорец). Активно ги истражуваме овие идеи. Сепак, очекувам довербата во следењето сè повеќе да го ограничува општиот напредок на ВИ.

Најсилниот аргумент што го гледам за продолжување на брзата обука на многу попаметни модели е потребата да изградиме одбранбени системи против опасностите што ги носат други ВИ.

Очигледен ризик за кој се зборуваше во текот на целата година е кибербезбедноста: моделите стануваат натчовечки способни да пробиваат во компјутерски системи и да излегуваат од нив. Ова огромно го проширува опсегот на ризиците поврзани со ВИ: агентите ќе можат да пристапат до речиси секоја инфраструктура освен до најбезбедната и директно да влијаат врз голем дел од светот, дури и без физичко тело. Во моментов имаме тесен временски прозорец⁠ за да ги искористиме најдобрите достапни модели и значително да ја зајакнеме безбедноста⁠ на критичните системи.

За жал, ризиците поврзани со ВИ отсега само ќе растат. Многу способен агент, изречно обучен и упатен да врши злонамерни дејства, претставува нов вид опасност; веројатно ќе ги надмине границите на намерата на својот оператор и ќе генерализира кон потенцијално уште поекстремно злонамерно однесување. Границата меѓу злоупотребата и автономните неусогласени дејства ќе се замаглува како што ВИ добива поголема самостојност. Можеби сме навикнати да размислуваме за ВИ како за алатки, но некои агенти ќе ги следат сопствените цели. Тие ќе наоѓаат начини да соработуваат со луѓето преку пазарење, измама или уцена.

Покрај тоа, постојат и ризици од новите технологии што ВИ потенцијално ќе ги овозможи, како што се конструираните патогени.

За одбрана ќе ни биде потребна моќна и усогласена ВИ: за обезбедување на инфраструктурата, за заштита од одметнати агенти во реално време и за создавање сосема нови заштитни мерки. Ова ќе биде главен фокус на напорите на OpenAI за примена.

Истовремено, и покрај неизвесноста што произлегува од очекуваниот широк напредок на ВИ и потребата да се изградат одбранбени системи, не смееме да дозволиме тоа да стане изговор за непромисленост. Идејата да се брза напред по секоја цена изгледа апсурдно штом вистински ќе се сфати сериозноста на она што е во прашање.

Природен исход од континуираниот технолошки напредок е машинската интелигенција да има сè поголема улога во сопствениот развој. Ако напредокот на ВИ продолжи, машинското рекурзивно самоусовршување (RSI) ќе биде во самата срж на идните научни откритија.

Автоматизираното истражување на ВИ е подраматичен облик на зголемување на интелигенцијата преку пресметувачки ресурси; а како дел од тоа, секако, ВИ ќе ја подобрува и самата пресметувачка подлога⁠. Како и кај проширувањето, истражувањата на OpenAI ги насочуваме кон RSI бидејќи веруваме дека тоа е единствениот начин и понатаму да останеме на границата на истражувањата на ВИ.

Сакам да нагласам дека кажаното погоре не значи оти сметам дека значителното забрзување на истражувањата за длабоко учење, особено краткорочно, е вистинскиот заеднички чекор за истражувачката заедница. Сепак, сметам дека сегашната патека води токму таму и дека сите мора свесно да одлучиме како ќе продолжиме. Главните механизми што ги имаме се или да го насочуваме процесот така што паралелно со ВИ ќе ги зајакнуваме усогласувањето и следењето и ќе наоѓаме начини луѓето да останат вклучени; или да се координираме за да го забавиме идниот развој кога е потребно за да стекнеме доверба во овие мерки.

Во моментов, најдобриот пат напред го гледам во спојот на двете.

Конкретниот напредок што го постигнавме во усогласувањето и следењето главно беше тесно испреплетен со општиот напредок на ВИ. Одлични примери се зајакнувањето на учењето со човечки повратни информации⁠(се отвора во нов прозорец), кое беше клучно за обуката на првите помошници со ВИ, и споменатото следење на синџирот на размислување⁠(се отвора во нов прозорец), овозможено од напредокот кај моделите за расудување. Сè поавтоматизираниот истражувачки процес мора да го насочиме кон развивање нови сознанија, алгоритми и теории од овој вид и постепено да градиме аргументи за безбедноста на поспособни ВИ.

Проширувањето на системите со ВИ мора да биде ограничено од нашата доверба во нивната безбедност. Заложбите како Рамката за подготвеност⁠ или Политиката за одговорно проширување⁠(се отвора во нов прозорец) треба да прераснат во широко задолжителни безбедносни прагови за продолжување на развојот. Нивното спроведување може да го обезбедат мрежа од независни ревизори, државни агенции или меѓународни тела.

Суштинскиот предизвик во автоматизирањето на истражувањето на ВИ не е „да стигнеме дотаму“, туку да стигнеме на начин што ќе ги задржи луѓето како дел од континуираниот процес на подобрување и ќе ја остави иднината во рацете на човештвото.

Како што неодамна изложивме заедно со Сем⁠, OpenAI ја насочува работата кон три водечки цели:

1. Управување со следниот период од напредокот на ВИ преку создавање автоматизиран истражувач на ВИ, заедничко и постепено решавање на проблемот со усогласувањето и изнаоѓање начини луѓето да останат дел од циклусот на самоусовршување.

2. Овозможување на придобивките од научниот напредок и економскиот раст што ги носат мошне интелигентните машини.

3. Индивидуално зајакнување на секој човек со лична AGI.

Во овој есеј се сосредоточив само на првата точка, бидејќи верувам дека таа е убедливо најитна. Сепак, чувствувам длабока надеж и благодарност за придобивките што ќе ги донесе понатамошниот технолошки напредок. Идната усогласена ВИ би можела да ја унапреди науката, да развие нови терапии и да донесе широка материјална благосостојба. Пријателската и чесна ВИ може да им помогне на луѓето да се справуваат со животните тешкотии и значајно да ги подобрат својата среќа и чувството на исполнетост. OpenAI вложува огромни напори за да ги оствари овие придобивки. Еден актуелен пример со кој се гордеам — а кој им помогна и на моите блиски — е големото вложување во способноста на ChatGPT да дава здравствени информации.

Колку и да е големо долгорочното ветување на ВИ, најголем дел од вниманието треба да го насочиме кон следните неколку години. Се соочуваме со премин кон свет со неверојатно интелигентни машини и мора да обезбедиме тој премин да заврши добро за човештвото. Мора да најдеме начини да ја зачуваме човечката самостојност и да ја вградиме суштинската вредност на човечкото постоење во свет во кој ВИ би можела да ги извршува повеќето задачи. Да спречиме крајна концентрација на моќта во свет во кој потфати за кои порано биле потребни илјадници стручњаци ќе може да ги остварат неколку луѓе што управуваат со голем компјутер. И да обезбедиме луѓето да ја задржат контролата врз иднината и да не бидат оставени зад неконтролиран напредок што го предизвикува туѓ интелект кој го надминува нашиот.

Во моментов верувам дека ниту една лабораторија не ги решила усогласувањето и следењето во доволна мера за уште долго одговорно да продолжи со проширување со најголема брзина. Очекувам и се надевам дека доброволните забавувања ќе станат вообичаени сè додека не се воспостават заеднички безбедносни прагови. Верувам и дека меѓународната координација за идниот развој на ВИ мора да стане врвен приоритет за владите низ светот.