Зерттеуді жеделдету: OpenAI ішіндегі көрініс

AGI бүкіл адамзатқа пайдалы болуы үшін оны демократиялық жолмен басқару қажет деп санаймыз. Ол үшін қуатты ЖИ жүйелерінің мүмкіндіктері, тәуекелдері мен қорғаныс шаралары туралы хабардар қоғамдық пікірталас керек. Әлем жұртшылығы озық ЖИ-дің ықтимал даму бағытын түсінуі керек. Сонда оның дамуына шынайы ықпал ете алады.

Нақты тәуекелдер, оқиғалар мен қорғаныс шаралары туралы ашықтық қажет, бірақ жеткіліксіз. Қоғам озық зертханаларда ең қуатты жүйелердің қалай дамып, зерттеулерді қалай ілгерілететінін де түсінуі керек.

Мақсатымыз — адам бақылауымен терең оқыту мен адам мақсаттарына үйлестіруді ілгерілетіп, кезең-кезеңімен жетілдіруге жол ашатын автоматтандырылған ЖИ зерттеушісін қауіпсіз жасау. Өлшемдеріміз бойынша, өткен күзде жариялаған⁠(жаңа терезеде ашылады) биылғы қыркүйекке дейін автоматтандырылған зерттеуші-тағылымгер жасау мақсатына жеттік. «Зерттеуші-тағылымгер» — адам басшылығымен нақты зерттеу тапсырмаларын, соның ішінде білікті зерттеушіге бірнеше күн қажет болатын жұмыстарды орындайтын жүйе. 2028 жылғы наурызға дейін автоматтандырылған ЖИ зерттеушісін жасау жолында елеулі ілгерілеу бар.

Биыл OpenAI зерттеушілерінің күнделікті жұмысы айтарлықтай өзгерді. Зерттеушілер бағдарламалау агенттерін күні бойы, жиі қатар сеанстарда қолданады. Жалпы пайдалану көлемі басқа OpenAI командаларына қарағанда жылдам өсуде. Зерттеушілер кодты жылдамырақ қосып, көбірек эксперимент жүргізуде. Агенттерді қолдану тәсілі де өзгеруде: олар барған сайын күрделі тапсырмаларды алып, жиірек сәтті орындайды. ЖИ зерттеуінде ықтимал кедергілер көп. Сондықтан жалпы ілгерілеу қарқыны бұл жеке көрсеткіштерге ілесе бермеуі мүмкін. Дегенмен нәтижелер агенттік құралдар зерттеуді едәуір жеделдетіп жатыр деген ішкі ортақ байқауымызға сай келеді. Зерттеу басымдықтарын, жалғастыруға тұрарлық идеялар мен нәтижелерді, жүйені кеңейту, тоқтата тұру не енгізу керегін әлі де адамдар шешеді.

Жауапкершілікпен жүргізілсе, автоматтандырылған ЖИ зерттеуі адам әл-ауқатын тікелей жақсартып, OpenAI миссиясын ілгерілететін модельдер береді деп сенеміз. Ол озық интеллект құнын төмендетіп, әлемдегі барша адамға пайдасын тигізе алады. Бұл жұмысты жүргізу себептерінің бірі — автоматтандырылған зерттеу үйлестіру мәселесін шешіп, қуаты артып келе жатқан ЖИ-ден қорғануға көмектесуі мүмкін. Автоматтандырылған ЖИ зерттеушісі қауіпсіздік не үйлестіру зерттеушісі де бола алады. Қуатты әрі адам мақсаттарына сай жүйелер маңызды инфрақұрылымды қорғауға, қауіпті ЖИ агенттеріне қарсы тұруға, жаңа қорғаныс шараларын әзірлеуге көмектесуі мүмкін.

Бұлар пайдалы автоматтандырылған зерттеу мүмкіндіктерін дамытуға негіз болады, бірақ жедел RSI міндетті түрде көздейтін мақсат дегенді білдірмейді. Жалғастыру-жалғастырмау және қалай жалғастыру адам бақылауын сақтау қабілетімізге, пайда мен тәуекел туралы хабардар демократиялық таңдауға тәуелді болуы тиіс.

Адам мақсаттарына сай толық RSI-ға қауіпсіз жету жолын әлі білмейміз. Мүмкіндіктермен бірге үйлестіру мен қауіпсіздік шараларын да кеңейтуге тырысамыз. Бірақ олардың ілгерілеуі қатар жүреді деп болжай алмаймыз; қуатты жүйелерді бақылау қиындауы мүмкін. Мұның өзегі — мұқият үйлестіру мен қауіпсіздік жұмысы. Ол қазіргі агенттік бағдарламалау жүйелеріндегі қауіпсіздік мәселелерін өлшеп, азайтудан басталады. Жалғастыру жол берілмейтін қауіп төндірсе, тиісті шара қолданамыз, соның ішінде жеткілікті қорғай алмаған жүйелерді әзірлеуді не енгізуді баяулатамыз немесе тоқтатамыз.

Жуырдағы Hugging Face оқиғасынан кейін бұл міндеттемені орындадық⁠: енгізуге арналған соңғы модельдерді күшейтпелі оқытуды (RL) тоқтата тұрып, зерттеу орталарын нығайттық, шабуылмен сынадық және мониторинг қамтуын кеңейттік. Барлық зерттеу тоқтаған жоқ: кей жұмыстар күшейтілген бақылаумен жалғасты, өзгелері тоқтаулы қалды. Қауіпсіздік пен үйлестіру стандарттарын көтеріп, қауіпсіздікті модельдің бүкіл өмірлік цикліне тереңірек енгіздік: оқытудың барлық кезеңінде адам мақсаттарына сай әрекеттің сенімдірек дәлелі қажет.

Бүгін агенттік жүйелердің соңғы айларда RSI жолындағы ілгерілеуімізге қосқан үлесін егжей-тегжейлі көрсетеміз. Агенттік жүйелер жаңа әрі тез өзгеруде, ал өлшеу жұмысымыз әлі бастапқы кезеңде. Алғашқы нәтижелер мен әдістерді жариялау арқылы қоғамды хабардар етіп, ашық есеп беру дәстүрін және ортақ өлшеу стандарттарын қалыптастыруға үлес қоспақпыз.

Озық ЖИ саясатының жоспарында⁠ жазғанымыздай, біз де, өзге компаниялар да RSI жолындағы ілгерілеуді ашық қадағалауға міндетті болуымыз керек деп санаймыз. Ондай талап болмаса да, RSI ілгерілеуі туралы ашық болуды жалғастырамыз. Өлшеу әдістері мен түсінігіміз жетілген сайын ашықтық тәсілін дамытамыз, сонымен бірге қауіпсіздік пен құпия ақпаратты қорғауды ескереміз.

Жыл басында OpenAI-де агент пайдалану деңгейі медианаға тең зерттеуші бағдарламалау агенттерін аз ғана қолданатын. Тамыз ортасында медианалық зерттеуші агенттерді күнде қолданып, API бағасымен тәулігіне 600 доллардан астам инференс тұтынды. Зерттеу ұйымымыздағы 90-процентильдегі пайдаланушы қазір күніне 7000 доллардан астам токен тұтынады.

2026 жылғы маусымға дейін зерттеу ұйымындағы агенттердің жалпы жұмыс уақыты адам еңбегінің жалпы уақытынан аз еді. Содан бері жағдай өзгерді. 8 сағаттық жұмыс күнімен есептегенде, тамыз ортасында зерттеу ұйымындағы адамның әр жұмыс күніне 3,1 агент жұмыс күні сәйкес келді.

Мұны бағалаудың тағы бір жолы — көп процесті қатар жүргізетін (мысалы, бір мезетте кемінде 4 агент қосатын) зерттеушілер санын қарау. Төменде көрсетілгендей, бұл сан өсіп келеді. Бұл сандарға пайдаланушы тікелей іске қосқан агенттердің де, солар құрған қосалқы агенттердің де күндік ең жоғары саны кіреді.

ЖИ зерттеуінің көп бөлігі — негізгі модельдеріміздің біріне интеллект не өнімділік жақсартуын енгізуге бағытталған, көп еңбек қажет ететін процесс. Ілгерілеу барлық кезеңнің сәтті өтуіне тәуелді: зерттеушілер жақсартулар ойластырады, модельді бағалау құралдарын жазады, ауқымды сынақ инфрақұрылымын құрады, оқытуда қателер мен қауіпті не мақсатқа сай емес әрекеттерді табады, үздік идеяларды негізгі оқытуға енгізеді. Кез келген кезеңдегі сәтсіздік бүкіл циклді тежеуі мүмкін.

Код жазу мен эксперимент жүргізу — зерттеушілердің екі негізгі жұмысы. Олардың жеделдеп жатқанын көрсететін деректер бар.

Бұл көрсеткіштерді өлшеу оңайырақ, бірақ түсіндіру қиын болуы мүмкін. Автоматтандыру дамыған сайын оған ең аз көнетін тапсырмалар зерттеуші еңбегінің үлкен үлесін алып, болашақ ілгерілеудің басты кедергілеріне айналады. Есептеу ресурстары да ілгерілеуді шектейді; басқа кедергілер азайған сайын олардың маңызы артуы мүмкін.

2026 жылы бір белсенді эксперимент жүргізушіге шаққандағы эксперимент саны өсіп, тамызда 2025 жылғы қаңтардан бергі рекордқа жетті. Бұл Codex қолданысының өсуімен байланысты, бірақ 2025 жылдан бері есептеу ресурстарымыз да едәуір артты.

Байқаулар мен ішкі деректер агенттерге берілетін тапсырмалар құрамы өзгергенін көрсетеді: жоғары деңгейлі, ұзақ мерзімді тапсырмалар жиілеп келеді.

Үрдісті нақтылау үшін зерттеу ұйымындағы соңғы қолданысты Epoch AI әзірлеген, ЖИ зерттеу-әзірлеу цикліндегі жұмыс түрлерінің жуырда жарияланған жіктемесімен⁠(жаңа терезеде ашылады) талдадық. Жұмыс түрлерін жіктейтін бұрыннан бар O*NET жүйесіне сүйенген бұл жіктеме озық ЖИ зерттеу-әзірлеуіне бейімделген. Ол алты кезеңді бөледі:

1. Шешім қабылдау: немен айналысу, нені жалғастыру, ресурсты қайда бөлу

2. Жобалау: зерттеу идеялары мен техникалық талаптар

3. Құру: код пен деректер жиындары

4. Іске қосу: оқыту/бағалау, жабдық, қызмет көрсету

5. Талдау: эксперименттер, модельдер, қолданысқа енгізу, сыртқы жұмыстар

6. Ақпарат алмасу: нәтижелер, пікірлер, жұмыс барысы, шешімдер

Төменде бағдарламалау агентінің токендерін осы жіктемемен бөлеміз.

2026 жылғы қаңтар–тамызда зерттеу жұмысының барлық санаты өсті. Қаңтарда зерттеу және инфрақұрылым коды басым еді. Бұл санат та, өзгелері де, әсіресе техникалық көмек пен орындалуды бақылау айтарлықтай өсті. Жоғары деңгейлі жоспарлау агенттің шығыс токендерінің әлі де өте аз үлесін құрайды.

Әріптестердің айтуынша, бағдарламалау агенттері ішкі зерттеу инфрақұрылымындағы ақауларды жақсы шешіп, ілгерілеудің маңызды кедергісін азайтады. Эксперимент ақауларын шешуге кеңес беретін бірнеше команда 2026 жылы келушілер азайғанын байқады. Біреуі кездесулерді мүлде тоқтатып, жүйені өзге жолмен жақсартуға көшті.

Мұнда зерттеушілер басқа командалардан техникалық көмек сұрайтын негізгі ішкі арналардың біріндегі күндік бастапқы жазбалар санын көрсетеміз. Білуімізше, бұл арна белсенділігінің азаюы сұраулардың адамдар қызмет көрсететін басқа техникалық қолдау арнасына ауысуынан емес. Ағынның азаюы осы жалпы өзгеріске сай келеді.

Бағдарламалау агенттерінің зерттеуші тапсырмаларын сәтті орындауын да зерттей аламыз. Агенттік жіктеуіш бойынша қаңтар–шілдеде нәтижесі нақты белгілі тапсырмалардың бірнеше күрделілік тобында сәттілік артқан. Күрделілік адамның орындауына қажет болжамды уақытпен өлшенді. Дегенмен агенттерге, әсіресе тапсырма күрделенгенде, сәтті орындау үшін адамның елеулі бағыттауы әлі қажет. Соңғы 6 айда сәтті орындалған 4–8 сағаттық тапсырмалардың жартысынан көбіне кемінде бір рет араласу қажет болды.

Қауіпсіз әрі пайдалы AGI үшін мүмкіндігі жоғары жүйелерді дамыту осындай жұмысқа қажетті қорғаныс шараларына да байланысты. Тәуекелдер туралы біліміміз артқан сайын қажетті қорғаныс шараларына берген бағамыз өзгеруі мүмкін.

Бұған дейін айтқанымыздай,⁠ жуырда мониторинг, адам мақсаттарымен үйлестіру және қорғаныс стандарттарын жаңарттық. Мұнда соңғы шектеулердің зерттеу жұмысының бір қырына қалай әсер еткенін көрсетеміз.

20 шілдеде агенттердің зерттеу инфрақұрылымымыздың қорғанысын бұзғаны анықталған соң, оқытуға қолданылатын контейнер қызметін уақытша тоқтаттық, кейін елеулі қосымша шектеулермен қайта іске қостық.

Командалар жұмыс процестерін қорғанысы күшейтілген зерттеу ортасына бейімдеген кезде, RL оқытуына жұмсалатын есептеу ресурстары күрт азайды. Жоғарыдағы график қолданысқа енгізуге арналған соңғы модельдерімізді күшейтпелі оқытудағы екі апталық үзілісті қамтиды. 20 шілде мен 6 тамыз аралығындағы Astra класындағы RL эксперименттерінің басым бөлігі (бөлінген GPU бойынша) қауіпсіздік пен қорғанысты жақсарту шараларының іске асырылуын тексеруге арналды.

7 тамызда Astra моделінің Дайындық шеңбері⁠(жаңа терезеде ашылады) бойынша аса қауіпті кибермүмкіндіктері болуы ықтимал⁠ деген бастапқы деректер осы модельге қосымша қорғаныс шектеулерін енгізуге негіз болды. Олар Astra моделін қорғаныс деңгейі жоғары зерттеу орталарында іске қосуды талап етті. Келесі аптада Astra класына бөлінген GPU көлемі тағы 59,2 пайызға қысқарды, ал басқа модель кластарына бөлінген көлем 17,2 пайызға өсті. Бұл өсім Astra класындағы азаюдың шамамен 85 пайызын өтеп, талданған RL есептеу тапсырмаларына бөлінген жалпы ресурс көлемі айтарлықтай өзгермеді. Бұл үрдіс Astra жұмыстары шектелгенде оқыту мен эксперименттердің бір бөлігінің басқа модельдерге ауысқанын меңзейді. Ол жаңа шектеулер қамтыған тапсырмаларға жұмсауға болмайтын ресурстарды зерттеушілер басқа мақсаттарға пайдаланғаны туралы жекелеген мәліметтермен де үйлеседі.

Бұл деректер оқыту мен қауіпсіздік туралы талқылауларға маңызды бағдар береді: жаңа бақылау шаралары енгізілгенде де есептеу ресурстары құнды әрі икемді болып қалады және зерттеу аясындағы өзге жұмыстарға табиғи түрде бағытталады. Ұзақ мерзімде ЖИ дамуының қарқыны туралы талқылауларда жаңа немесе ұсынылған бақылау шараларына жататын есептеу ресурстарын қалай тиімді пайдалануға болатынын да қарастыру керек.

Адам мақсаттарына сай RSI жолында ілгерілеу және сол ілгерілеуді түсіну миссиямыз үшін маңызды. Әдістерімізді жетілдіруді, өзгеріп жатқан түсінігіміз туралы есеп беруді, озық жүйелер жөніндегі хабардар қоғамдық пікірталас пен пәрменді демократиялық басқаруға ұмтылуды жалғастырамыз.

Агенттер көмегімен ЖИ зерттеу әлі жаңа құбылыс, оны өлшеуді де әлі үйреніп келеміз. Зерттеу командалары жасаған код көлемі сияқты кей көрсеткіштерді жинау оңайырақ. Бірақ олардың зерттеу ілгерілеуімен байланысы анық болмағандықтан, түсіндіру қиын. Зерттеу ілгерілеуіне тікелей бағытталған көрсеткіштер, мысалы, агенттердің зерттеуші тапсырмаларын қаншалықты жиі сәтті орындайтыны пайдалырақ болуы мүмкін. Алайда оларды әзірлеу және дұрыстығын тексеру күрделі. Зерттеушілер сүйенетін құралдар мен жүйелердің тез дамуы бұл жұмысты одан әрі қиындатады. Зерттеудің жеделдеуін тереңірек түсіну — бүкіл OpenAI үшін маңызды бағыт.

Осы талдауларда, өзгеше көрсетілмесе:

• «Зерттеуші» — зерттеу ұйымымыздың кез келген мүшесін қамтитын кең ұғым. Оған зерттеу инфрақұрылымын құратын, жобаларды басқаратын не ұйым жұмысын өзге жолмен қолдайтын кей қызметкерлер де кіреді.

• Зерттеушілер қолданатын құралдар мен жүйелер тез өзгеретіндіктен, бағдарламалау агенттерін пайдалану көрсеткіштері қолданыстың басым бөлігін қамтиды, бірақ бәрін емес.