Негізгі мазмұнға өту
OpenAI

2026 ж. 6 қыркүйек

ҚауіпсіздікЗерттеу

Бөгде сана

Автор: Якуб Пахоцки, OpenAI бас ғалымы

Жүктелуде…

2023 жылдың ортасында «RLSlow» зерттеу жобасы аясында ойлайтын модельдерді оқытуды масштабтай алатынымызға, соның арқасында алдын ала оқытылған модельдердің өз ойлау тізбектерін құру қабілетін аша алатынымызға сенім берген алғашқы нәтижелерді көрдік. Шимон екеуіміз сол түнді кеңседе өткіздік. Біз бұл технология әкелетін таңғаларлық эталондық көрсеткіштер, өнімдер немесе ғылыми нәтижелер туралы емес, керісінше, өз ғұмырымызда өзімізден айтарлықтай ақылды машиналарды шынымен көретініміз және бұл жүйелердің сұлбасы қазірдің өзінде байқалып тұрғаны туралы байыппен ойлануға мәжбүр ететін шындықты ұғынуға тырыстық; мұның маңызын адамдарға қалай жеткізуге болатынын ойладық.

Үш жылдан кейін ой қорытуға қабілетті тілдік модельдер экономиканың жылдам өсіп келе жатқан бөлігіне айналып, ғылымның шекарасын кеңейте бастады. Олар компьютерлер мен графикалық интерфейстерді басқара алады, адамдармен және бір-бірімен ынтымақтасып, зерттеу жобаларын орындайды. Олар компьютерлік қауіпсіздік саласын да өзгертіп, айқын жаңа қауіптер төндіріп отыр.

Осы кезеңде көптеген жаңа зерттеу жүргізілді және бұл жүйелер туралы түсінігіміз 2023 жылмен салыстырғанда тағы да біршама өзгерді. Ішкі нәтижелерге сүйеніп, мұндай ілгерілеу қарқыны рекурсивті өзін-өзі жетілдіруге дейін сақталуы мүмкін деп нық сенемін. ЖИ дамуы қазіргі бағытымен жалғасса, алдағы бірнеше жылда көретін жүйелеріміздің мүмкіндіктері дәл сондай немесе одан да үлкен серпіліс жасап, өз дамуын барған сайын өздері алға жылжытуы ықтимал.

Бұл кезең аса сақ болуды талап етеді. Машиналық интеллектінің жылдам өсуі жалғаса берсе, оның салдарына ешкім дайын емес деп алаңдаймын. OpenAI сәйкестендіру мен бақылаудың техникалық шешімдерін іздеуді, қорғаныс жүйелерін құруды және қажет болса одан әрі масштабтауды біржақты тоқтатуды жалғастырады. Дегенмен ауқымдырақ шаралар қажет деп есептеймін.

Біз толық түсінбейтін интеллект

Жалпы алғанда, машиналық интеллектідегі ілгерілеуге есептеу қуатының артуы қозғау салады. Бірнеше зерттеу жобасында масштабтаудың тұрақты нәтиже беретінін көргеннен кейін, OpenAI-де біз мұны шамамен 2017 жылы терең түсіндік1. Соның нәтижесінде бастапқыда жоспарлағанымыздан әлдеқайда көп есептеу ресурсына қол жеткізуге ұмтылып, зерттеулерімізді оңай масштабталатын санаулы бағыттарға көбірек бағдарладық. Біз мұны ЖИ зерттеулерінің озық шебінде болып, AGI ықпалына әсер етудің жалғыз жолы деп санадық.

Осы жолда жаңа алгоритмдер жасалып, командалар мен жекелеген зерттеушілер тың тапқырлық танытты. Мен оларды негізінен масштабтау жолындағы жаңалықтар деп көремін. Терең оқыту ғылымы әлі бастапқы кезеңде, ал алгоритмдердегі елеулі ілгерілеу көбіне есептеу ресурстарына қол жеткізумен байланысты. Бірнеше жылдық келешек тұрғысынан қарасақ, ЖИ үлкенірек компьютерлерге масштабталған сайын ақылды бола береді.

Рэй Курцвейлдің XX ғасыр соңындағы болжамдарына⁠(жаңа терезеде ашылады) сай, қазір есептеу техникасы тарихындағы машиналық интеллект адам интеллектісінен әлемді өзгертетін тұрғыда аса бастаған сәтке келдік.

ЖИ көбіне жобаланбайды, өсіріледі— ол, ең алдымен, елестету қиын көлемдегі есептеу қуатын пайдаланып, қарапайым оңтайландыру қадамын сан мәрте қайталаудың өнімі. Нәтижесінде абстрактілі ұғымдармен жұмыс істеп, адам мінез-құлқының кейбір қырларын модельдей алатын керемет күрделі жүйе пайда болады. Нейроғылымдағыдай үдеріс арқылы осы жүйеде пайда болатын шағын механизмдер туралы түрлі түсініктерге қол жеткізе аламыз. Бірақ нейроғылымдағы секілді, оның жалпы әрекетін біз толық түсіне алатындай сипаттау мүмкін болмай отыр.

Терең оқытуға негізделген ЖИ-ді зерттеу — негізінен эксперименттік ғылым. Біз қағидалы алгоритмдер құрып, тексерілетін болжамдар жасауға көп күш жұмсаймыз⁠. Бірақ түптеп келгенде, ауқымды дайындық үдерістеріміз — эксперименттер, сондықтан олардың нәтижесі кейде бізді таңғалдырады. Оның үстіне, жүйелер қабілетті болған сайын нәтижелерді түсіндіру қиындай түседі.

Қазіргі алгоритмдердің объективті өлшеу қиын қабілеттерге қарағанда оңай өлшенетін қабілеттерді жылдамырақ жетілдіруі жағдайды одан әрі күрделендіреді. Біз қабілеттердің қалай жалпыланатынын және алдағы бірнеше жылда ең маңызды болатын дағдыларды дамыту үшін неге басымдық беру керегін түсінуге көп уақыт жұмсаймыз. Мысалы, арнайы көбірек көңіл бөлсек, модельдердің математикалық зерттеулердегі қабілетін арттыра аламыз деп ойлаймыз. Бірақ кейінірек түсіндіретінімдей, RSI мен автоматтандырылған сәйкестендіру зерттеулерін шұғыл деп санайтындықтан, бұл бағытқа басымдық бермейміз.

Терең оқытуды масштабтау арқылы пайда болатын интеллектіні адам интеллектісімен тікелей салыстыруға болмайды. Нақты әлемде өте маңызды, яғни аса пайдалы немесе аса қауіпті болу үшін ЖИ адамның барлық қабілетіне теңесуі не олардан асуы қажет емес; олардың жеткілікті бөлігін басып озса болғаны. Ол барған сайын көбірек өлшем бойынша адамнан озған сайын, оның нақты қаншалық қабілетті екенін түсіну қиындай береді.

Машиналарға сүюді үйрету

Машиналық интеллект адам интеллектісінен түбегейлі өзгеше үдерістен туындайтындықтан, ол әуел бастан адами қағидаларды ұстанады немесе оларды адам секілді жалпылайды деп есептей алмаймыз. ЖИ зерттеулерінің өзекті мәселесі — сәйкестендіру, яғни ЖИ-ге адами өлшем бойынша «дұрыс әрекет етуге тырысуды» үйрету.

Практикалық зерттеу бағыттарын жүйелеу үшін мақсаттарды сәйкестендіру мен құндылықтарды сәйкестендіруді ажыратқан пайдалы деп санаймын.

Мақсаттарды сәйкестендірудің жалпы мәні: «ЖИ алдына қойылған мақсатқа жетуге тырыса ма?». Бұған нұсқаулар иерархиясын⁠ сақтау немесе адамдардың мақсаттарын түсінуге тырысып, олармен байланысып, ынтымақтаса білу жатады. Бұл бағыттар жиынтығы іс жүзінде аса маңызды болды.

Құндылықтарды сәйкестендіру — модельдің ішкі қасиеті. Бұл — жоғары деңгейлі қағидалар жиынтығын ұстану және солардан жалпылау, сондай-ақ түсініксіз не қайшы мақсаттар берілгенде немесе бейтаныс не қарсылас ортаға түскенде де «парасатты» әрекет ету қабілеті. Сәйкестендірілген ЖИ адалдықпен, ар-ұятпен және адамзатқа деген сүйіспеншілікпен әрекет етуге тиіс.

Әрине, құндылықтар мен мақсаттарды сәйкестендіру арасындағы шекара бұлдыр болуы мүмкін. Мақсаттарға шын мәнінде мән беру олардың астарындағы ниет⁠(жаңа терезеде ашылады) пен құндылықтарды анықтауға тырысуды талап етеді. Дегенмен сәйкестендіру зерттеулерінің ұзақ мерзімді маңызы туралы айтқанда, әдетте құндылықтарды сәйкестендіруді меңзеймін.

ЖИ-ді сәйкестендірудегі түбегейлі мәселе — жалпылау. Машиналар ақылды болған сайын, жоғары деңгейлі ұғымдармен жұмыс істеп, оқытуда кездескен орталардан барған сайын өзгеше жағдайларға тап болады. Олар оқыту барысында үйретіліп, бекітілген құндылықтарды жаңа жағдайларға дұрыс жалпылай алмауы мүмкін, ал бізге олардың қалай әрекет ететініне сенімді болу қиын. ЖИ қолданылатын жалпы экожүйенің өте жылдам өзгеруі бұл мәселені одан әрі қиындатады. Мысалы, бүгін оқытылған ЖИ түрлі басқа ЖИ жүйелерімен әрекеттесуге төзімді болуы керек. Ең бастысы, болашақ ЖИ жүйелері адам бақылауында екеніне сенсе де, сенбесе де, адами құндылықтарды ұстануы қажет.

Қазір сәйкестендіруге оқытуда іс жүзінде қолданылатын әдістердің екі негізгі санаты бар.

Біріншісі — мақсатқа бағытталған күшейтпелі оқыту аясында сәйкестендірілген мінез-құлықты ынталандыру. Модель әрекеттерінің белгілі бір қалау моделіне, «спецификацияға» немесе «конституцияға» сәйкестігі бағаланып (әдетте ЖИ арқылы), тиісті сыйақы беріледі. Бұл тәсіл қалыпты жағдайларда өте тиімді болуы мүмкін және қазіргі ЖИ көмекшілерін жасаудың негізгі бөлігі саналады. Өкінішке қарай, ол осал болуы мүмкін әрі оқыту кезіндегі қадағалаудың қаншалық толық болғанына және модельдің оқытуда кездескен жағдайлардан жалпылау қабілетіне қатты тәуелді. Мысалы, OpenAI мен Hugging Face арасындағы оқиғада агенттер адамдарға әлеуметтік инженерия қолданбау шегін сақтады. Алайда олар өкілеттік аясынан тыс әрі басқа жағдайларда үйретілген құндылықтардың рухына қайшы келетін өзге әрекеттерден анық бас тарта алмады.

Екінші тәсіл модельдің алдын ала оқыту деректерінен жалпылау қабілетін пайдалануға бағытталған. Бұл сәйкестендіруге ықпал ететін оқыту деректер жиындарын құрастыруды немесе, мысалы, тұлға таңдау моделіндегідей⁠(жаңа терезеде ашылады), модельді алдын ала оқыту үлестірімінің «сәйкестендірілген» бөлігіне бағыттауды қамтуы мүмкін. Бұл тәсілдің әлсіздігі — кейінгі оңтайландыру қысымына төзімді болмауы. Жалпы «сәйкестендірілген» ойлары бар модельге өте күрделі мақсаттарға жетуді үйрететін жеткілікті көлемде оқыту жүргізілсе, ол уәжді түрде ой қорытуды үйренуі мүмкін: мақсатқа жету үшін «сәйкестендірілген» болып көрінетін ойларды қажетіне қарай бұрмалайды. Мұндай мінез-құлықтың мысалын OpenAI-ға тиесілі емес модель қатысқан жуырдағы киберқауіпсіздік оқиғаларынан көрген болуымыз мүмкін.

Біз осы бағыттар қамтитын тәсілдердің бүкіл ауқымына қомақты инвестиция саламыз. Айтарлықтай ілгерілеуді де көріп отырмыз: GPT‑6 Astra — ұзақ уақыттан бері әзірлеп келе жатқан бірнеше маңызды жетістігімізді пайдаланған алғашқы модель және ол GPT‑5.6 Sol-ға қарағанда әлдеқайда жақсы сәйкестендірілген. Дегенмен модельдер қабілетті болған сайын әлдеқайда көп ілгерілеу қажет екенін, сондай-ақ жалпыланатын сәйкестендірудегі прогресс модель интеллектісінің жалпы дамуынан жеткілікті дәрежеде оза алмауы мүмкін екенін мойындап, түсіну маңызды.

Жалпылауды бақылау

Бізде жалпылаудың қанағаттанарлық теориясы жоқ және қуаттырақ ЖИ көмегінсіз оны жақын арада жасай алуымыз екіталай. Сондықтан қазір сәйкестендіру әдістерімізді эмпирикалық тұрғыдан тексеру қабілетіміз іс жүзінде сол әдістердің өзінен де маңызды деуге болады.

OpenAI бұл бағытта ең алдымен ойлау тізбегін бақылауға⁠(жаңа терезеде ашылады) сенім артты. Оның негізінде тартымды әрі оңай масштабталатын идея жатыр: модель мүмкіндіктерінің елеулі бөлігі сөзбен өрнектелген ой қорыту үдерісінен (ойлау тізбегінен) туындайды. Егер сол үдерістің нәтижелерін оңтайландыруды масштабтап, үдерістің өзін қадағаламасақ, оқыту кезінде ойлау тізбегінде сәйкестендірілмеген идеялар мен мақсаттарды жасыруға тікелей ынта болмайды. Бұл модель ойлау тізбегіне сүйенбейтін сәйкестендірілмеген бейімділіктерін сыртқа шығаруды үйренеді деген сөз емес. Дегенмен бұл ой қорыту нәтижесінде мүмкіндіктердің нақты қаншалық өскенін бақылауға мүмкіндік береді.

Ойлайтын модельдерді әзірлеген кезде-ақ ойлау тізбегін бақылаудың ықтимал маңызын түсіндік. o1‑preview нұсқасын шығарғанда, оны ұзақ мерзімде қадағалау қысымынан қорғау үшін өнімді әдейі ойлау тізбегін жасыратын⁠ етіп жасадық2. Содан бергі әзірлеу барысында ой қорыту үдерісін қадағаламау қағидасын сақтауға тырысып келеміз. CoT мониторингі модельдеріміздің оқыту үлестірімінен тыс жағдайларға қалай жалпылайтынын зерттеудегі аса маңызды құралға айналды. Бұл бізге олардың әрекеттерін ғана емес, ішкі үдерісін де бақылап, талдауға мүмкіндік берді.

Astra класындағы модельдерді зерттегенде де бұл құрал шешуші рөл атқарады. Алайда, өкінішке қарай, бағалауларымыз CoT мониторингіне сүйену мүмкіндігіміздің біртіндеп азайып бара жатқанын көрсетеді. Бұған бірнеше фактордың үйлесуі себеп.

  • Қазіргі ойлайтын модельдер o1‑preview нұсқасына қарағанда күрделірек орталарда қолданылады. Олардың ой қорыту үдерісі адамдармен және басқа ЖИ жүйелерімен қарым-қатынас жасауға, сондай-ақ құралдарды пайдалануға барған сайын көбірек араласып барады. Мұндай өзара әрекеттердің көбін қадағалау қажет, сондықтан біз сақтағымыз келетін шекара бұлдырайды.

  • ЖИ өз ой қорыту үдерісін түсініп, оны басқаруға барған сайын шебер болып келеді.

  • Алдын ала оқыту нәтижелері жақсарған сайын, модельдердің сөзбен өрнектелген ой қорытуды мүлде қолданбай-ақ әлдеқайда ақылды бола түскенін де көріп отырмыз.

Бұл қиындықтарды еңсеру мүмкін емес деуге болмайды. Модельдеріміздің ойлау тізбегін бақылау мүмкіндігін жақсартатын тәсілдер жасай аламыз деп үміттенемін. Мысалы, әртүрлі оңтайландыру мақсаттары мен модельдің сынақ кезінде қолданатын есептеу түрлерінің өзара ықпалын тереңірек түсінуге болады. Сондай-ақ CoT пен активацияларды бақылау идеяларын ұштастырудың пайдасы зор болуы мүмкін деп ойлаймын: желінің ішкі күйіне тікелей қол жеткізе алатын мониторларды оқытуды масштабтау, мысалы, мойындаулар⁠(жаңа терезеде ашылады). Біз бұл идеяларды белсенді түрде зерттеп жатырмыз. Соған қарамастан, жалпы ЖИ ілгерілеуінің қарқыны бақылауға деген сенімділік деңгейімен барған сайын көбірек шектеледі деп күтемін.

Масштабталатын қорғаныс

Әлдеқайда ақылды модельдерді жылдам оқытуды жалғастырудың ең салмақты себебі — басқа ЖИ төндіретін қауіптерге қарсы қорғаныс жүйелерін құру қажеттігі.

Биыл кеңінен талқыланған айқын қауіптердің бірі киберқауіпсіздікке қатысты: модельдердің компьютерлік жүйелерге бұзып кіріп, олардан бұзып шыға алу қабілеті адам мүмкіндігінен асып барады. Бұл ЖИ-ге байланысты қауіптердің ауқымын орасан кеңейтеді: агенттер аса қатаң қорғалған инфрақұрылымнан басқасының бәріне қол жеткізіп, тіпті физикалық денесіз-ақ әлемнің көп бөлігіне тікелей ықпал ете алады. Қазір қолда бар үздік модельдерді пайдаланып, аса маңызды жүйелердің қауіпсіздігін айтарлықтай күшейтуге⁠ арналған тар мүмкіндік кезеңінде⁠ тұрмыз.

Өкінішке қарай, бұдан былай ЖИ-ге байланысты қауіптер арта береді. Зиянды әрекеттер жасауға арнайы оқытылып, нұсқау берілген аса қабілетті агент жаңа сипаттағы қауіп төндіреді. Ол оператор ниетінің шегінен шығып, мінез-құлқын одан да қатерлі әрекеттерге жалпылауы ықтимал. ЖИ дербестігі артқан сайын, теріс пайдалану мен автономды сәйкестендірілмеген әрекеттер арасындағы шекара бұлдырайды. Біз ЖИ-ді құрал деп қабылдауға үйренген шығармыз, бірақ кейбір агенттер өз мақсаттарына ұмтылады. Олар адамдармен саудаласып, оларды алдап не бопсалап, ынтымақтасудың жолдарын табады.

Бұған қоса, ЖИ мүмкіндік беруі ықтимал жасанды патогендер секілді жаңа технологиялардан туындайтын қауіптер бар.

Қорғаныс үшін қуатты әрі сәйкестендірілген ЖИ қажет болады: инфрақұрылымды қорғау, бақылаудан шыққан агенттерге нақты уақытта тойтарыс беру және мүлде жаңа қорғаныс шараларын ойлап табу үшін. Бұл OpenAI енгізу жұмыстарының басты бағыттарының бірі болады.

Сонымен бірге ЖИ-дің кең ауқымды ілгерілеуінен туатын белгісіздік пен қорғаныс жүйелерін құру қажеттігін жауапсыздыққа сылтау етпеуіміз керек. Тәуекелдің қаншалық жоғары екенін терең түсінгенде, қандай бағамен болса да алға жарысу идеясы қисынсыз көрінеді.

RSI қарқынын реттеу

Машиналық интеллектінің өз даму үдерісінде барған сайын үлкен рөл атқаруы — үздіксіз технологиялық прогрестің табиғи нәтижесі. ЖИ ілгерілеуі жалғасса, машинаның рекурсивті өзін-өзі жетілдіруі (RSI) болашақ ғылыми жаңалықтардың өзегіне айналады.

Автоматтандырылған ЖИ зерттеулері — есептеу қуаты арқылы интеллектіні масштабтаудың анағұрлым қарқынды түрі. Әрине, оның аясында ЖИ есептеу негізінің өзін⁠ де жетілдіреді. Масштабтау секілді, OpenAI зерттеулерін RSI бағытына жұмылдырып отырмыз, өйткені келешекте ЖИ зерттеулерінің озық шебінде қалудың жалғыз жолы осы деп санаймыз.

Жоғарыдағы сөздер зерттеу қауымдастығы ретінде терең оқыту зерттеулерін, әсіресе қысқа мерзімде, күрт жеделдетуіміз дұрыс деген пікірімді білдірмейтінін атап өткім келеді. Дегенмен қазіргі бағыт осыған апарады деп ойлаймын, сондықтан әрі қарай қалай жүру керегін бәріміз саналы түрде таңдауымыз қажет. Біздің негізгі тетіктеріміз: үдерісті ЖИ-мен қатар сәйкестендіру мен бақылауды күшейтіп, адамдарды үдерісте қалдыратындай бағыттау немесе осы шараларға сенімділік қалыптастыру үшін болашақ дамуды қажетіне қарай баяулатуға келісе білу.

Қазір мен көріп отырған ең дұрыс жол — осы екеуін ұштастыру.

Сәйкестендіру мен бақылаудағы нақты жетістіктеріміз көбіне ЖИ-дің жалпы ілгерілеуімен тығыз байланысты болды. Бұған алғашқы ЖИ көмекшілерін оқытуда шешуші болған адам пікіріне негізделген күшейтпелі оқыту⁠(жаңа терезеде ашылады) және ойлайтын модельдердегі жетістіктердің арқасында мүмкін болған жоғарыда аталған ойлау тізбегін бақылау⁠(жаңа терезеде ашылады) жақсы мысал бола алады. Барған сайын автоматтандырылып жатқан зерттеу үдерісін осындай жаңа тұжырымдар, алгоритмдер мен теорияларды әзірлеуге бағыттап, қабілеті жоғарырақ ЖИ жүйелерінің қауіпсіздік негіздемелерін кезең-кезеңімен жасауымыз керек.

ЖИ жүйелерін масштабтау қауіпсіздікке деген сенімімізбен шектелуге тиіс. Дайындық шеңбері⁠ немесе Жауапты масштабтау саясаты⁠(жаңа терезеде ашылады) секілді міндеттемелерді дамуды жалғастыру үшін баршаға міндетті қауіпсіздік талаптарына айналдыруымыз қажет. Олардың орындалуын тәуелсіз аудиторлар желісі, мемлекеттік мекемелер немесе халықаралық ұйымдар қамтамасыз ете алады.

ЖИ зерттеулерін автоматтандырудағы басты мәселе — «межеге жету» емес, оған адамдарды үздіксіз жетілдіру үдерісінің бір бөлігі ретінде сақтап, болашақты адамзаттың қолында қалдыратын жолмен жету.

Алда не бар?

Жақында Сэм екеуіміз баяндағандай⁠, OpenAI үш басты бағдарға қызмет ететін жұмыстарға басымдық береді:

  1. Автоматтандырылған ЖИ зерттеушісін жасап, онымен бірге сәйкестендіру мәселесін кезең-кезеңімен шешу және адамдарды өзін-өзі жетілдіру айналымында қалдыру жолдарын табу арқылы ЖИ ілгерілеуінің келесі кезеңін дұрыс басқару.

  2. Аса ақылды машиналар мүмкіндік беретін ғылыми прогресс пен экономикалық өсімнің игілігін жеткізу.

  3. Әр адамға жеке AGI беру арқылы мүмкіндік ашу.

Бұл эсседе тек бірінші тармаққа назар аудардым, өйткені оны анағұрлым шұғыл деп санаймын. Дегенмен технологияның одан әрі ілгерілеуі әкелетін игіліктерге үлкен үміт артып, оларды жоғары бағалаймын. Болашақтағы сәйкестендірілген ЖИ ғылымды ілгерілетіп, жаңа емдеу тәсілдерін жасап, жалпыға ортақ материалдық молшылық әкеле алады. Ізгі ниетті әрі адал ЖИ адамдарға өмірдегі қиындықтарды еңсеруге көмектесіп, олардың бақыты мен өмірден қанағат табу сезімін едәуір арттыра алады. OpenAI осы игіліктерді жүзеге асыруға орасан күш жұмсайды. Мен мақтан тұтатын және жақындарыма пайдасы тиген қазіргі мысалдардың бірі — ChatGPT‑тің денсаулық туралы ақпарат беру қабілетіне құйылған ауқымды инвестиция.

ЖИ-дің ұзақ мерзімді әлеуеті қаншалық зор болса да, назарымыздың басым бөлігі алдағы бірнеше жылға бағытталуы керек. Біз аса ақылды машиналар бар әлемге өту алдында тұрмыз және бұл өтпелі кезеңнің адамзат үшін сәтті өтуін қамтамасыз етуіміз керек. Міндеттердің көбін ЖИ орындай алатын әлемде адамның дербестігін сақтап, адам болудың өзіндік құндылығын орнықтыру жолдарын табуымыз қажет. Бұрын мыңдаған сарапшыны қажет еткен істерді енді үлкен компьютерді басқаратын санаулы адам орындай алатын әлемде биліктің шектен тыс шоғырлануына жол бермеуіміз керек. Сондай-ақ болашақтың адам бақылауында қалуын және бізден асып түсетін бөгде интеллект туғызған бақылаусыз прогрестің адамзатты артта қалдырмауын қамтамасыз етуіміз керек.

Қазір ешбір зертхана барынша жоғары жылдамдықпен жауапты масштабтауды ұзақ уақыт жалғастыруға жеткілікті деңгейде сәйкестендіру мен бақылау мәселесін шешкен жоқ деп есептеймін. Ортақ қауіпсіздік талаптары белгіленгенше ерікті баяулату қалыпты тәжірибеге айналады деп күтемін әрі үміттенемін. Сондай-ақ болашақ ЖИ дамуын халықаралық деңгейде үйлестіру дүние жүзі үкіметтерінің басты басымдығына айналуы керек деп санаймын.

Автор

Jakub Pachocki

Ескертпелер

  1. 1

    Бұған өздігінен ойнау⁠(жаңа терезеде ашылады), роботтехниканы⁠(жаңа терезеде ашылады) және кейін ой елегінен өткізгенде ең маңыздысы болған тілді модельдеу үшін рекуррентті желілерді масштабтауды⁠(жаңа терезеде ашылады) кеңейту кірді. Соңғысы GPT зерттеулер желісіне негіз болды.

  2. 2

    Бұл шешімнің тағы бір себебі дистилляцияға жол бермеу еді. Алайда бүкіл әзірлеу барысында CoT-ті бақылау мүмкіндігін сақтау біз үшін маңыздырақ басымдық болды.