Үздіксіз оқудың күші

Жалпы жасанды интеллект (AGI) экономикалық тұрғыдан құнды жұмыстардың көпшілігінде адамнан асып түсуі керек. Мен AGI-дың адам қоғамына мынадай жолдармен көмектесетінін көруге үміттенемін:

1. Қайталанатын әрі инновациялық емес міндеттердегі адам еңбегін толық автоматтандыру немесе айтарлықтай азайту. Басқаша айтқанда, AGI адам өнімділігін күрт арттыруы керек.
2. Жаңа ғылыми серпілістердің ашылуын едәуір жеделдету, соның ішінде қосымша талдау мен ақпарат беру арқылы адамның шешім қабылдау үдерісін жеңілдету, бірақ мұнымен шектелмейді.
3. Физикалық әлемді тиімді, нәтижелі және қауіпсіз түсініп, онымен өзара әрекеттесу.

OpenAI-дегі алғашқы 2,5 жылымда мен Robotics командасында батыл идеямен жұмыс істедім: адамға ұқсас бір робот қолына Рубик текшесін шешуді үйреткіміз келді. Бұл өте қызықты, қиын әрі эмоцияға толы тәжірибе болды. Біз бұл міндетті терең күшейтпелі оқыту (RL), шектен тыс көп domain randomization және шынайы әлемнен алынған ешбір оқыту дерегін қолданбай шештік⁠. Ең маңыздысы, біз бұл сынақты команда болып еңсердік.

Симуляция мен RL жаттықтырудан бастап, көру арқылы қабылдау және аппараттық firmware-ге дейін біз өте тығыз әрі үйлесімді ынтымақтасып жұмыс істедік. Бұл тамаша эксперимент болды, сол кезде мен Steve Jobs-тың reality distortion field⁠(жаңа терезеде ашылады) деген ойын жиі еске алатынмын: бір нәрсеге соншалықты қатты сеніп, оны табанды түрде ілгерілете берсең, әйтеуір мүмкін еместі мүмкін етуге болады.

2021 жылдың басынан бері мен Applied AI Research командасын басқара бастадым. Команданы басқару басқа сипаттағы қиындықтарды туғызады және жұмыс стилін өзгертуді талап етеді. Мен ең көп мақтан тұтатын нәрсе — Applied AI аясындағы тілдік модель қауіпсіздігіне қатысты бірнеше жоба:

1. Алдын ала үйретілген тілдік модельдердің жеккөрінішті, сексуалдық немесе зорлық-зомбылық мазмұнын жасауға бейімділігін бағалау үшін бағалау деректері мен тапсырмалар жиынтығын әзірлеп, құрдық.
2. Біз қажетсіз контентті анықтау⁠, сондай-ақ оның неге орынсыз екенін түсіндіру үшін егжей-тегжейлі таксономия жасап, мықты классификатор құрдық.
3. Біз модельдің қауіпті нәтижелерді шығару ықтималдығын азайтатын әртүрлі тәсілдермен жұмыс істеп жатырмыз.

Applied AI командасы ірі алдын ала үйретілген тілдік модельдер сияқты озық AI әдістерін енгізудің ең жақсы жолын іс жүзінде қолданып жатқандықтан, біз олардың шынайы міндеттерде қаншалықты қуатты әрі пайдалы екенін көріп отырмыз. Сонымен бірге, Жарғымызда⁠ атап көрсетілгендей, бұл әдістерді қауіпсіз енгізудің маңызын да түсінеміз.

Қазіргі терең оқыту модельдері мінсіз емес. Олар адамдар жасаған орасан зор көлемдегі деректермен (мысалы, интернеттегі деректермен, іріктелген материалдармен және әдебиетпен) үйретіледі және қоғамымызда баяғыдан бар көптеген кемшіліктер мен жаңсақтықтарды еріксіз сіңіреді. Мысалы, DALL·E-ден медбикені бейнелеу сұралғанда, ол тек әйел кейіпкерлерді ғана жасайтын, ал профессор үшін тек ақ нәсілді адамдарды ғана көрсететін. Модель шынайы әлем статистикасындағы немесе оқыту деректеріміздегі жаңсақтықтарды меңгереді.

Мені әлеуметтік жаңсақтықтың осы түрін азайтудың әдісін жасап, оның қаншалықты тиімді екенін бағалау ынталандырды. Командамен бірге біз мұндай жаңсақтықты азайтатын pipeline, сондай-ақ human-in-the-loop бағалауын жүргізетін жұмыс үдерісін жасадық. Әлеуметтік жаңсақтықты азайту оңай мәселе емес, өйткені ол өміріміздің көптеген қырында көрінеді және кейде оны байқау қиын болады. Бірақ DALL·E командасының бұл мәселеге байыппен қарап, өте ерте кезеңде әрекет етіп жатқанына қуаныштымын. Қазіргі қолымыздағысы — тек бастамасы, біз әрі қарай да ілгерілеуді жалғастырамыз. Мен осы бағытта жұмыс істейтінімді мақтан тұтамын және қадам сайын заманауи AI-ды қауіпсіздеу әрі жақсырақ етіп жатқанымызды көру мені қуантады.

Мен оқудың күшіне сенемін және үйренуге ешқашан кеш емес. Жеке блогымды жүргізу — осы қызығушылықты сақтап, терең оқыту қауымдастығындағы жаңа жетістіктерді үнемі біліп отырудың жақсы жолы. Сондай-ақ командамды қазіргі жобаларына қатысты болса да, қатысы болмаса да, үйренуді жалғастыруға ынталандырамын. Әртүрлі тақырыптар мен салалардағы идеялар жиі жаңа ойларға түрткі болып, ықтимал шешімдер кеңістігін кеңейтеді.

Мен сондай-ақ командалық жұмыстың берік жақтаушысымын. Әркім өз мықты қырынан жарқыраса, 1+1 > 2 болады. Сонымен қатар, біз жиі «лас» жұмыстарға тап боламыз, мен ондай міндеттерді өз мойныма алуға өте дайынмын, өйткені егер бұл ең үлкен кедергі болса немесе жобаға ең көп құндылық қоса алса, ештеңе «лас» не «болмашы» деп саналмауы керек. Мен айналамдағы адамдарды да команда ойыншысы болып, команда өнімділігін жеделдету үшін бірге жұмыс істеуге шақырамын.

Мұның бәрі жеке оқу жазбаларымнан басталды. Мен терең оқыту саласына тым ерте келген жоқпын және өзімді әлі де «жаңадан бастаушы» деп санайтынмын. Бастапқыда көптеген мақалаларды тереңірек оқи бастағанда, мәселені шешетін алгоритмді жобалаудың орнына, сол мәселені шешудің алгоритмін үйренетін модельді үйрету тұжырымдамасы мені қатты таңғалдырды. Неғұрлым көп оқысам, соғұрлым қызығушылығым арта түсті. Іс жүзінде оқыған мақалаларым мен үйренген жаңа ұғымдарымды ретке келтіру тым қиын болып кетті. Сондықтан оқу жазбаларымды құжаттап, жүйелеу үшін блог бастауға шешім қабылдадым. Сондай-ақ, бір нәрсені үйренудің ең жақсы жолы — сол білімді өзгелерге дұрыс әрі анық үйрете алатыныңа көз жеткізу деп сенемін. Жазу маған соған жетуге көмектеседі.

Оның ML қауымдастығында танымал болатынын күтпедім, бірақ маған алғыс хат келген сайын немесе біреу блогымды оқып көп нәрсе үйренгенін жеке айтқанда, өзімді үлкен құрметке бөленгендей әрі ризашылыққа толы сезінемін. Мен блогты 2017 жылы бастағаныма шамамен 6 жыл болды, және шамам келгенше оны жалғастыра беремін.

Соңғы жылдары AI қауымдастығы орасан зор прогреске қол жеткізді. Аппараттық құралдардағы, модель архитектурасындағы және деректердегі ілгерілеу алып модельдерді үйретуге мүмкіндік береді, соның нәтижесінде біз олардың қабілеттері барған сайын артып келе жатқанын көріп отырмыз. Меніңше, біз AGI-ға қарай дұрыс жолдамыз, бірақ масштабтау жалғыз шешім емес. Менің ойымша, дәл қазір ең өзекті мәселелер — туралау мен қауіпсіздік. Белгілі бір дәрежеде, бұлар басқарылу немесе бағытталу мәселесінің өзі болуы мүмкін.

Біріншіден, қолымызда өте қуатты AI жүйесі болса да, егер өз мақсаттарымызды оған тиімді жеткізе алмасақ және модельдің қалауымызға сай тураланғанына көз жеткізе алмасақ, онда қажетті деңгейде құндылық жасау мүмкін болмайды. Қазіргі ең қуатты модельдер орасан зор көлемдегі деректерден үйренеді, ал мұндай деректер жиыны шынайы әлемдегі жетілмеген кемшіліктер мен жаңсақтықтарды еріксіз қамтиды. Осы тұрғыдан алғанда, тураланбаған модельдер қауіпсіздікке қатер төндіреді, өйткені олар неден аулақ болу керегін білмейді.

Бұл біреу маған берген нақты кеңес емес, бірақ осы уақытқа дейінгі OpenAI-дегі тәжірибеме негізделген ой. Ол — ауқымды ойлау. Біз жаңа нәрсе жасап жатырмыз, сондықтан өршіл, батыл болуымыз және күш-жігерді жалғастыруға жеткілікті табандылық танытуымыз керек.

Кітаптар. Мен әдетте терең оқыту саласынан тыс кітаптарды оқимын және әртүрлі салалардан шабыт аламын; мысалы, жазушы үшін 50 жыл бойы табанды болудың қаншалық маңызды екенін, хирург үшін ұсақ-түйекке дейін мінсіз мұқият болудың маңызын және кәсіпкер үшін «ақылға қонымсыз идеялардың» қажет екенін.

Айналамдағы адамдар. OpenAI-дегі аса дарынды әріптестердің үлкен тобымен жұмыс істеу мен үшін үлкен мәртебе. Әркімнің жарқырайтын, шабыттандыратын не құрмет тудыратын бір қыры бар, мен олардан үйренгенді ұнатамын.