Apa sing sepisanan narik minatmu ing teknik?
Aku beja bisa kenal pemrograman wiwit cilik lan nggunakke kuwi dadi lawang kanggo njelajah topik liya. Nalika SMP, ana kanca ngenalake aku karo varian basa pemrograman BASIC sing ana ing kalkulator Texas Instruments (kodenku mesthi wae angel dirumat amarga diwatesi mung 27 variabel siji huruf saben program lan gumantung banget marang pernyataan GOTO). Senajan ngono, kami nggawe sawetara program prasaja, kaya game petualangan berbasis teks, app obrolan kanggo kalkulator sing disambungake, lan piranti bantu rumus kuadrat sing lumrah.
Sawisé kuwi, aku nulis program sing luwih rumit: pembantu visual kanggo nerangake metode Newton lan kalkulator orbit kanggo ngira posisi planet lan rembulane, sing narik kawigatene klub Linux sekolahku. Ora suwe, aku wis ribut karo NDISwrapper nyoba nggawe adaptor WiFi laptop adhedhasar CardBus bisa mlaku lan nggawe jendhela desktopku murub karo Compiz! Pola panemuan liwat kode kuwi terus nganti SMA lan salajengipun, lan pungkasane nuwuhake minatku ing bidang teknik saiki.
Apa sing nggawe sampeyan teka menyang OpenAI?
Ing pakaryan pungkasan, aku pindhah saka peran backend menyang posisi full-stack, nanging banjur ngerti yen aku kurang seneng kerja frontend lan desain UX. Aku pengin bali menyang peran sing luwih cedhak karo sistem backend lan kangen interaksi karo lingkungan Linux sing biyen tak senengi ing akademia. OpenAI maringi owah-owahan pakaryan sing tak goleki lan luwih saka kuwi; angel golek kecocokan sing luwih apik kanggo apa sing tak goleki tinimbang kerja ing klaster supercomputing OpenAI.
Masalah apa sing saiki sampeyan fokusake kanggo dirampungake ing OpenAI?
Alur kerja AI eksploratif pancen cepet temponé; peneliti pengin bisa njupuk preprint saka arXiv lan nyoba pendekatan anyar tanpa kebebanan dening platform panggonan dheweke mbukak kode. Alur iki uga rumit banget, kanthi para peneliti tumindak meh kaya matematikawan—ngandelake intuisi sing wis dibangun sajrone karier kanggo ngrancang solusi kanggo masalah apa wae sing narik perhatian minggu iki. Kasunyatan manawa runtime iki mlaku ing sawetara superkomputer paling gedhé ing donya nambah lapisan kerumitan maneh, lan nangani lapisan sadurunge pungkasan iku panggonan timku melu. Kami kerja kanggo ngantisipasi kabutuhan riset sadurunge ngalangi kemajuan lan, yen ora kasil, kami kerja karo tim riset kanggo ngenali bottleneck lan ngetrapake workaround sakcepete.
Photo: Jake Stangel
Miturutmu, apa sing mbedakake kerja ing supercomputing ing OpenAI tinimbang ing panggonan liya?
Skala operasi kami, terus terang, nggumunake. Vendor hardware pihak katelu kerep ngakoni marang kami yen kami nemoni masalah sing durung tau dheweke deleng sadurunge. Asring iki mung amarga instalasi kami nduweni hardware luwih akeh sing dipadhetake ing siji superkomputer kontigu tinimbang klien liyane, sanajan kadhang uga dadi akibat saka ekspektasi performa kami. Sifat sinkron saka akeh pendekatan pelatihan model ngasilake konfigurasi sing ndadekake sakabehe klaster mlaku kanthi efektif miturut kacepetan simpul sing paling alon.
Model-model kami sing paling misuwur dilatih ing superkomputer sing regane nganti miliaran dolar, lan akibate kami dadi ngoyak penurunan performa sing biasane bakal diabaikan wong liya. Nyenengake ndeleng owah-owahan siji baris mlebu menyang kernel mainline, ngerti yen kuwi bakal ngirit ~6 dina compute ing saindenging armada kami saben minggu, utawa ndeleng siji item ing rilis driver anyar lan ngerti yen salah siji panemuan kami sing nyebabake perbaikan sing saiki wis di-upstream.
Kepiye rupane dina sing lumrah ing OpenAI kanggo sampeyan?
Dina-dinaku umume kapenuhan campuran kerja nulis kode, nyelidiki masalah, lan melu rapat. Rapat nguwasani dina Selasaku (lan muga-muga biasane mung Selasa), lan sisa minggu kabagi antarane debugging lan coding. Masalah sing ditemokake biasane banjur dadi kerja coding, contone nulis design doc, ngirim hotfix cepet menyang branch PR, utawa nambah logika health check pasif supaya hardware sing nyimpang ora mlebu ing klaster kami.
Nggoleki masalah kasebut mbutuhake sethithik kerja detektif. Dampake marang riset beda-beda saka sing samar (“kayane tugasku mlaku luwih alon tinimbang wingi”) nganti sing medeni banget amarga spesifik (“kayane yen aku ngirim luwih saka 30Gbps liwat Ethernet NIC, aku nyebabake kernel panic?”). Iki mesthi campuran sing akrab: produktif nalika dina mlaku kaya sing diarepake, lan nyenengake nalika sing diarepake keganggu lan sampeyan entuk kesempatan sinau bab anyar.
“OpenAI nawakake kesempatan kanggo ngeduk jero aspek komputasi sing diabaikan ing papan liya.”
Apa sing marahi sampeyan semangat saben dina?
Aku arang teka kerja tanpa wis nduweni perkara sing paling dhisik ana ing pikiran lan kudu dikerjakake, lan umume aku ngerti tim, proyek, lan peneliti tartamtu sing bakal oleh manfaat saka rampunge tugas kanthi cepet. OpenAI iku juragan paling gedhé sing tau tak enggoni, lan nduweni pangerten langsung marang dampak pakaryanku iku wigati banget kanggo motivasiku saben dina. Aku uga seneng ngudhari rincian cilik saka sistem. OpenAI dudu juragan pisanan sing maringi aku kerja ing sistem backend, nanging iki sepisanan aku kerja ing ranah HPC.
Teknologi sing kami garap asring ana murni amarga kawigaten marang performa sing khas banget kanggo ranah iki. Aku durung tau perlu mikirake topologi fisik hardware kami ing juragan sadurunge—umpamane mesthekake komunikasi kelakon ing domain NUMA sing padha, utawa GPU nggunakke piranti NVME utawa InfiniBand sing sak-lokasi liwat GPUDirect saka Nvidia, utawa proses sistem dipasang ing CPU tartamtu supaya ora ana konflik noisy neighbor karo runtime riset. OpenAI nawakake kesempatan kanggo ngeduk jero aspek komputasi sing diabaikan ing papan liya, lan kuwi njaga minatku marang tugas sing lagi digarap.
Saka ngendi sampeyan nemu inspirasi?
Ora ana sing luwih menehi inspirasi tinimbang ndeleng tim riset kami maju ing ningkatake model-modele. Akeh grup nyiyapake bot Slack utawa playground prasaja kanggo sesambungan lan nyoba model sing isih dikembangake, saengga sampeyan bisa ndeleng model-model kuwi saya apik sakdurunge latihan terus lumaku!
Aku uga nggunakake Slackmoji populer :meow_party: kanggo menehi tag konten sing motivasional utawa inspiratif saka macem-macem kanal Slack kami. Wiwit aku gabung ing tengah 2020, aku wis nduweni luwih saka 400 kiriman sing ditandai :meow_party:, rata-rata meh 4 saben minggu!
