Discovering the minutiae of backend systems

Kelli x-xorti niskopri l-programmazzjoni minn età żgħira u użajtha bħala bieb għal suġġetti oħra. Fl-iskola medja, ħabib introduċieni għall-varjant partikolari tal-lingwa ta’ programmazzjoni BASIC inkluż fil-calculators ta’ Texas Instruments (il-kodiċi tiegħi, kif mistenni, kien impossibbli biex jinżamm minħabba restrizzjoni ta’ 27 varjabbli ta’ ittra waħda għal kull programm u dipendenza qawwija fuq stqarrijiet GOTO). Minkejja dan, ħloqna xi programmi sempliċi, bħal logħob ta’ avventura bbażat fuq it-test, app taċ-chat għal calculators marbuta flimkien, u l-għodda tas-soltu għall-formula kwadratika.

Iktar tard, ktibt programmi aktar kumplessi: għajnuna viżiva biex turi l-metodu ta’ Newton u kalkulatur tal-orbiti biex jistma l-pożizzjoni tal-pjaneti u l-qamar tagħhom, li ġibed l-attenzjoni tal-club Linux tal-iskola tiegħi. Ftit wara, kont qed nissielet ma’ NDISwrapper biex inġib l-adapter WiFi tal-laptop tiegħi bbażat fuq CardBus jaħdem u kont qed nagħmel it-twieqi tad-desktop tiegħi jieħdu n-nar b’Compiz! Dak il-mudell ta’ skoperta permezz tal-kodiċi kompla matul l-iskola sekondarja u lil hinn, u wassal għall-interess tiegħi fl-inġinerija llum.

Fl-aħħar impjieg tiegħi, kont mort minn rwol backend għal pożizzjoni full-stack, biss biex sibt li ma kontx inħobb ix-xogħol frontend u d-disinn tal-UX. Ridt nerġa’ mmur għal rwol eqreb lejn is-sistemi backend u kont nimmissja l-interazzjoni mal-ambjenti Linux li kont ħadt gost bihom fl-akkademja. OpenAI offriet il-bidla fix-xogħol li kont qed infittex u aktar; diffiċli ħafna ssib post aħjar għal dak li kont qed infittex milli taħdem fuq il-clusters tas-supercomputing ta’ OpenAI.

Il-workflows esploratorji tal-AI huma min-natura tagħhom mgħaġġla; ir-riċerkaturi jridu jkunu jistgħu jieħdu preprint minn fuq arXiv u jittestjaw approċċi ġodda mingħajr ma jkunu mfixkla mill-pjattaforma li fuqha qed iniedu l-kodiċi tagħhom. Huma wkoll kumplessi ħafna, bir-riċerkaturi jaġixxu ħafna bħall-matematiċi—jiddependu fuq l-intuwizzjoni li bnew matul il-karrieri tagħhom biex ifasslu soluzzjoni għall-problema li tkun ġibditilhom għajnejhom dik il-ġimgħa. Il-fatt li dawn ir-runtimes qed jitħaddmu fuq uħud mill-akbar supercomputers fid-dinja jżid saff ieħor ta’ kumplessità, u l-immaniġġjar ta’ dak is-saff ta’ qabel tal-aħħar huwa fejn jidħol it-tim tiegħi. Naħdmu biex nantiċipaw il-ħtiġijiet tar-riċerka qabel ma jimblukkaw il-progress u, jekk dan ma jirnexxix, naħdmu mat-timijiet tar-riċerka biex nidentifikaw bottlenecks u nimplimentaw workarounds malajr kemm jista’ jkun.

L-iskala enormi li naħdmu fuqha hija, franchement, tal-għaġeb. Fornituri ta’ hardware ta’ partijiet terzi regolarment jafdawna li qed niltaqgħu ma’ kwistjonijiet li qatt ma raw qabel. Ħafna drabi dan jiġri sempliċement għax l-installazzjonijiet tagħna għandhom aktar hardware imdaħħal f’supercomputer wieħed kontigwu milli għandhom il-klijenti l-oħra tagħhom, għalkemm xi kultant hija konsegwenza tal-aspettattivi tagħna dwar il-prestazzjoni. In-natura sinkronizzata tal-biċċa l-kbira tal-approċċi għat-taħriġ tal-mudell tirriżulta f’konfigurazzjoni fejn il-cluster kollu effettivament jaħdem bil-veloċità tal-aktar nodu bil-mod.

L-aktar mudelli prominenti tagħna jitħarrġu fuq supercomputers ta’ valur ta’ biljuni ta’ dollari, u b’riżultat ta’ dan nispiċċaw insegwu degradazzjonijiet fil-prestazzjoni li ħafna oħrajn jinjoraw. Huwa eċċitanti tara xi ħaġa bħal bidla ta’ linja waħda tidħol fil-mainline kernel, taf li se tiffranka madwar 6 ijiem ta’ compute fil-flotta tagħna kull ġimgħa, jew tara entrata f’release ġdid ta’ driver, taf li kienet waħda mis-sejbiet tagħna li wasslet għat-tiswija li issa daħlet upstream.

Ġraneti tiegħi ġeneralment jikkonsistu f’taħlita ta’ xogħol fuq il-kodiċi, investigazzjoni ta’ kwistjonijiet, u attendenza għal-laqgħat. Il-laqgħat jiddominaw it-Tlieta tiegħi (u normalment it-Tlieta biss, fortunatament), u l-bqija tal-ġimgħa tinqasam bejn debugging u coding. Il-kwistjonijiet identifikati ġeneralment isiru xogħol ta’ coding, eż. kitba ta’ design doc, push ta’ hotfix malajr lejn PR branch, jew żieda ta’ loġika passiva ta’ health check biex hardware li jġib ruħu ħażin jinżamm ’il barra mill-clusters tagħna.

Li tidħol fil-fond tal-kwistjonijiet jitlob ftit xogħol ta’ ditektiv. L-impatt fuq ir-riċerka jvarja mill-vag (“jidher li x-xogħol tiegħi qed jaħdem aktar bil-mod minn ilbieraħ”) għall-ispeċifiku b’mod tal-biża’ (“naħseb li jekk nibgħat aktar minn 30Gbps fuq l-Ethernet NIC, nikkawża kernel panic?”). X’aktarx din hi taħlita familjari: produttiva fil-ġranet li jgħaddu kif mistenni, u eċċitanti meta dak mistenni jitħarbat u tingħata ċ-ċans titgħallem xi ħaġa ġdida.

Rari nasal għax-xogħol mingħajr ma jkolli xi ħaġa urġenti f’moħħi li trid issir, u ġeneralment inkun naf lit-tim, il-proġett, u r-riċerkaturi speċifiċi li jibbenefikaw mit-tlestija fil-ħin ta’ kompitu. OpenAI huwa l-akbar impjegatur li qatt ħdimt miegħu u li jkolli apprezzament immedjat tal-impatt tax-xogħol tiegħi huwa kruċjali għall-motivazzjoni tiegħi ta’ kuljum. Nieħu gost ukoll niskopri d-dettalji żgħar tas-sistemi. OpenAI mhuwiex l-ewwel impjegatur li ħdimt fuqu fis-sistemi backend, iżda din hija l-ewwel darba li qed naħdem fl-ispazju tal-HPC.

It-teknoloġiji li naħdmu bihom spiss jeżistu purament minħabba tħassib dwar il-prestazzjoni speċifiku għal dan l-ispazju. Ma kontx kelli għalfejn ninkwieta dwar it-topoloġija fiżika tal-hardware tagħna ma’ impjegaturi preċedenti—li niżgura, pereżempju, li l-komunikazzjoni sseħħ fl-istess dominju NUMA, jew li GPU tuża apparat NVME jew InfiniBand ko-lokat permezz ta’ GPUDirect ta’ Nvidia, jew li proċessi tas-sistema jkunu pinned għal CPUs speċifiċi biex jiġu evitati kunflitti ta’ noisy neighbor mar-runtimes tar-riċerka. OpenAI toffri l-opportunità li tidħol fil-fond f’aspetti tal-kompjuters li jiġu injorati bnadi oħra, u dan iżommni interessat fil-kompitu quddiemi.

Xejn ma jispira daqs li tara lit-timijiet tar-riċerka tagħna jagħmlu progress fit-titjib tal-mudelli tagħhom. Ħafna gruppi jwaqqfu Slack bots jew playgrounds sempliċi fejn tista’ tinteraġixxi ma’ u tittestja mudelli li għadhom qed jiġu żviluppati, u b’hekk tkun tista’ tara l-mudelli jitjiebu hekk kif it-taħriġ ikompli!

Nuża wkoll is-Slackmoji popolari :meow_party: biex nimmarka kontenut motivanti jew ta’ ispirazzjoni mid-diversi kanali tagħna ta’ Slack. Minn meta ngħaqadt f’nofs l-2020, għandi aktar minn 400 post immarkat b’:meow_party:, b’medja ta’ kważi 4 fil-ġimgħa!