Discovering the minutiae of backend systems

Waxaan nasiib u yeeshay inaan barnaamij-qorista barto anigoo yar, taasna waxaan uga dhigtay albaab aan ku sahmiyo mawduucyo kale. Dugsigii dhexe, saaxiib ayaa i baray nooca gaarka ah ee luqadda barnaamij-qorista ee BASIC ee ku jirtay xisaabiyeyaasha Texas Instruments (koodhkaygu si la saadaalin karo looma maamuli karin, maadaama barnaamijkiiba lagu xaddiday 27 doorsoome oo hal xaraf ah isla markaana si weyn loogu tiirsanaa weedhaha GOTO). Si kastaba ha ahaatee, waxaan samaynay barnaamijyo fudud sida ciyaaro tacabur oo qoraal ku salaysan, app wada-sheekaysi oo xisaabiyeyaasha isku xiran ah, iyo kaaliyaha caadiga ah ee qaaciddada quadratic-ka.

Markii dambe, waxaan qoray barnaamijyo ka sii adag: kaaliye muuqaal ah oo lagu muujiyo habka Newton iyo xisaabiye meerayaal si loo qiyaaso booska meerayaasha iyo dayaxyadooda, taas oo soo jiidatay naadiga Linux ee dugsigayga. Wax yar ka dib, waxaan la legdamayay NDISwrapper si aan u hawlgaliyo adabtarada WiFi-ga laptop-kayga ee ku dhisnayd CardBus, waxaana ololaynayay daaqadaha desktop-kayga anigoo adeegsanaya Compiz! Habkaas wax-ku-ogaanshaha ee koodhka ku maraya wuxuu socday intii lagu jiray dugsiga sare iyo wixii ka dambeeyay, taasoo keentay xiisahayga injineernimo ee maanta.

Shaqadaydii ugu dambaysay, waxaan ka soo wareegay door backend ah una wareegay jago full-stack ah, balse waxaan ogaaday inaanan jeclayn shaqada frontend-ka iyo naqshadaynta UX. Waxaan rabay inaan dib ugu laabto door u dhow nidaamyada backend-ka, waxaana ii xiisay isdhexgalka deegaannada Linux ee aan ku riyaaqi jiray xilligii tacliinta. OpenAI waxay ii siisay isbeddelkii shaqo ee aan raadinayay iyo wax ka badanba; way adkaan lahayd in la helo meel uga habboon waxa aan doonayay marka loo eego ka shaqaynta kutladaha supercomputing-ka ee OpenAI.

Hababka shaqo ee AI sahminta ahi si dabiici ah ayay u dheereeyaan; cilmi-baarayaashu waxay rabaan inay awoodaan inay preprint ka soo qaataan arXiv oo ay tijaabiyaan habab cusub iyagoon ku xannibmin madasha ay koodhkooda ku bilaabayaan. Sidoo kale aad bay u adag yihiin, iyadoo cilmi-baarayaashu u dhaqmaan si la mid ah xisaabyahannada—iyagoo ku tiirsan dareenka ay dhiseen intii ay xirfaddooda ku jireen si ay xal ugu naqshadeeyaan dhibaato kasta oo toddobaadkan indhahooda qabata. Xaqiiqda ah in runtimes-kan ay ku socdaan qaar ka mid ah supercomputers-ka ugu waaweyn dunida waxay sii kordhisaa lakab kale oo adag, kooxda aan ka tirsannahayna halkaas ayay ku lug yeelataa maaraynta lakabkaas ka horeeya kan ugu dambeeya. Waxaan ka shaqaynaa inaan sii odorosno baahiyaha cilmi-baarista ka hor inta aysan xannibin horumarka, haddii taasi suurtagal noqon waydana waxaan la shaqaynaa kooxaha cilmi-baarista si aan u aqoonsanno caqabadaha una hirgelinno xalal ku-meel-gaar ah sida ugu dhakhsaha badan.

Baaxadda weyn ee aan ku shaqayno runtii waa wax lala yaabo. Iibiyeyaasha qalabka ee dhinac saddexaad si joogto ah ayay noogu sheegaan in aan la kulmeyno arrimo aysan waligood horay u arag. Marar badan tani waxay si fudud u tahay sababta oo ah rakibaadkayagu waxa ku jira qalab ka badan inta macaamiishooda kale ay ku dhex ridaan hal supercomputer oo isku xiran, inkastoo mararka qaarkood ay ka dhalato filashooyinkayaga waxqabad. Dabeecadda iswaafajisan ee hababka tababarka nooc badankood waxay keentaa habayn kutlada oo dhan si wax ku ool ah ugu shaqeysa xawaaraha barta isku xidhka ugu gaabiska badan.

Noocyadayada ugu caansan waxaa lagu tababaraa supercomputers qiimahoodu gaarayo balaayiin doolar, taas awgeedna waxaan raadraacnaa hoos-u-dhacyo waxqabad oo dadka kale badankoodu iska indho tiri lahaayeen. Waa wax xiiso leh in la arko wax sida isbeddel hal sadar ah oo gaadhaya mainline kernel-ka, adigoo og inuu toddobaadkii ka badbaadin doono qiyaastii ~6 maalmood oo compute ah guud ahaan qalabkeenna, ama inaad aragto qodob ku jira sii-deyn darawal cusub, adigoo og inay ahayd mid ka mid ah ogaanshayaashayadii keentay sixitaanka hadda upstream-ga noqday.

Maalmahaygu guud ahaan waxay ka kooban yihiin isku dhaf ah ka shaqaynta koodh, baarista arrimo, iyo ka qaybgalka kulammo. Kulammadu waxay inta badan qabsadaan Talaadooyinkayga (badanaa Talaadooyinka oo keliya, mahadsanid), inta ka hartay toddobaadkana waxa loo qaybiyaa debugging iyo koodh-qoris. Arrimaha la garto guud ahaan waxay isu beddelaan shaqo koodh-qoris ah, tusaale ahaan qorista dukumenti naqshadeed, riixista hotfix degdeg ah laan PR ah, ama ku darista caqli passive health check ah si qalab khaldan looga fogeeyo kutladahayaga.

Qodista arrimahani waxay u baahan tahay xoogaa shaqo baariseed. Saamaynta cilmi-baaristu way kala duwan tahay laga bilaabo tan aan caddayn (“waxay ila muuqataa in shaqadaydu ka gaabis badan tahay sidii ay shalay ahayd”) ilaa tan si cabsi leh u gaar ah (“Waxaan u malaynayaa haddii aan ka riixo wax ka badan 30Gbps Ethernet NIC-ka, in aan keeno kernel panic?”). Tani waxay u badan tahay isku dhaf la yaqaan: wax-soo-saar leh maalmaha wax walba u socdaan sidii la filayay, oo xiiso leh marka wixii la filayay kala go'aan oo aad hesho fursad aad wax cusub ku barato.

Si dhif ah ayaan shaqada u imaadaa anigoon maskaxda ku hayn wax u baahan in la qabto, badanaana waan ogahay kooxda gaarka ah, mashruuca, iyo cilmi-baarayaasha ka faa'iidaysanaya dhammaystirka waqtigiisa ku habboon ee hawl. OpenAI waa shaqo-bixiyihii ugu weynaa ee aan u shaqeeyo, waxaana ii muhiim ah inaan si degdeg ah u fahmo saameynta shaqadaydu ku leedahay dhiirrigelintayda maalinlaha ah. Waxa kale oo aan ku raaxaystaa ogaanshaha faahfaahinta yaryar ee nidaamyada. OpenAI ma aha shaqo-bixiyihii ugu horreeyay ee aan uga shaqeeyo nidaamyada backend-ka, balse tani waa markii iigu horreysay ee aan ka shaqeeyo deegaanka HPC.

Tignoolajiyadaha aan la shaqayno badanaa waxay u jiraan si keliya sababo waxqabad oo gaar u ah deegaankan. Uma aanan baahnayn inaan ka walwalo topology-ga jireed ee qalabkeena shaqo-bixiyeyaashii hore—tusaale ahaan in la hubiyo in isgaarsiintu ka dhex dhacdo isla domain-ka NUMA, ama in GPU uu adeegsado qalab NVME ama InfiniBand oo la meel dhigay isagoo maraya Nvidia GPUDirect, ama in habsocodyada nidaamka lagu xiro CPUs gaar ah si looga fogaado isku dhacyo noisy neighbor ah oo la xiriira runtimes-ka cilmi-baarista. OpenAI waxay bixisaa fursad lagu sii galo qoto dheer dhinacyo xisaabinta ka mid ah oo meelo kale la iska indho tiro, taas oo igu sii haysa xiisaha hawsha gacanta ku jirta.

Wax i dhiirrigeliya ma jiro sida daawashada kooxaheena cilmi-baarista oo horumar ka sameynaya hagaajinta noocyadooda. Kooxo badan waxay sameeyaan Slack bots ama meelo tijaabo oo fudud oo aad kula falgeli karto kuna tijaabin karto noocyo weli la horumarinayo, taasoo kuu oggolaanaysa inaad aragto noocyadu sida ay u sii fiicnaanayaan inta tababarku socdo!

Waxaan sidoo kale isticmaalaa Slackmoji-ga caanka ah ee :meow_party: si aan ugu calaamadiyo waxyaabaha dhiirrigelinta leh ama niyadda kiciya ee kanaalladayada kala duwan ee Slack. Tan iyo markii aan ku biiray bartamihii 2020, waxaan hayaa in ka badan 400 qoraal oo leh calaamadda :meow_party:, celcelis ahaanna ku dhow 4 toddobaadkii!