Discovering the minutiae of backend systems

Bhí an t-ádh orm ríomhchlárú a aimú agus mé óg, agus d’úsáid mé sin mar gheata chun topaicí eile a fhiosrú. Sa mheánscoil, chuir cara in aithne dom an blas den teanga ríomhchlárúcháin BASIC a bhí san áireamh le háireamháin Texas Instruments (agus bhí mo chód, mar a bheifí ag súil leis, dodhéanta le cothabháil mar gheall ar shrian 27 athróg aonlitreach in aghaidh an chláir agus spleáchas mór ar ráitis GOTO). Mar sin féin, chruthaíamar roinnt clár simplí, cosúil le cluichí eachtraíochta téacsbhunaithe, aip chomhrá d’áireamháin nasctha, agus an ghnáthchabhair don fhoirmle chearnach.

Níos déanaí, scríobh mé cláir níos casta: cúntóir amhairc chun modh Newton a léiriú agus áireamhán fithise chun suíomh na bpláinéad agus a ngealacha a mhe, rud a tharraing aird chlub Linux mo mheánscoile. Go gairid, bhí mé ag streachailt le NDISwrapper ag iarraidh cuibheoir WiFi CardBus mo ríomhaire glúine a chur ag obair agus fuinneoga mo dheisce a chur trí thine le Compiz! Lean an patrún sin d’aimsiú trí chód ar aghaidh ar fud na hardteistiméireachta agus ina dhiaidh sin, agus mar thoradh air sin tá suim agam san innealtóireacht inniu.

I mo phost deireidhidh deireanach, d’’aistráil mé ó ról backend go post lánach, ach fuair mé amach go tapa gur beag dúil a bhí agam in obair frontend agus i ndearadh UX. Bhí mé ag iarraidh filleadh ar ról níos gaire do chórais backend, agus chaill mé anghníomh le timpeallachtaí Linux a thaitin liom san ollscoil. Thairg OpenAI an t-athrú sa phost a bhí á lorg agam agus níos mó leis; bheadh sé deacair áit níos fearr a aimsiú don rud a bhí á lorg agam ná a bheith ag obair ar chnuasaigh shár-ríomhaireachta OpenAI.

Tá sreafa oibre taiscéalaíocha AI go bunúsach mearghasta; ba mhaith le taighdeoirí a bheith in ann réamhchló a thógáil de arXiv agus cur chuige nua a thástáil gan a bheith faoi mhííbhuntáiste ag an ardán a bhfuil a gcód á sheoladh air. Tá siad thar a bheith casta freisin, agus iompraíonn taighdeoirí iad féin go mór cosúil le matamaitoirí—ag brath ar an intuition a tógadh thar a ngairálacha chun réiteach a dhearadh chun an fhadhb a tharraing aird an tseachtain seo. Cuireann an fhíric go bhfuil na runtimes seo á rith ar chuid de na sár-ríomhairí is mó ar domhan sraith eile castachta leis fós, agus is é láimhseáil na sraithe leathdhéanaí sin an áit a mbíonn m’fhoireann páirteach. Oibrímid chun riachtanais ta taighde a chosc roimh ré sula gcuireann siad bac ar dhul chun cinn agus, mura n-éiríonn leis sin, oibrímid leis na foirne taighde scrogaill a aithint agus réitigh shealadacha a chur i bhfeidhm chomh tapa agus is féidir.

Tá an scála ina n-oibrímidann ar siúl, le fírinne, dochreidte. Go rialta, insíonn díoltóirí crua-earraí tríú páirtí dúinn go bhfuil muid ag teacht ar shaincheisteanna nach bhfaca siad cheana. Go minic níl sé seo ach toisc go bhfuil níos mó crua-earraí sáite isteach in aon sár-ríomhaire comhleanúnach amháin ná atá ag a gcliaint eile, cé gur iarmhairt ar ár n-ionchais feidhmíochta a bhíonn ann ó am go chéile. Mar thoradh ar nádúr sioncrónaithe i bhformhór na gcur chuige oiliúna samhla, bíonn cumraíocht ann ina ritheann an braisle iomlán go héifeach ar luas an nód is moille.

Cuirtear oiliúint ar ár samhlacha is suntasaí ar sh-ríomhairí billiún dollar, agus mar thoradh air sin, bímid ag tóir ar dhghráduithe feidhmíochta a dhéanfadh formhór daoine eile neamhaird díobh. Tá sé spreagúil rud éigin cosúil le hathrú aonlíne a bhualadh an príomhlíne eithne a fheiceáil, agus a fhios againn go sábhálfaidh sé ~6 lá de ríomh in aghaidh na seachtaine ar fud ár gcabhlaigh, nó mír líne a fheiceáil ar eisiúint tiománaí nua, agus a fhios againn gurbh é ceann dár bhfionnachtanaacha a d’fhág an ceart ceart a sruthlaithe anois.

Is gnách go mbíonn meascán éigin de bheith ag obair ar chód, ag fiosrú saincheiste, agus ag freastal ar chruinnithe i gceist le mo laethanta. Bíonn cruinnithe chun tosa ar mo Mháirt (agus de ghnáth ar an Máirt amháin, buíochas le Dia), agus roinntear an chuid eile den díomhaointeas idir dífhabhtú agus códú. Is gnách go mbíonn obair chóidúcháin mar thoradh ar na saincheisteanna a aithnítear, m.sh., doic deartha a scríobh, hotfix tapa a bhrú chuig brainse PR, nó loighic sheiceála sláinte éighníomhach a chur leis chun crua-earraí seachránach a choinneáil amach as ár gcálais.

Teastaíonn beagán obair bleachtaire chun na saincheisteanna a chíoradh. Téann tionchar na taighdechta ón doiléir (“is cosúil go bhfuil mo lá ag rith níos moille ná mar a bhí sé inné”) go dtí an scanrúla sainiúla (“sílim má bhrúim níos mó ná 30Gbps thar an Ethernet NIC, go mbím ina chúis le kernel panic?”). Is dócha gur meascán coitianta é seo: táirgiúil ar laeth a théann mar a bhíothas ag súil leo, agus spreagúil nuair a chuirtear isteach ar an ionúil agus go bhfaigheann tú seans rud éigin nua a fhoghlaim.

Is annamh a thagaim isteach chun oibre gan rud éigin barr na intinne a theastaíonn a dhéanamh, agus de ghnáth bím ar an eolas faoin bhúir speisialta,, an tionscadal, agus na taighdeoirí a bhaineann tairbhe as tús tráthúil a chur i gcrích ar thasc. tá. Is é OpenAI an fostóir is mó ar oibrigh mé dó agus tá tuiscint láithreach ar thionchar mo chuid oibre ríthábhachtach do mo spreagadh ó lá go lá. Faighim cic freisin as mionghnéadú na gcóras. Ní hé OpenAI an chéad fhostóir ar onaigh mé córais backend dó, ach seo mo chéad uair ag obair sa spás HPC.

Is minic a bhíonn na teicneolaíochtaí a n-oibrímid leo ann mar gheall ar chúiseanna feideshme saincheaptha don spás seo. Ní raibh orm a bheith buartha faoin topology fhisiciúil ar ár gcrua-earraí ag fostóirí roimhe seo—ag cinntiú gur tharla cumarsáid laistigh den fhearann NUMA céanna, mar shampla, nó gur úsáid GPU gléas NVME nó InfiniBand comhshuite trí GPUDirect Nvidia, nó gur cuireadh próisis chórais ar CPU shonracha chun coinbhleachtaí comharsan torannacha le runtimes taighde a sheachaint. Cuireann OpenAI an deis ar fáil tumadh go domhain i ngnéithe na ríomhaireachtaachta a ndéantar neamhaird díobh in áiteanna eile, rud a choinníonn spéis agam sa tasc idir lámha.

Níl aon rud chomh spreagúil le féachaint ar fhooirne taighde agus forbartha ag déanamh dul chun cinn ar a sam atá ar a samhlacha. Bunaíonn go leor grúpaí bots Slack nó áiteanna súgartha simplí inar féidir leat idirghníomhú le samhlacha atá fós á bhforbairt agus iad a thástáil, rud a ligeann duit féachaint ar na samhlacha ag feabhsú de réir mar a leanann an oiliúint ar aghaidh!

Úsáidim an Slackmoji :meow_party: móréilimh freisin chun ábhar spreagúil nó spreagthach a chlibeáil ó na cainéil éagsúla Slack atá againn. Ó chuaigh mé linn i lár na 2010idí, tá níos mó ná 400 post clibeáilte :meow_party: agam, meán gar do 4 sa tseachtain!