Kaydinta onlaynka oo loo ballaadhinayo 1 bilyan ka badan oo isticmaale ChatGPT ah (Qaybta II)

Dhammaan badeecadaha OpenAI waxay u baahan yihiin helitaan xogeed oo degdeg ah oo la isku hallayn karo, kaasoo ay bixiso madashayada kaydinta ee Habitat. Waa inay millisekanno gudahood ugu jawaabtaa in ka badan 1 bilyan oo isticmaale oo ku kala sugan 40 gobol juqraafiyeed. Kaabayaashayadu waxay wajaheen caqabad aan caadi ahayn: taageeridda korodh aad u xawli badan iyo isticmaallo cusub, iyadoo la sii hagaajinayo isku hallaynta, waxqabadka iyo xawaaraha horumariyayaasha badeecadaha. Xallinta caqabaddaasi waxay u baahatay in dib looga fikiro sida madashayada kaydinta onlaynka ah loo naqshadeeyey loona hawlgeliyey. Waxaan si joogto ah u qiimaynaynay waxa la kala dooranayo, annagoo raacayna taxanahan: marka hore in la helo isku hallayn ku filan codsiyada badeecadaha lama huraanka ah, ka dib xawaare ku filan isticmaalayaasha caalamka, ugu dambaynna hawlgal hufan oo baaxad aad u weyn leh.

Taxanahan labada qaybood ahi wuxuu sharxayaa sida aan Habitat uga soo horumarinay maktabad fudud oo barnaamijka macmiilka ah iyo kayd xogeed, una gaadhsiinnay madal kaydineed oo dunida ku baahsan oo bixisa in ka badan 500 petabyte oo xog ah. Qaybta I waxay diiradda saartay sida Habitat uga soo baxay barnaamij macmiil oo Python ah una noqday adeeg. Waxay sidoo kale ka hadashay farsamooyinka noo suurageliyey inaan adeeg ku dhisan Python gaadhsiinno heer aad uga sarreeya waxa dad badani u arki lahaayeen mid suurtagal ah.

Maqaalkan, Qaybta II, waxaan ku sharxaynaa sida aan u ballaadhinnay qaybta kaydinta ee saldhigga u ah: Azure Cosmos DB. Wada-shaqayn dhow oo aan la yeelannay kooxda Azure ayaa nagu horseedday hab hirgeli kara oo adeeg-qaatayaal badani ku wadaagaan weelal si wadajir ah loo maamulo, kaasoo leh waxqabad akhris oo heer sare ah, baaxad weyn oo caalami ahna ku shaqeeya.

Marka shirkaduhu ballaadhaan, kooxaha kaabayaashu badanaa waxay ka gudbaan maamulidda nidaamyo hal adeeg-qaate leh una gudbaan kuwa adeeg-qaatayaasha badan leh. Habka hal adeeg-qaate, oo koox kasta oo qayb badeecadeed ahi maamusho nidaamkeeda, wuxuu koobaa baaxadda saamaynta cilladaha, wuxuuna fududeeyaa kala-caddaynta xuduudaha lahaanshaha iyo kala-soocidda hawlaha. Marka kooxaha iyo qaybaha badeecaduhu bataan, hawlgelinta habkani way qaaliyowdaa. Habka hal adeeg-qaate wuxuu koox kasta oo badeecadeed ka dhigaa mid masuul ka ah qorshaynta awoodda, wuxuuna badanaa keenaa in awood aad uga badan baahida la diyaariyo.

Dhanka kale, habka adeeg-qaatayaasha badan wuxuu maamulka u xilsaaraa koox dhexe oo kaydka xogta ah, oo aqoon iyo waayo-aragnimo dheeraad ah u leh diyaarinta khayraadka. Laakiin habka adeeg-qaatayaasha badani wuxuu leeyahay dhibaatooyin u gaar ah, sida dariska culayska badan, oo hal adeeg-qaate isticmaalo qayb aan caadi ahayn oo khayraadka ah, taasoo waxyeellaysa kuwa kale.

Habitat dhexdiisa, waxaan ku khasbanaannay inaan miisaanno dhammaan doorashooyinkan si aan u naqshadayno nidaam kaydineed oo la isku hallayn karo, hufan, baaxad weynna leh. Maanta Habitat waa lakab kayd xogeed oo adeeg-qaatayaal badan leh oo u shaqeeya badeecado badan oo OpenAI ah. Hase yeeshee, waxaan soo marnay safar wareeg ah: hal weel Azure Cosmos DB ah oo la wadaago, ka dib weelal hoose oo mid kasta hal adeeg-qaate u gaar yahay, dabadeedna dib ugu noqoshada in weel la wadaago uu noqdo doorashada caadiga ah. Weli waxaan ku jirnaa bilowga sheekada habka adeeg-qaatayaasha badan ee Habitat: waxaan taageernaa isticmaallo badan, balse waxaan dib u dhigi karnay maalgelinta arrintan annagoo intii suurtagal ah ka faa'iidaysanayna awoodaha aasaasiga ah ee Azure Cosmos DB ku dhex dhisan.

Inta aynaan ka hadlin safarkayaga Azure Cosmos DB, halkan waxaa ku yaalla xog aasaasi ah:

• Koontada Azure Cosmos DB waxay qeexdaa koox weelal ah iyo siyaasad nuqulin

• Weel kasta waxaa loo diyaariyaa awood shaqo oo cayiman, laguna cabbiro halbeegyada codsiga ilbidhiqsigiiba (RU/s)

• Xogta weel kasta ku jirta waxaa loo kaydiyaa habka caadiga ah ee xogta loogu kala qaybiyo fure qayb macquul ah oo la cayimay, iyadoo fure kastaa leeyahay xuduudo la diiwaangeliyey oo kaydinta iyo awoodda shaqada ah

• Azure Cosmos DB ayaa furayaasha qaybaha macquulka ah ku kala qaybiya tiro ka yar oo qaybo jireed ah oo saldhig u ah. Kuwaas ayuu u sii kala qaybiyaa qaybo jireed oo badan marka kaydintu dhaafto xad cayiman ama weelku u baahdo qaybo jireed oo dheeraad ah si uu u joogteeyo awoodda shaqada ee loo diyaariyey

Bilowgii waxaan oggolaannay culays kasta oo macmiil ka yimaadda, annagoo ku tiirsanayn xadka la sheegay ee 10K RU/s ee fure kasta oo qayb macquul ah si uu u celiyo culayska xad-dhaafka ah. Markii aan bilownay, sidoo kale koonto kasta waxaan ku adeegsanaynay hal weel oo caadi ah oo Azure Cosmos DB ah. Tani si ku filan ayay u shaqaysay, balse waxay dhibaato noqotay sababo dhowr ah awgood:

Doorashooyinkii hore ee API-ga awgood, waxaan macaamiisha si toos ah ugu furnay xulashada furaha qaybta macquulka ah. Sidaas darteed, isticmaallada badeecadaha kala duwan ayaa marar badan isku beegma furayaasha qaybaha ee caanka ah, sida user_id ama workspace_id. Maadaama isticmaalladani wadaageen xuduudaha Azure Cosmos DB ee isla furayaasha qaybaha macquulka ah, naqshaddu waxay xaddiday wadarta awoodda shaqada ee isticmaale kasta.

Dhibaato caadi ah oo aan la kulannay markii aan ballaadhinaynay Postgres, ka hor intii aan u guurin Habitat iyo Azure Cosmos DB, waxay ahayd in codsiyo badan oo ka yimaadda urur ama fure aad loo isticmaalo—hal adeeg-qaate oo dhalinaya culays sare oo aan isu dheellitirnayn—ay joojin karaan kaydka xogta oo dhan. Dadaal badan oo wadajir ah ayaa lagu bixiyey in furayaashaas lagu kaydiyo kayd ku-meelgaar ah, laguna daro rukhsado ku-meelgaar ah marka xogta laga waayo kaydkaas, si culayska ka dhashaa aanu u hafin kaydka xogta ee hoose.

Inkasta oo xuduudaha la diiwaangeliyey ee baaxadda xogta iyo awoodda shaqadu khuseeyaan furayaasha qaybaha macquulka ah, haddana qaybta jireed ayaa ah halka dhab ahaan xuduudaha lagu dhaqan geliyo. Taas macnaheedu waa in qaybaha macquulka ahi aanay dhab ahaan gaadhi karin 10,000 RU/s. Taas beddelkeeda, xuduudaha qaybta jireed waxay la wadaagaan furayaasha dhammaan qaybaha kale ee macquulka ah ee isla qaybtaas jireed yaalla.

Tani waxay u saamaxday dariska culayska badan inuu saameeyo furayaal badan oo qaybo macquul ah oo aan isku xidhnayn. Hawlo ka shaqaynaya xogta sifooyin badeecadeed oo si kooban loo isticmaalo ayaa carqaladaynayey hababka aasaasiga ah ee soo-gelidda iyo isdiiwaangelinta.

Xadka awoodda shaqada ee qayb jireed sidoo kale wuu isbeddelaa, wuxuuna ku xidhan yahay wadarta awoodda shaqada ee loo qoondeeyey weelka Azure Cosmos DB. Awoodda shaqada ee loo diyaariyey weelka waxaa si ku dhow siman loogu qaybiyaa qaybihiisa jireed.

Marka xogtu badato, qaybaha jireed way kala qaybsamaan, tiradooduna way korodhaa, halka wadarta awoodda shaqada ee la diyaariyey aanay isbeddelin. Natiijadu waa in xadka dhabta ah ee awoodda shaqada qayb kastaa uu yaraado marka baaxadda xogtu korodho.

Isticmaalladayada kaydinta ugu badan u baahan, ee u eg kaydinta xogta blob-ka, tani waxay abuurtaa xaalad cilladeed oo korodhka kaydinta oo keliya uu yareeyo awoodda shaqada ee hawlaha socda, xitaa iyadoo heerarka codsiyada iyo isticmaalku deggan yihiin.

Weelasha kala goonida ahi waxay qayb ahaan xalliyaan xuduudaha furayaasha qaybaha iyo dhibaatada dariska culayska badan. Marka weelal kala gooni ah la adeegsado, mid kasta waxaa loo qoondeyn karaa qaybo jireed oo u gaar ah. Markaas hawlaha kala duwan ee isla weelka ku jira oo keliya ayaa isu noqon kara daris culays badan ama isku beegmi kara marka ay adeegsadaan furayaasha qaybaha. Dhanka kale, diyaarinta weelal cusub waxay leedahay hawl iyo kharash dheeraad ah—mid kastaa wuxuu u baahan yahay qorshayn awoodeed oo u gaar ah—sidaas darteed, waxaan rabnaa inaan weel samayno oo keliya marka kala-soocidda adeeg ama adeegsi ay macno leedahay.

Waxaan bilownay inaan weelal Azure Cosmos DB oo kala gooni ah u adeegsanno isticmaallada cusub ee ugu muhiimsan ee u baahan kala-soocid adag. Waxaan taas ku darnay barnaamij yar oo maamula qaybaha awoodda yar, kaasoo isu waafajiya wadarta awoodda shaqada ee weel kasta loo diyaariyey iyo tirada qaybihiisa jireed. Sidaas ayaan inta badan uga baaqsannay dhammaan dhibaatooyinkii na haystay.

Hase yeeshee, maadaama aan ku bilownay weelkii caadiga ahaa, nasiib darro isticmaallo badan oo hore oo muhiim ahaa ayaa halkaas ku xayirnaa ilaa xogtooda la raro. Si aan u ilaalinno adeegyada muhiimka ah ee weli ku tiirsanaa xogta ku jirta weelka caadiga ah ee la wadaago, waxaan kooxaha badanaa kula talin jirnay inay weelal gaar ah u sameeyaan adeegyada cusub ama sifooyinka waaweyn ee badeecadaha. Markii aan sii ballaadhannay, culayska weelka caadiga ah iyo dhacdooyinka cilladaha adeegga shaqaynaya labaduba way kordheen. Waxaan bilownay inaan weel u diyaarinno adeeg kasta oo cusub ama sifo kasta oo weyn oo badeecadeed, keliya si aan weelka caadiga ah uga ilaalinno culays dheeraad ah.

Tani waxay naga badbaadisay hakadyo badan oo goobta oo dhan saamayn lahaa, waxayna saamaynta ku koobtay hoos-u-dhaca shaqaynta sifo ama adeeg gaar ah. Hase yeeshee, hawsha dheeraadka ah ee diyaarinta weelasha cusub ayaa ugu dambayn culays nagu noqotay:

Weelkii hore ee caadiga ahaa ee la wadaagi jiray, adeegsi cusub oo ka kora 0 QPS ilaa 1 milyan QPS uma badnayn inuu si weyn u beddelo wadarta guud ee isticmaalka. Laakiin weel gooni ah, adeegsi cusub oo ka kora 0 ilaa 1 milyan QPS wuxuu noqon karaa culays 1,000-laab ka badan heerkii bilowga ahaa ee ka imanayey tijaabinta shaqaalaha gudaha oo keliya.

Weelasha gaar loo qoondeeyey awgood, kooxuhu hadda waxay u baahnaayeen inay xusuustaan inay weelasha hore ugu diyaariyaan heerka awoodda shaqada ee la filayo marka la daahfurayo. Kooxaha badeecaduhu badanaa sifooyinkooda ayay hawlgelin jireen iyagoo illoobaya inay awoodda hore u kordhiyaan. Maalinta daahfurka ayaannu markaas qolalka maaraynta dhacdooyinka culus ee SEV isku dayi jirnay inaan weelasha ballaadhinno daqiiqadda ugu dambaysa.

Isku-darka hawlahu waa faa'iido aasaasi ah oo nidaamyada adeeg-qaatayaasha badan leh, taasoo aan ku weyno istaraatijiyaddan weelasha si aan u helno kala-soocid ka fiican.

Muddo ka dib, la-socodka isticmaalka weelasha gaarka ahi wuxuu sidoo kale u baahday aqoon qoto dheer oo badeecadda ah, si loo ogaado goorta culayska codsiyadu isbeddeli doono ama kori doono.

Waxaan bixin karnaa barnaamij yar oo aasaasi ah oo lakabka maamulidda ah, kaasoo kordhiya awoodda shaqada ee weel kasta loo diyaariyey iyadoo lagu salaynayo jihada korodhka. Laakiin la'aanta korodh guud oo deggan awgeed, ballaadhintooda saxda ahi waxay keentay in ku dhowaad koox kasta oo badeecadeed oo OpenAI ah ay ka qayb gasho qorshaynta awoodda.

Habkani lama jaanqaadi karin ballaadhinta hay'adda, waayo aad bay u kala duwanaayeen heerarka taxaddarka ay kooxaha masuulka ka ah adeeg kastaa geliyaan diyaarinta awooddooda Azure Cosmos DB.

Markii hay'addu kortay, dhibaatooyinkaas hawlgalku waxay adkeeyeen ballaadhinta. Maqnaanshaha hal koox oo dhexe oo qorshaynta qaabilsan ayaa keenay in kooxo badani si liidata wax u qorsheeyaan. Sidaas darteed, waxaan dib ugu laabannay xal ay adeeg-qaatayaal badani wadaagaan, waxaanan si dhow ula shaqaynay kooxda Azure si aan dhibaatooyinkii hore ugu xallinno naqshad wadaag ah:

In marka hore la xaddido furayaasha ugu isticmaalka badan waxay ka hortagtaa in dariska culayska badani isticmaalo dhammaan awoodda shaqada ee qayb jireed. Tani waxay yaraysaa saamaynta dariskaas, oo hal fure oo culays badan leh uu saamayn karo goobta oo dhan.

Sidoo kale, QoS-ta codsiyada u kala saarta heerar waxay ka hortagtaa in hawlaha aan tooska ahayn, sida gelinta xog badan ama soo-saaridda xogtu, isticmaalaan dhammaan awoodda shaqada ee qayb jireed. Marka codsiyada hawlahaas la siiyo mudnaan hoose, iyaga ayaa marka hore la xaddidaa. Sidaas ayaa looga hortagaa xaddididda codsiyada isdhexgalka ee mudnaanta sare leh ee u adeegaya isticmaalayaasha.

Azure Cosmos DB hore ayuu u lahaa hab aan u baahnayn maaraynta seerfarka oo xallin lahaa dhibaatadayada qaybaha awoodda yar ee ku jirtay habka awoodda horay loo diyaariyo. Hase yeeshee, wuxuu lahaa daciifnimo weyn: wuxuu ku ballaadhanayey isticmaalka kaydinta oo keliya, wuxuuna qayb kasta oo jireed ku xaddidayey isticmaal RU oo ah 5K RU/s. Tani waxay xallin lahayd dhibaatada qaybaha awoodda yar, balse waxay naga hor istaagi lahayd ballaadhinta isticmaallada RU badan u baahan.

Kooxda Azure Cosmos DB waxay noo dhistay hab cusub oo la hagaajiyey oo aan u baahnayn maaraynta seerfarka. Wuxuu qayb kasta oo jireed u oggolaaday inay gaadho 10K RU/s, wuxuuna ku daray kala-qaybin ku salaysan isticmaalka RU, marka lagu daro tii ku salaysnayd kaydinta. Sidaas ayaan ku joojinnay la-socodka iyo ballaadhinta weelasha ee gacanta lagu samayn jiray.

Isbeddelladan ayaa noo saamaxay inaan ku noqono hal weel oo la wadaago. Tani waxay si weyn u fududaysay qorshayntii awoodda ee kooxaha badeecadaha looga baahnaa bilowga iyo inta lagu jiro hawlgalka, iyadoo weli la ilaalinayo kala-soocidda hawlaha. Bilihii ka dambeeyey wax dhacdo ah oo la xidhiidha diyaarinta awoodda ama dariska culayska badan maanaan la kulmin, inkasta oo horumarinta badeecaduhu sii dedejaysay.

Marka shirkaduhu gaadhaan baaxadda OpenAI, adeegyada la maamulo waxay noqdaan kuwo aan si buuxda cid kale “u maamulin.” Hawlo badan ayaa noqda kuwo ka baxsan waxa caadiga u ah kaabayaasha bixiyaha daruurta. Markii OpenAI noqotay mid ka mid ah isticmaalayaasha ugu waaweyn ee Azure Cosmos DB, hawlgelintiisa guusha leh waxay u baahatay hab ka duwan: tijaabooyin la wadaago, looxyo la-socod oo la wadaago, marinno injineernimo oo toos ah, iyo masuuliyad wadajir ah oo ku saabsan noocyada cilladaha ee ka soo baxa oo keliya baaxaddayada. Maanta, koontadayada ugu weyn ee Azure Cosmos DB waxay kaydisaa tobannaan petabyte oo xog ah, waxayna fulisaa in ka badan 20M QPS. Inta aan ognahay, waxaan nahay shirkadda keliya ee Azure Cosmos DB ku hawlgelisay baaxaddan.

Dabayaaqadii 2024, hakad gobol ka dhacay ayaa caddeeyey sababta wada-shaqayntani lama huraanka u ahayd. Waqtigaas, koronto ayaa ka go'day gobolka koowaad ee Azure ee mid ka mid ah koontooyinkayaga ugu waaweyn ee Azure Cosmos DB. Intii lagu jiray u wareejintii gobolka beddelka ah ee ka dhalatay, waxaan ogaanay in koontooyinkayaga ugu waaweyn ay dhowr saacadood ku qaadanayso inay u wareegaan gobolka labaad, wax aan kooxdayada iyo kooxda Azure Cosmos DB midkoodna ku tijaabin baaxaddayada.

Qiyaastii bil ka dib, annagoo akoonnadaas dib ugu celinayna gobolkoodii hore, waxaan sababnay hakad kale oo halis ah. Xidhiidhyo mar keliya ku soo qulqulay gobolkii hore ayaa hafiyey albaabkii isku-xidhka Azure Cosmos DB ee gobolkaas. Hab-dhaqan aan caadi ahayn oo ku jiray sida barnaamijka macmiilka Azure Cosmos DB ee habka albaabka isku-xidhku u maareeyo wareejinta beddelka ah ayaa sababay in dhammaan macaamiishu isla markiiba xidhiidh samaystaan oo codsiyo u diraan gobolkii hore, inkasta oo qayb ka mid ah qaybaha jireed oo keliya ay halkaas ku noqdeen.

Hakad kasta, OpenAI iyo Azure labaduba waxay raaceen habraacyadooda maaraynta dhacdooyinka, waxaana la ogaaday sababo asal ah oo dhowr ah, lana hirgeliyey sixitaanno. Laakiin hakadyadani waxay astaan u ahaayeen dhibaato nidaamsan oo ka weyn, taasoo ku saabsan sida kooxdayada iyo kooxda Azure Cosmos DB u hawlgalaan una tijaabiyaan. Bilowgii, ka faa'iidaysiga adeegyada la maamulo wuxuu noo saamaxay inaan dhaqso u soconno oo aan diiradda saarno yoolalka ganacsiga. Marka baaxaddu weynaato, adeegyada la maamulo kuma filna maamulkii caadiga ahaa; waxay u baahan yihiin iskaashi qoto dheer oo lala yeesho adeeg-bixiyaha heer kasta, laga bilaabo naqshadda ilaa hawlgalka.

Maanta, kooxaha injineernimada ee Habitat iyo Azure waxay si wadajir ah ula socdaan lakab kasta oo Habitat ah, laga bilaabo lakabyada adeeggayaga ilaa lakabyada kaydinta jireed ee Azure Cosmos DB. Waxaan isbeddellada ku hawlgelinnaa oo ku tijaabinnaa koonto Azure Cosmos DB ah oo la baaxad ah tan adeegga dhabta ah, balse aan adeeggaas bixin. Waxaan si wadajir ah u tijaabinnaa oo u hagaajinnaa SDK-yada, waxaana go'aaminnaa hababka ugu fiican ee ballaadhinta iyo qiyaasidda awoodda koontooyinkayaga Azure Cosmos DB. Kooxahayada injineernimadu si toos ah ayay isugula xidhiidhi karaan iyagoo adeegsanaya Teams, waxaanan xataa samaynay habab aan si toos ah isugu diri karno digniinaha degdegga ah annagoo aan marin heerarka taageerada.

Sannadkii la soo dhaafay waxaa la qabtay shaqo badan oo wadajir ah si loo kordhiyo awoodda ballaadhinta lakabka maamulidda iyo albaabka isku-xidhka ee Azure Cosmos DB. Waxaa lagu daray ilaalin culayska ka hortagta iyo kaydin ku-meelgaar ah oo xogta sharraxaadda kala duwan ee Azure Cosmos DB ah oo lagu sameeyo albaabka isku-xidhka, si loo ilaaliyo qaybta xogtaas. Waxa kale oo la dhimay culayska ka yimaadda habraacyadayada badan ee Python habitat-service, iyadoo la adeegsaday kayd xidhiidhyo la wadaago iyo dib-u-isticmaal ka sarreeya oo xidhiidhyada ah, hawlaha la isla meel dhigay markii ay suurtagal tahay, hawlaha muhiimka ahna laga soocay kuwa aan tooska ahayn iyadoo la adeegsanayo VPC-yo kala duwan.

Heerkan wadajirka injineernimada ahi wuxuu laf-dhabar u ahaa xasilloonida Azure Cosmos DB-gayaga sannadkii la soo dhaafay. Nidaam kasta oo baaxad ama muhiimad ku filan leh wuxuu u baahan yahay wada-shaqayn noocan ah: in la dumiyo derbiyada lahaanshaha, laguna shaqeeyo xuduudaha hay’adaha dhexdooda.

Sida lagu xusay Qaybta I, mabda’ayaga aasaasiga ahi waa: ka dhig mid shaqeeya, ka dhig mid degdeg ah, ka dhig mid kharashkiisu yar yahay. Marka hore isku hallaynta, ka dib waxqabadka, dabadeed hufnaanta. Habitat wuxuu noqday kaabayaal lama huraan u ah OpenAI, sidaas darteed mudnaanta koowaad waxay ahayd in laga dhigo mid la isku hallayn karo. Markii nidaamku xasilloonni yeeshay sannadkii 2025, OpenAI-na caalamka ku fiday, waqtiga jawaabtu wuxuu noqday caqabadda xigta ee isticmaalayaasha iyo kooxaha badeecadaha.

Awoodda xisaabinta iyo ta kaydintu badanaa waxay ku kala yaalleen gobollo kala duwan, taasoo codsiyada gobollada isaga gudba ka dhigtay kuwo aan laga maarmi karin.

Waqtiga jawaabtu aad buu u kala duwanaa iyadoo ku xidhan meesha xogtu ku kaydsan tahay iyo halka codsiga laga fuliyo. Si codsiyada Habitat u degdegaan, horumariyayaasha badeecaduhu waxay ku tiirsanaayeen kaydin ku-meelgaar ah oo dheeraad ah oo dhinaca macmiilka ah, isku-ururinta codsiyada, yaraynta akhriska iyo qorista kaydka xogta, iyo ka saaridda hawlaha jidka fulinta ee muhiimka ah mar kasta oo ay suurtagal tahay. Inkasta oo tani keentay naqshado badeecadeed oo xiiso leh oo si ka wanaagsan ugu adkaysta dhibaatooyinka kaydka xogta, haddana waxay badeecadaha ka dhigtay kuwo ka murugsan, waxayna gaabisay hagaajintooda joogtada ah. Sidaas ayaa lagu gaadhi waayey yoolkii Habitat ee ahaa in badeecadaha si dhakhso ah loo horumariyo iyada oo aan loo baahnayn in la fahmo kaydka xogta.

Arrintan ayaan xoogga saarnay 2026, waxaanan samaynay istaraatijiyad heerar kala duwan leh oo lagu hagaajinayo waxqabadka akhriska, kaasoo ka badan 90% codsiyada Habitat:

Waxaan gobollo kala duwan oo Azure ah oo dunida ku yaalla ku leenahay koontooyin Azure Cosmos DB ah oo loogu talagalay isticmaalayaasha leh shuruudaha hoyga xogta. Xataa isticmaalayaasha aan lahayn shuruudo adag oo hoyga xogta ah, in xogta loo soo dhoweeyo waxay hagaajisaa waayo-aragnimadooda iyadoo yaraynaysa waqtiga jawaabta.

Dhab ahaan, si ballaadhan tan uma samayn karno marka laga reebo xaaladaha hoyga xogta, waayo meelaynta waxaa xaddidaya awoodda jireed ee kaabayaasha daruurta. Baaxadda xogtayada awgeed, gobollo badan ma qaadi karaan kaydinta baaxadda leh ee looga baahan yahay saamiga codsiyada isticmaalayaasha ee ku soo hagaaga.

Gobollada ay ku yar yihiin awoodda xarumaha xogta, korontada ama qaboojintu, mararka qaar waxaan wajahnaa kala doorasho toos ah: inaan awood u qoondeyno kaydin isla goobta ah oo soo gaabisa waqtiga jawaabta Habitat, ama inaan awooddaas u adeegsanno xisaabin dheeraad ah oo adeegga lagu bixiyo, codsiyada kaydintana meel ka fog u dirno.

Sidaas darteed, go'aannada meelayntu badanaa waxay badeecadda uga baahan yihiin isu-dheellitiridda: A) hagaajinta waqtiga jawaabta ee badeecado iyo kooxo isticmaalayaal kala duwan, iyo B) awoodda kaydinta iyo xisaabinta ee la hayo.

Hawlaha uu waqtiga jawaabtu ugu muhiimsan yahay, sida xogta sharraxaadda xaqiijinta aqoonsiga ee codsi kasta u baahan yahay, waxaan yaraynaa waqtiga tagista iyo soo-noqoshada (RTT) ee u dhexeeya xisaabinta iyo Habitat annagoo adeegsanayna koontooyin Azure Cosmos DB ah oo nuqullo badan ku leh gobollo labaad oo fara badan. Koontooyinka qaarkood xogtooda waxaa lagu nuquliyaa dhammaan 40-ka gobol ee Azure ee aan adeegga ka bixinno; kuwa kalena ugu yaraan hal gobol oo qaarad kasta ah.

Waxaan ku khasbanaannay inaan Habitat ku dhisno lakab dhaqaajiya oo jiheeya xogta, iyada oo aan isticmaaluhu dareemin, xilli ka horreeya intii aan rabnay, si aan xog-ururinta ugu kala wareejin karno akoonnada leh qaabab nuqulin oo kala duwan.

Hase yeeshee, habkan laftiisa waxaa ugu dambayn xaddidaya awoodda la hayo, sidaas darteed wuxuu ku kooban yahay xog-ururin yar oo si gaar ah loo xushay.

Hawlaha Habitat intooda aadka u badan waa akhris, iyadoo barnaamijyadu si joogto ah u soo qaadaan dejinta, xaalad iyo sifooyin kale. Qayb aad u weyn oo codsiyada ahi waxay ku saabsan tahay ururin yar oo noocyo xogeed ah oo inta badan la isticmaalo. Tani waxay nidaamka si gaar ah ugu habboonaysaa kaydin ku-meelgaar ah oo qaybsan. Kaydinta ku-meelgaarka ahi waxay hagaajisaa waxqabadka kaabayaasha hal gobol ah, balse faa'iidadaasi way sii badanaysaa marka gobollo badan laga shaqaynayo, halkaas oo lagu “qarin” karo waqtiga jawaabta ee u dhexeeya gobollada.

Waxaan Habitat ku dhex darnay lakab kaydin ku-meelgaar ah oo qaybsan, kaasoo xogta marka hore laga raadiyo ka hor kaydka asalka ah. Wuxuu nuqul ka mid ah walxaha iyo xidhiidhada dhowaan la helay ku kaydiyaa seerfarro Valkey ah oo kaabayaashayada ku yaalla, una dhow halka codsiyada isticmaalayaasha lagu habeeyo. Caadi ahaan, kaydadkan ku-meelgaarka ahi waxay adeegsadaan muddada ansaxnimada (TTL), taasoo lagu dheellitiro heerka helitaanka xogta kaydsan iyo duugoobiddeeda. TTL-ga gaabani wuxuu yareeyaa duugoobidda, balse wuxuu dhimaa faa'iidada kaydinta ku-meelgaarka ah, waayo xogtu si dhakhso ah ayay uga dhacdaa kaydka, waxaana khasab ah in marar badan dib loo soo qaado. TTL-ga dheeri wuxuu kordhiyaa heerka helitaanka xogta kaydsan, balse wuxuu muddo dheer bixiyaa xog duugowday, taasoo keenta waayo-aragnimo isticmaale oo liidata iyo hab-dhaqan badeecadeed oo aan la saadaalin karin.

Hab kale waa in si cad loo buriyo ansaxnimada xogta ku-meelgaarka ah marka barnaamijku wax ku qorayo isla xogta asalka ah. Tani waxay si weyn u hagaajisaa cusaybka xogta ku-meelgaarka ah, balse way adkaan kartaa in si sax ah loo hirgeliyo. Waxa kale oo weli saameeya xaalado gaar ah, sida cillado qayb ahaan dhaca oo xog duugowday kaga taga kaydka ku-meelgaarka ah. Hawlgelinta gobollo badan waxay sii xoojisaa dhibaatooyinkan, sababo la xidhiidha shabakadaha gobollada isku xidha oo la isku hallayntoodu yar tahay iyo hawlaha kaydka ku-meelgaarka ah oo la tartamaya nuqulinta kaydinta asalka ah. Ku daridda TTL waxay xaddidaysaa muddada ugu badan ee xogtu duugoobnaan karto, balse weli waxaa taagan isla isu-dheellitirkii TTL ee kor lagu sheegay.

Waxaan qaadannay hab ka horumarsan oo lagu buriyo ansaxnimada xogta, annagoo raacayna nidaamyo ay ka mid yihiin TAO ee Meta. Kaydka ku-meelgaarka ah ee Habitat ku dhex dhisan wuxuu ku tiirsan yahay qabashada isbeddellada xogta (CDC), isagoo adeegsanaya qulqulka isbeddellada ee Azure Cosmos DB, si burinta ansaxnimada ilbidhiqsiyo gudahood dunida loogu faafiyo. Sidaas ayuu ku helaa heer sare oo helitaanka xogta kaydsan ah, iyadoo duugoobiddu yar tahay. Adeeg ku jira kaabayaashayada ayaa akhriya qulqulkan isbeddellada, wuxuuna buriyaa ansaxnimada xogta ku jirta kaydadka ku-meelgaarka ah ee maxalliga ah marka xogta asalka ah la cusboonaysiiyo. Marka xigta ee xogta la akhriyo, tani waxay keentaa in laga waayo kaydka ku-meelgaarka ah, dabadeedna kaydka lagu buuxiyo nuqulka ugu dambeeya ee xogta.

Waxaan sidoo kale si weyn u soo gaabinnay waqtiga jawaabta annagoo adeegga Habitat laftiisa ka saarnay culays dheeraad ah, koodhkana dib ugu qornay Rust, oo ka waxqabad fiican Python-kii hore.

Isbeddelladan oo wada jira ayaa p50-ka guud ee waqtiga akhriskeenna caalamka ka dhigay qiyaastii 10 ms halkii uu ka ahaa 120 ms, horumar 12-laab ah tan iyo markii aan waxqabadka xoogga saarnay horaantii sannadkan.

Inkasta oo kaydinta ku-meelgaarka ahi si weyn u yaraysay waqtiga jawaabta ee dhex-dhexaadka ah, codsiyada ugu gaabiska badan weli waxay u baahan yihiin in xog aan ku jirin kaydkaas laga soo qaado kaydinta asalka ah, badanaa gobollo fogfog. Marka awood dheeraad ah la hawlgeliyo oo aan hufnaanta kaydinta hagaajinno, waxaan qorshaynaynaa inaan wax ka qabanno caqabad ka sii aasaasi ah: in xogta bilowgaba la dhigo meel u dhow halka laga isticmaali doono.

CDC la isku hallayn karo oo la ballaadhin karo—oo isbeddellada kaydka xogta u gudbiya nidaamyada ku tiirsan—waa qayb lama huraan ah oo aan ku koobnayn istaraatijiyadda kaydinta ku-meelgaarka ah ee Habitat. Malaayiin isbeddel oo ilbidhiqsigiiba laga qabto kumannaan weel iyo malaayiin qaybood oo weelasha ah ayaa mara in ka badan boqol mawduuc oo Kafka ah. Waxay sidoo kale awood siiyaan tusmooyin labaad oo muddo ka dib iswaafaqa, marinnada dhaqaajinta xogta, falanqaynta aan tooska ahayn iyo sifooyin kale oo badeecadeed oo waqtiga-dhabta ah shaqeeya. Markii kaabayaashayada hoose caalamka ku fideen, la-socodka isbeddellada safafka xogtu wuxuu noqday mid sii murugsan. Haddii macmiil rabo inuu diiwaangeliyo hawl la waco mar kasta oo safafka noociisa xogeed isbeddelaan, waa inuu marka hore, waxyaabo kale ka sokow, ogaadaa koontooyinka iyo weelasha Cosmos ee xogtiisu ku jirto, adeegga CDC ee gobol kasta ka dhegaysanaysa weelashaas, dabadeedna si habboon u ballaadhiyaa hawl-wadeennada adeegga CDC, Kafka iyo barnaamijkiisa xogta qaata. Ujeeddada madashayada CDC waa inay faahfaahintaas ka qariso horumariyayaasha badeecadaha, beddelkeedana bixiso meel fudud oo macaamiishu ku diiwaangeliyaan hawsha ay rabaan in loogu yeedho safafkooda isbeddelay, annaguna aan maaraynno dhammaan isku-xidhka iyo ballaadhinta.

Lakab maamulid oo gudaha ah ayaa si joogto ah u hubiya in isbeddellada dhammaan weelasha loo baahan yahay la qabto, xusha gobollada Cosmos ee laga akhrinayo, si hufanna shaqada ugu qaybiya kumannaan hawl-wadeen oo ku kala sugan gobollo badan. Adeegsiga gobollada nuqullada haya iyo akhrinta qulqulka oo mudnaan hoose leh waxay codsiyada Habitat ee u nugul waqtiga jawaabta ka ilaaliyaan culayska hawlaha qabashada ee gadaal ka socda. Koox hawl-wadeenno ah oo intan le'eg waxaa si joogto ah uga dhaca burburka hawl-wadeennada, dhibaatooyin weelal, khaladaad kaydka rukhsadaha ku-meelgaarka ah, habayn aan sax ahayn iyo cillado meelaha xogta loo dirayo. Waxaan adkaynay wareegga nolosha hawl-wadeennada CDC iyo maaraynta rukhsadaha ku-meelgaarka ah, cilladaha qulqul kasta ka soocnay kuwa kale, waxaanan dhisnay ilaalin loogu talagalay isbeddellada habaynta iyo hirgelinta. Waxaan adeegsannaa safaf loogu talagalay farriimaha aan la gaadhsiin karin si cilladaha gaadhsiinta ee joogtada ahi aanay u xannibin safka intiisa kale. Waxaan u adkaysannaa hakadyada gobollada annagoo akhriyayaasha u wareejinna gobollo kale oo Cosmos ah. Baaxaddayada awgeed, waxaan xataa ku khasbanaannay inaan beddelno CDC SDK-ga Azure si habka calaamadinta halka shaqadu marayso u noqdo mid ka hufan, annagoo calaamadaha ku ururinayna xusuusta oo kaydinta joogtada ah u qorayna xilliyo kala go'an oo keliya.

Inkasta oo sida Habitat gudaha ugu isticmaalo Azure Cosmos DB ay murugsan tahay, qiimaha ugu weyn ee uu bixiyo mar walba waxay ahayd inuu faahfaahinta kaabayaasha ka qariyo horumariyayaasha badeecadaha si loo dedejiyo horumarinta badeecadda. Madashayada CDC-na sidaas oo kale ayay tahay.

Koox yar ayaa awoodday inay taageerto madal kaydineed oo si dhakhso ah u koraysa, iyadoo si ula kac ah u koobtay API-ga kaydinta, sii ballaadhisay adeegga Python, mudnaantana siisay caqabadaha injineernimada ee ugu degdegga badan. Waxaan marka hore diiradda saarnay isku hallaynta codsiyada badeecadaha lama huraanka ah, ka dib waxqabadka akhriska ee isticmaalayaasha caalamka, ugu dambaynna hufnaanta hawlgalka marka baaxaddu weyn tahay. Habkani wuxuu suurageliyey korodh degdeg ah iyo isticmaallo cusub, isagoo sidoo kale hagaajiyey isku hallaynta, waxqabadka iyo xawaaraha horumarinta badeecadaha.

Si aan Habitat iyo kaydinta wada sheekaysiga ugu ballaadhinno bilyanka isticmaale ee xiga, waa inaan wax ka qabanno adkaanta ku jirta nuqulinta xogtayada dhammaan kaabayaashayada, baaxad xitaa ka sii weyn ah. Si aan taas ugu sii diyaar garowno, waxaan gudaha ka dhisaynay nidaam kaydin onlayn ah oo noo gaar ah, heer exabyte ah, loona habeeyey noocyada xogta waaweyn ee Habitat. Nidaamkan la horumarinayo wuxuu isku daraa xudunta RocksDB Cloud ee Rockset iyo nuqulin ku salaysan Raft. Wuxuu hirgeliyaa isla qaabka dukumentiga ee Azure Cosmos DB, balse wuxuu adeegsadaa kaydin ka go'an xisaabinta iyo nuqulin jireed si loo yareeyo awoodda kaydinta flash-ka ee loo baahan yahay, iyadoo taas lagu beddelanayo qps ugu sarreeya oo ka hooseeya.

Haddii aad xiisaynayso inaad ka shaqayso dadaalladan kaabayaasha xogta ee heerka ugu casriyeysan, eeg shaqooyinkayaga bannaan⁠.