Úsáideann Datadog Codex le haghaidh athbhreithniú cód an chórais
Le Codex, tugann Datadog comhthéacs uilechórais isteach i ngach athbhreithniú cóid chun teagmhais a chosc agus muinín na gcustaiméirí a chosaint.
Tá, Datadog(osclaíonn i bhfuinneog nua) ag rith ceann de na hardáin inbhraiteachta is forleithne ar domhan, ag cabhrú le cuideachtaí monatóireacht a dhéanamh ar chórais dháilte chasta, iad a fhadhbcheartú agus a dhaingniú. Nuair a theipeann rud éigin, braitheann custaiméirí ar Datadog chun fadhbanna a nochtadh go tapa, rud a chiallaíonn gur gá iontaofacht a bheith leabaithe i bhfad sula sroicheann an cód an timpeallacht táirgthe.
Maidir le foirne innealtóireachta Datadog, is tráth ardriosca é an t-athbhreithniú cód. Ní bhaineann sé le botúin a aimsiú amháin, ach le tuiscint a fháil ar an gcaoi a scaipeann athruithe trí chórais idirnasctha—réimse ina mbíonn anailís statach thraidisiúnta agus uirlisí riailbhunaithe go minic easnamhach.
Chun aghaidh a thabhairt ar an dúshlán seo, chuaigh foireann AI Development Experience (AI DevX) de chuid Datadog i muinín Codex, an gníomhaire códaithe ó OpenAI, a thugann réasúnaíocht ar leibhéal an chórais isteach san athbhreithniú cód agus a chuireann rioscaí chun solais nach féidir le daoine a fheiceáil go héasca ar scála.
“Is fíor agus tábhachtach iad na coigiltis ama,” a deir Brad Carter, atá i gceannas ar fhoireann AI DevX de chuid Datadog. “Ach tá cosc a chur ar eachtraí i bhfad níos tábhachtaí ar ár scála féin.”
Bhí athbhreithniú éifeachtach ar chód ag Datadog ag brath go mór, go traidisiúnta, ar innealtóirí sinsearacha — na daoine a thuigeann an bonn cóid, a stair, agus na comhréitigh ailtireachta sách maith chun riosca sistéamach a aithint.
Ach is deacair comhthéacs domhain den chineál sin a scálú, agus níor réitigh na luathuirlisí athbhreithnithe cód AI an fhadhb seo; d’fheidhmigh go leor díobh mar linteoirí ardleibhéil, ag marcáil saincheisteanna ar leibhéal an dromchla agus ag cailleadh na caolchúisí níos leithne sa chóras. Ba mhinic a mheas innealtóirí Datadog go raibh na moltaí ró-éadomhain nó róthorannach, agus rinne siad neamhaird orthu.
Thosaigh Datadog ag triail le Codex, an gníomhaire códaithe ó OpenAI, trí é a chomhtháthú sna sreafaí oibre forbartha beo. I gceann de na stórtha is mó agus is mó a úsáidtear de chuid na cuideachta, rinne Codex athbhreithniú uathoibríoch ar gach pull request. D’fhreagair innealtóirí do thráchtanna ó Codex le hordóg suas nó síos agus roinn siad aiseolas neamhfhoirmiúil ar fud na bhfoirne. Luaigh go leor daoine gur fiú an t-aiseolas ó Codex a léamh, murab ionann agus uirlisí roimhe seo a tháirg moltaí torannacha nó éadomhain.
Le haghaidh tástáil an bhféadfadh athbhreithnú le cúinamh AI níos mó a dhéanamh ná fadhbanna stíle a chur in iúl, thóg Datadog creat chun teagmhais a athsheinm.
In áit cásanna hipitéiseacha a úsáid, d’fhill an fhoireann ar eachtraí stairiúla. D’athchruthaigh siad na pull requests a bhí tar éis cur le teagmhais, rith siad Codex ar gach ceann acu amhail is dá mba chuid den athbhreithniú bunaidh é, agus ansin d’fhiafraigh siad de na hinnealtóirí a bhí freagrach as na teagmhais sin an mbeadh difear déanta ag aiseolas ó Codex.
An toradh: d’aimsigh Codex níos mó ná 10 gcás, nó thart ar 22% de na teagmhais a scrúdaigh Datadog, inar dheimhnigh innealtóirí go mbeadh difear déanta ag an aiseolas a chuir Codex ar fáil—níos mó ná aon uirlis eile a ndearnadh measúnú uirthi.
Toisc go raibh pas faighte cheana féin ag na pull request seo in athbhreithniú cóid, léirigh an tástáil athsheinnte gur nocht Codex rioscaí nach raibh feicthe ag na hathbhreithneoirí ag an am, ag comhlánú breithiúnas daonna seachas é a ionadú.
Thaispeáin anailís Datadog go gcuireann Codex saincheisteanna in iúl go comhsheasmhach nach bhfuil soiléir ón difríocht láithreach amháin agus nach féidir iad a bhrath le rialacha deimhnithe.
D’fhág innealtóirí tráchtanna Codex níos mó ná “torann bota”:
- Thug Codex foláireamh faoi idirghníomhaíochtaí le modúil nach ndearnadh athruithe orthu sa difríocht
- D’aithin sé clúdach tástála a bhí in easnamh i réimsí ina raibh cúpláil idir sheirbhísí.
- Thug sé chun suntais athruithe ar chonradh an API a raibh riosca iartheachtach leo
“Is cosúil le hinnealtóir cliste a d’oibrigh mé leis riamh é trácht ó Codex, le ham gan teorainn aige chun fabhtanna a aimsiú.” Feiceann sé naisc nach gcoinníonn m’inchinn i gcuimhne ar fad ag an am céanna.”
Ba é an cumas sin aiseolas ó athbhreithnithe a nascadh le fíorthorthaí iontaofachta a chuir Codex i láthair go soiléir i measúnú Datadog. Murab ionann agus uirlisí anailíse stataí, déanann Codex comparáid idir rún an pull request agus na hathruithe cód a cuireadh isteach, agus úsáideann sé réasúnaíocht ar fud an bhonnchóid iomláin agus na spleáchais go léir chun cód agus tástálacha a rith le hiompar a bhailíochtú.
“Ba é an chéad cheann é a raibh an chuma air go raibh sé ag cur an difear san áireamh i gcomhthéacs níos leithne an chláir,” a deir Carter. “Bhí sé sin úrnua agus ba mhór an léargas é.”
D’athraigh an t-athrú sin go hiomlán an chaoi a ndearna go leor innealtóirí athbhreithniú ar AI. “Thosaigh mé ag cóireáil tráchtanna Codex mar a bheadh fíor-aiseolas athbhreithnithe cód iontu,” a deir Ted Wexler, Innealtóir Bogearraí Sinsearach ag Datadog. “Ní rud é a léifinn go sciobtha ná a ndéanfainn neamhaird de, ach rud ar fiú aird a thabhairt air.”
Tar éis na meastóireachta, chuir Datadog Codex i bhfeidhm ar bhonn níos leithne i measc a lucht innealtóireachta. Sa lá atá inniu ann, úsáideann níos mó ná 1 000 innealtóir é go rialta.
Tagann aiseolas chun cinn den chuid is mó go horgánach seachas trí mhéadrachtaí foirmiúla laistigh den uirlis. Postálann innealtóirí ar Slack faoi léargais úsáideacha, tráchtanna thógálacha, agus ócáidí inar chabhraigh Codex leo smaoineamh ar fhadhb ar bhealach difriúil.
Cé go bhfuil na coigiltí ama suntasach, thug foirne le fios go seasta go raibh athrú níos doimhne tagtha ar an gcaoi ar cuireadh an obair i gcrích.
“D’athraigh Codex mo thuairim faoi conas ba cheart go mbeadh athbhreithniú cód.” Ní bhaineann sé le macasamhlú ár n-athbhreithneoirí daonna is fearr. Baineann sé le lochtanna criticiúla agus cásanna imeallacha a aimsiú a bhíonn deacair do dhaoine a fheiceáil nuair a bhíonn siad ag athbhreithniú athruithe ina n-aonar.”
Ba é an tionchar níos leithne ar Datadog ná athrú ar an gcaoi a sainmhínítear an t-athbhreithniú cóid féin. Seachas caitheamh leis an athbhreithniú mar phointe seiceála chun earráidí a aimsiú nó am timthrialla a bharrfheabhsú, feiceann Codex an fhoireann anois mar chóras lárnach iontaofachta a fheidhmíonn mar chomhpháirtí:
- Nochtann riosca thar an méid is féidir le hathbhreithneoirí aonair a choinneáil i gcomhthéacs
- Idirghníomhaíochtaí idir modúil agus idir seirbhísí a aibhsiú
- Muinín a mhéadú as seoladh ar scála mór
- Ag cur ar chumas athbhreithneoirí daonna díriú ar ailtireacht agus ar dhearadh
Tá an t-athrú seo comhoiriúnach leis an gcaoi a leagann ceannairí Datadog tosaíochtaí innealtóireachta amach, áit a bhfuil iontaofacht agus muinín chomh tábhachtach le luas, nó fiú níos tábhachtaí.
“Is sinne an t-ardán a mbíonn cuideachtaí ag brath air nuair a bhíonn gach rud eile ag cliseadh,” a deir Carter. “Neartaíonn ag cosc teagmhais an mhuinín a chuirtear ionainn ag ár gcustaiméirí.”
