Datadog notar Codex til kóðayfirferðar á kerfisstigi.

Datadog⁠(opnast í nýjum glugga) rekur eitt mest notaða eftirlitskerfi heims og hjálpar fyrirtækjum að fylgjast með, leysa úr bilunum og tryggja flókin dreifð kerfi. Þegar eitthvað bilar treysta viðskiptavinir á Datadog til að finna vandamál fljótt, sem þýðir að áreiðanleiki þarf að vera innbyggður löngu áður en kóðinn kemst í framleiðslu.

Fyrir verkfræðiteymi Datadog gerir það kóðayfirferð að mikilvægri stund. Þetta snýst ekki bara um að greina mistök, heldur um að skilja hvernig breytingar berast í gegnum samtengd kerfi — svið þar sem hefðbundin kyrrstæð greining og reglubundin verkfæri bregðast oft.

Til að mæta þessari áskorun leitaði AI Development Experience (AI DevX) teymi Datadog til Codex, fulltrúans frá OpenAI, sem færir rök á kerfisstigi inn í kóðayfirferð og dregur fram áhættu sem menn sjá ekki auðveldlega í stórum stíl.

„Tímasparnaður er raunverulegur og mikilvægur,“ segir Brad Carter, sem leiðir AI DevX teymi Datadog. „En að koma í veg fyrir atvik er miklu mikilvægara á okkar skala.“

Árangursrík kóðayfirferð hjá Datadog treysti hefðbundið að miklu leyti á eldri verkfræðinga — fólkið sem skilur kóðagrunninn, sögu hans og málamiðlanir í höguninni nógu vel til að greina kerfisbundna áhættu. 

En það er erfitt að stækka slíkt djúpt samhengi og fyrstu verkfærin fyrir kóðayfirferð með gervigreind leystu ekki þetta vandamál; mörg þeirra hegðuðu sér eins og háþróaðir „linters“, bentu á yfirborðsleg vandamál en misstu af breiðari blæbrigðum kerfisins. Verkfræðingum Datadog fannst tillögurnar oft of yfirborðskenndar eða of háværar og hunsuðu þær.

Datadog hóf tilraunaverkefni með Codex, kóðunarfulltrúa frá OpenAI, með því að samþætta hann í lifandi þróunarvinnuflæði. Í einni af stærstu og mest notuðu gagnageymslum fyrirtækisins var hver einasta beiðni um slóð sjálfkrafa yfirfarin af Codex. Verkfræðingar brugðust við athugasemdum frá Codex með því að gefa þumalinn upp eða niður og deildu óformlegum ábendingum milli teyma. Margir bentu á að endurgjöf Codex væri þess virði að lesa, ólíkt fyrri verkfærum sem skiluðu háværum eða yfirborðskenndum tillögum.

Til að prófa hvort gervigreindarstudd yfirferð gæti gert meira en að benda á stílfræðileg atriði, smíðaði Datadog kerfi til að endurtaka atvik.

Í stað þess að nota tilgátubundnar sviðsmyndir sneri teymið sér aftur að sögulegum atvikum. Þau endurbyggðu beiðnir um að beina atvikum að verkum, keyrðu Codex á móti hverri þeirra eins og hún væri hluti af upprunalegu yfirferðinni og spurðu síðan verkfræðingana sem áttu þessi atvik hvort endurgjöf frá Codex hefði skipt máli.

Niðurstaðan: Codex fann meira en 10 tilvik, eða um það bil 22% af þeim atvikum sem Datadog skoðaði, þar sem verkfræðingar staðfestu að endurgjöfin sem Codex veitti hefði skipt máli – meira en nokkurt annað verkfæri sem metið var.

Þar sem þessar draga beiðnir höfðu þegar staðist kóðayfirferð, sýndi endurspilunarprófið að Codex dró fram áhættur sem yfirferðaraðilar höfðu ekki séð á þeim tíma, og bætti þannig við mannlegt mat frekar en að koma í stað þess.

Greining Datadog sýndi að Codex flaggaði stöðugt vandamál sem eru ekki augljós eingöngu út frá fyrstu sýn og ekki er hægt að greina með ákvarðandi reglum.

Verkfræðingar lýstu Codex-athugasemdum sem meira en „bottahávaða“:

• Codex benti á samskipti við einingar sem ekki var komið við í diff
• Það benti á að prófunarþekjan vantaði á sviðum þar sem tenging milli þjónustuaðila var notuð
• Það benti á breytingar á API-samningi sem höfðu í för með sér áhættu fyrir niðurstreymi

Þessi hæfni til að tengja endurgjöf yfirferðar við raunverulegar áreiðanleikaniðurstöður var það sem lét Codex bera af í mati Datadog. Ólíkt kyrrstæðum greiningarverkfærum ber Codex saman ásetning draga beiðna við innsendar kóðabreytingar, rök yfir allan kóðagrunninn og tengsl til að keyra kóða og prófanir til að staðfesta hegðun.

„Þetta var það fyrsta sem virtist í raun taka tillit til mismunarins í stærra samhengi verkefnisins,“ segir Carter. „Það var nýstárlegt og opnaði augu mín.“

Fyrir marga verkfræðinga breytti þessi breyting algjörlega því hvernig þeir nýttu sér gervigreindaryfirferð. „Ég byrjaði að líta á Codex-athugasemdir eins og raunverulega endurgjöf úr kóðayfirferð,“ segir Ted Wexler, yfirhugbúnaðarverkfræðingur hjá Datadog „Ekki eitthvað sem ég myndi fletta yfir eða hunsa, heldur eitthvað sem vert er að gefa gaum.“

Eftir matið innleiddi Datadog Codex víðar hjá verkfræðingateymi sínu. Í dag nota meira en 1.000 verkfræðinga það reglulega. 

Endurgjöf kemur að mestu leyti fram á náttúrulegan hátt frekar en í gegnum formlega mælikvarða í verkfærinu. Verkfræðingar deila á Slack gagnlegum innsýnum, uppbyggilegum athugasemdum og augnablikum þar sem Codex hjálpaði þeim að hugsa öðruvísi um vandamál.

Þó að tímasparnaðurinn sé umtalsverður, bentu teymi stöðugt á þýðingarmeiri breytingu á því hvernig verkið var unnið. 

Víðtækari áhrifin fyrir Datadog voru breytingar á því hvernig kóðayfirferð er sjálf skilgreind. Í stað þess að líta á yfirferð sem eftirlitsstöð til að finna villur eða hámarka lotutíma, lítur teymið nú á Codex sem kjarnakerfi fyrir áreiðanleika sem virkar sem samstarfsaðili:

• Að draga fram áhættu sem fer út fyrir það sem einstakir yfirferðaraðilar geta haft í samhengi
• Að varpa ljósi á samskipti milli eininga og þjónustu
• Að auka sjálfstraust við sendingar í stórum stíl
• Að leyfa mannlegum yfirferðaraðilum að einbeita sér að högun og hönnun

Þessi breyting er í samræmi við hvernig leiðtogar Datadog forgangsraða verkfræðilegum áherslum, þar sem áreiðanleiki og traust skipta jafn miklu máli og, ef ekki meira en, hraði.

„Við erum verkvangurinn sem fyrirtæki treysta á þegar allt annað bregst,“ segir Carter „Að koma í veg fyrir atvik styrkir traustið sem viðskiptavinir okkar hafa til okkar.“