Teaduslik andmetöötlus agentse tehisintellekti ajastul

Teaduslik andmetöötlus on tänapäevase uurimistöö tugisammas nii akadeemilistes ringkondades kui ka tööstuses. Sellegipoolest ei ole teadusliku teabe analüüsimiseks vajalik tarkvara suutnud andmete loomise kiire tempoga sammu pidada. Paljud laialdaselt kasutatavad uurimistööriistad said alguse teadustöödega kaasnenud koodina, mille lõid väikesed akadeemilised meeskonnad, kellel oli piiratud insenerikogemus ja minimaalselt aega pakendamiseks, testimiseks, optimeerimiseks või pikaajaliseks toeks. Tulemuseks on teaduslik infrastruktuur, mis sõltub sageli aeglastest ja hapratest töövoogudest, mis nõuavad pidevat hooldust. Need piirangud aeglustavad avastuste tempot.

Tehisintellekti agendid on hakanud seda olukorda muutma. Vähendades inseneritöö kulusid ja võttes enda kanda tüütud teostusülesanded, saavad nad aidata teadlastel ideid kiiremini prototüüpida, teostada projekte, mis olid varem ebapraktilised, ja hooldada tarkvara pikaajaliselt senisest hõlpsamini. Selle tulemusena muutub teaduslik tarkvara tõhusamaks ja paremini hooldatavaks, vabastades teadlastele aega, et keskenduda enam avastustele.

Me jagame uurimuslikku aruannet kaheksast agentide toetatud teadusliku andmetöötluse projektist, mis on peamiselt eluteaduste valdkonnas; viis neist kasutasid ainult Codexi ja kolm kasutasid Codexi ja Claude Code'i kombinatsiooni. Aruanne koondab iga projekti taga olevate meeskondade koostatud juhtumiuuringuid ja tuvastab korduvaid teemasid. Projektid ulatuvad rutiinsest hooldusest ja suunatud optimeerimisest kuni suuremahuliste programmeerimiskeele vahetuste ja GPU-põhiste ümberkujundusteni. Projektis osalejad teatavad, et agendid kiirendasid märkimisväärselt tarkvara arendamist ja hooldust, aidates mõnel juhul väikestel meeskondadel võtta enda kanda töid, mis muidu oleksid nõudnud palju rohkem aega või spetsialiseeritud insenerituge. Kuid nad toovad esile ka püsiva väljakutse: luua valminud tööriistadele selge, pikaajaline vastutus ja haldamine.

Projektis osalejad kirjeldavad järjekindlalt nihet teadlaste rollis teostuselt kontrollimisele ja koordineerimisele: määratakse kindlaks, mida ehitada, defineeritakse, kuidas mõõta korrektsust, ja otsustatakse, millal projekt on valmis avaldamiseks. Selles tekkivas mudelis jääb teadlastele kontroll teadusliku suuna ja kvaliteedistandardi üle, kuid agentide abi pakub kiiruse kasvu.

Kuigi projektid erinesid ulatuselt suuresti, näitasid need, et kodeerivad agendid muudavad inseneritöö ja -teadmised teaduslikus andmetöötluses vähem piiravaks teguriks. Nüüd on pudelikaelaks tehisintellekti agendi väljundi valideerimine, mis sõltub endiselt inimese hinnangust.

Juhtumiuuringutes käsitlesid agendid konkreetseid, hästi piiritletud taotlusi tõhusalt, kuid ei suutnud usaldusväärselt hinnata, kas nende töö on teaduslikult kehtiv või vastas ootustele. Tõepoolest, agendid väljendasid sageli kindlustunnet isegi siis, kui nende töös leidus selgeid vigu. Inimestest ülevaatajad pidid seega leidma usaldusväärseid viise tulemuste valideerimiseks. Tugevaimates lähenemisviisides kasutati välist võrdlusalust või mõõdetavat vastuvõtueesmärki, nagu täpne väljundi kokkulangevus, samaväärsus olemasoleva tööriistaga, sobiv statistiline käitumine või simuleeritud andmete abil eelnevalt kindlaksmääratud vastused.

Teine korduv teema oli see, et projektid kulgesid üldiselt etappidena, kasutades tagasisidel põhinevaid iteratsioone, mitte ühekorraga lahendusi. Projektis osalejad jaotasid laiad eesmärgid väiksemateks muudatusteks, seejärel kasutasid agentide töö hindamiseks ja täiustamiseks vahepealseid võrdlusaluseid ja testissüsteeme. Agendid koostasid sageli esialgsed rakendused kiiresti, kuid äärmuslike juhtumite ja peente numbriliste erinevuste lahendamine võttis palju rohkem aega. Teostuse „viimase miili“ läbimine nõudis sageli kõige enam tööd.

Üldiselt viitavad need juhtumiuuringud sellele, et agendid võimaldavad teadlastel kulutada vähem aega teostusele ja rohkem aega teadusliku töö suunamisele. Inimesed määravad eesmärgi, jaotavad keerulised projektid hallatavateks osadeks ja hindavad, kas tulemused on teaduslikult kehtivad. Vähendades pikaajalisi insenertehnilisi piiranguid, laiendavad agendid seda, mida teadlased saavad ehitada, vabastades samal ajal neile aega, et keskenduda teaduslikele küsimustele ja otsustele, mis on kõige olulisemad.

Teadustarkvara hoolduse puudulikkus on pikka aega aeglustanud iteratsiooni ning piiranud reprodutseeritavust ja usaldusväärsust. Avaldatud uuringud „teaduskoodist⁠(avaneb uues aknas)“ ja oomika tööriistadest⁠(avaneb uues aknas) on leidnud, et avaldatud tarkvara ei õnnestu sageli korrektselt paigaldada värskesse arvutikeskkonda ega töötada dokumenteeritult, sundides teadlasi kulutama märkimisväärselt aega seadistamisele ja silumisele. Isegi rutiinsed täiustused võivad säästa teadlaste aega ja vähendada arvutusvajadusi, samas kui jõudluspõhine refaktoriseerimine ja ümberkirjutamine võivad pakkuda suuremat kasu.

Kuid madalamad teostuskulud teevad ka lihtsamaks paljude sarnaste ümberkirjutuste tootmise, mis killustab kasutajaid ja hajutab ekspertide tähelepanu, mida on vaja ühegi tööriista usaldusväärsena hoidmiseks. See muudab pikaajalise haldamise ja autorluse hädavajalikuks. Küps teaduslik tarkvara kannab endas dokumenteerimata kokkuleppeid, ühilduvusnõudeid ja kasutajate usaldust, mida ainult lähtekoodi tõlkimine ei suuda taastooda.

Juhtumiuuringud illustreerivad mitmeid võimalikke edasisi arenguteid. Muudatused MHCflurrys ja cyvcf2-s lisati nende algsetesse algprojektidesse, samas kui rustar-aligner läks uue kogukonna haldusesse, kuna algne projekt oli hüljatud. Kui koordineerimine olemasolevate haldajatega on võimalik, peaks see algama nii varakult kui võimalik. Kui on vajalik eraldi teostus, vajab see selget omanikku ja usaldusväärset hooldusplaani. Ilma selleta võib tänane moodne ümberkirjutus muutuda usaldusväärse teadusliku infrastruktuuri asemel homseks hüljatud koodiks.

See uuringuaruanne on tagasivaatav ja uurimuslik, kuid juhtumiuuringud viitavad praktilisele nihkele selles, kuidas teaduslikku tarkvara arendatakse. Kodeerivad agendid nagu Codex võivad märkimisväärselt alandada hoolduse, migratsiooni, optimeerimise ja uute teostuste kulusid. Nende pikaajaline teaduslik väärtus sõltub endiselt inimeste otsustest selle kohta, mida ehitada, kuidas seda kontrollida ja kes seda hooldab. Sügavam muutus ei ole lihtsalt selles, et teadlased saavad toota rohkem tarkvara, vaid et nad saavad keskenduda rohkem tööriistade määratlemisele, valideerimisele ja haldamisele.

Need juhtumiuuringud näitavad, et agendid võivad juba kiirendada iteratsiooni tempot teaduslikus andmetöötluses. Kodeerivate agentide arenedes saavad teadlased kulutada vähem aega analüüsikonveierite töös hoidmisele ja rohkem aega oma valdkondade edendamisele.