Zinātniskā skaitļošana autonomā MI laikmetā

Zinātniskā skaitļošana ir viens no mūsdienu pētniecības pamatbalstiem gan akadēmiskajā vidē, gan industrijā. Tomēr zinātniskās informācijas analīzei nepieciešamā programmatūra nav spējusi turēt līdzi straujajam datu apjoma pieaugumam. Daudzi plaši izmantoti pētniecības rīki sākotnēji bija zinātniskam rakstam pievienots kods, ko veidoja nelielas akadēmiskās komandas ar ierobežotu inženiertehnisko pieredzi un minimālu laiku pakošanai, testēšanai, optimizācijai vai ilgtermiņa atbalstam. Tāpēc zinātniskā infrastruktūra bieži ir atkarīga no lēnām un neizturīgām darbplūsmām, kurām nepieciešama pastāvīga uzturēšana. Šie ierobežojumi kavē atklājumu tapšanu.

MI aģenti sāk šo situāciju mainīt. Samazinot inženiertehnisko darbu izmaksas un uzņemoties apnicīgus ieviešanas uzdevumus, tie var palīdzēt pētniekiem ātrāk izstrādāt ideju prototipus, īstenot agrāk nepraktiskus projektus un vieglāk ilgtermiņā uzturēt programmatūru. Tādējādi zinātniskā programmatūra kļūst efektīvāka un labāk uzturēta, ļaujot pētniekiem vairāk laika veltīt atklājumiem.

Publicējam izpētes lauka ziņojumu par astoņiem zinātniskās skaitļošanas projektiem, kuros izmantoti aģenti un kuri galvenokārt saistīti ar dzīvības zinātnēm; piecos izmantots tikai Codex, bet trijos — Codex kopā ar Claude Code. Ziņojumā apkopoti katra projekta komandas sagatavoti gadījumu apraksti un noteiktas kopīgās tēmas. Projekti aptver gan ikdienas uzturēšanu un mērķtiecīgu optimizāciju, gan plaša mēroga programmēšanas valodu migrāciju un GPU vajadzībām pilnībā pārveidotus risinājumus. Dalībnieki norāda, ka aģenti ievērojami paātrināja programmatūras izstrādi un uzturēšanu, dažos gadījumos palīdzot nelielām komandām paveikt darbu, kas citādi prasītu daudz vairāk laika vai specializētu inženiertehnisko atbalstu. Taču viņi arī uzsver, ka joprojām ir grūti noteikt skaidru ilgtermiņa atbildību par izveidotajiem rīkiem un to pārvaldību.

Dalībnieki konsekventi raksturo pētnieku lomas maiņu no ieviešanas uz pārbaudi un darba koordinēšanu: noteikt, kas jāizveido, definēt, kā novērtēt pareizību, un izlemt, kad projekts ir gatavs izlaidei. Šajā jaunajā modelī pētnieki joprojām nosaka zinātnisko virzienu un kvalitātes prasības, savukārt autonomais atbalsts paātrina darbu

Lai gan projektu apjoms ievērojami atšķīrās, tie parādīja, ka programmēšanas aģenti mazina inženiertehniskā darba un zināšanu trūkuma radītos ierobežojumus zinātniskajā skaitļošanā. Tagad par šauro vietu kļūst MI aģenta darba rezultātu pārbaude, kurā joprojām nepieciešams cilvēka spriedums.

Visos gadījumu aprakstos aģenti efektīvi izpildīja konkrētus, skaidri norobežotus uzdevumus, taču nespēja droši novērtēt, vai viņu darbs ir zinātniski pamatots un atbilst gaidītajam. Aģenti bieži pauda pārliecību pat tad, ja viņu darbā bija acīmredzamas kļūdas. Tāpēc pārbaudītājiem bija jāatrod uzticami rezultātu validēšanas paņēmieni. Labākajās pieejās izmantoja ārēju etalonu vai izmērāmu pieņemšanas kritēriju, piemēram, precīzu rezultātu sakritību, līdzvērtību esošam rīkam, atbilstošu statistisko uzvedību vai ar simulētiem datiem iepriekš noteiktas atbildes.

Vēl viena kopīga iezīme bija projektu īstenošana vairākos posmos ar atgriezeniskajā saitē balstītām iterācijām, nevis vienpiemēra pieeju. Dalībnieki plašos mērķus sadalīja mazākās izmaiņās un pēc tam izmantoja starpposma etalonus un testēšanas sistēmas, lai novērtētu un pilnveidotu aģentu darbu. Aģenti bieži ātri izveidoja sākotnējās versijas, taču robežgadījumu un nelielu skaitlisko atšķirību novēršana prasīja daudz vairāk laika. Ieviešanas «pēdējā posma» pabeigšana bieži prasīja visvairāk darba.

Kopumā šie gadījumu apraksti liecina, ka aģenti ļauj pētniekiem mazāk laika veltīt ieviešanai un vairāk — zinātniskā darba vadīšanai. Cilvēki nosaka mērķi, sadala sarežģītus projektus pārvaldāmās daļās un izvērtē, vai rezultāti ir zinātniski pamatoti. Mazinot ilgstošos inženiertehniskos ierobežojumus, aģenti paplašina pētnieku iespējas radīt jaunus risinājumus un ļauj viņiem pievērsties svarīgākajiem zinātniskajiem jautājumiem un lēmumiem.

Nepietiekama pētniecības programmatūras uzturēšana jau ilgi ir palēninājusi iterācijas un ierobežojusi reproducējamību un uzticamību. Publicētos pētījumos par «pētniecības kodu⁠(atveras jaunā logā)» un omikas rīkiem⁠(atveras jaunā logā) konstatēts, ka publicēto programmatūru bieži nevar pareizi instalēt jaunā skaitļošanas vidē vai palaist atbilstoši dokumentācijai, tāpēc pētniekiem jāvelta daudz laika konfigurēšanai un atkļūdošanai. Pat ikdienišķi uzlabojumi var ietaupīt pētnieku laiku un samazināt skaitļošanas resursu patēriņu, savukārt uz veiktspēju vērsta pārstrukturēšana un pārrakstīšana var dot lielākus ieguvumus.

Taču zemākas ieviešanas izmaksas arī atvieglo daudzu līdzīgu pārrakstītu versiju radīšanu, sadrumstalojot lietotāju loku un izkliedējot ekspertu uzmanību, kas nepieciešama katra rīka uzticamības saglabāšanai. Tāpēc ilgtermiņa pārvaldība un autorības atzīšana ir būtiska. Nobriedusi zinātniskā programmatūra ietver nedokumentētas konvencijas, saderības prasības un lietotāju uzticēšanos, ko nevar atjaunot, tikai pārnesot pirmkodu.

Gadījumu izpēte parāda vairākus iespējamos turpmākos ceļus. MHCflurry un cyvcf2 izmaiņas tika iekļautas to sākotnējos projektos, savukārt rustar-aligner nonāca jaunas kopienas pārvaldībā, jo sākotnējais projekts bija pamests. Ja iespējams sadarboties ar esošajiem uzturētājiem, tas jāsāk pēc iespējas agrāk. Ja nepieciešama atsevišķa versija, tai vajadzīgs skaidri noteikts īpašnieks un ticams uzturēšanas plāns. Pretējā gadījumā šodienas modernais pārrakstītais risinājums rīt var kļūt par pamestu kodu, nevis uzticamu zinātnisko infrastruktūru.

Šis lauka ziņojums ir retrospektīvs un izzinošs, taču gadījumu izpēte norāda uz praktiskām pārmaiņām zinātniskās programmatūras izstrādē. Tādi programmēšanas aģenti kā Codex var ievērojami samazināt uzturēšanas, migrācijas, optimizācijas un jaunu risinājumu ieviešanas izmaksas. To zinātniskā vērtība ilgtermiņā joprojām ir atkarīga no cilvēku lēmumiem par to, ko veidot, kā to pārbaudīt un kas to uzturēs. Būtiskākā pārmaiņa nav tikai iespēja pētniekiem radīt vairāk programmatūras, bet arī iespēja vairāk pūļu veltīt rīku definēšanai, validēšanai un pārvaldībai.

Šie gadījumu apraksti parāda, ka aģenti jau tagad var paātrināt zinātniskās skaitļošanas iterācijas. Programmēšanas aģentiem pilnveidojoties, pētnieki varēs mazāk laika veltīt analīzes konveijeru darbības uzturēšanai un vairāk — savas jomas attīstībai.