Moksliniai skaičiavimai agentinio DI amžiuje

Moksliniai skaičiavimai yra vienas iš pagrindinių šiuolaikinių akademinių ir pramoninių tyrimų ramsčių. Tačiau mokslinei informacijai analizuoti skirta programinė įranga nespėja vytis sparčiai didėjančio generuojamų duomenų kiekio. Daugelis plačiai naudojamų tyrimų priemonių atsirado kaip prie mokslinio straipsnio pridėtas kodas, kurį kūrė nedidelės akademinės komandos, turinčios nedaug programų inžinerijos patirties ir mažai laiko paketams rengti, testuoti, optimizuoti ar ilgalaikei priežiūrai. Todėl mokslinė infrastruktūra dažnai priklauso nuo lėtų ir nepatikimų darbo procesų, kuriuos reikia nuolat prižiūrėti. Šie apribojimai lėtina atradimus.

DI agentai jau pradeda keisti padėtį. Mažindami inžinerinio darbo sąnaudas ir perimdami varginančias įgyvendinimo užduotis, jie gali padėti tyrėjams greičiau kurti idėjų prototipus, imtis anksčiau nepraktiškų projektų ir lengviau ilgą laiką prižiūrėti programinę įrangą. Todėl mokslinė programinė įranga tampa efektyvesnė ir geriau prižiūrima, o tyrėjai gali daugiau laiko skirti atradimams.

Skelbiame žvalgomąją praktinę ataskaitą apie aštuonis, daugiausia gyvybės mokslų, mokslinių skaičiavimų projektus, kuriuose padėjo agentai: penkiuose naudotas tik Codex, o trijuose – Codex ir Claude Code derinys. Ataskaitoje pateikiamos kiekvieno projekto komandų parengtos atvejų analizės ir išskiriamos pasikartojančios temos. Projektai apima viską nuo įprastos priežiūros ir tikslinio optimizavimo iki didelio masto programavimo kalbų keitimo ir pertvarkymo iš esmės pritaikant GPU. Autoriai teigia, kad agentai gerokai paspartino programinės įrangos kūrimą ir priežiūrą, o kai kuriais atvejais padėjo mažoms komandoms atlikti darbus, kuriems kitu atveju būtų reikėję daug daugiau laiko ar specializuotų inžinerinių žinių. Tačiau jie taip pat pabrėžia tebesantį iššūkį – aiškiai nustatyti ilgalaikę atsakomybę už sukurtas priemones ir jų priežiūrą.

Autoriai nuosekliai apibūdina tyrėjų vaidmens pokytį: nuo įgyvendinimo pereinama prie tikrinimo ir koordinavimo – nustatoma, ką kurti, kaip vertinti teisingumą ir kada projektą jau galima išleisti. Pagal šį besiformuojantį modelį tyrėjai ir toliau kontroliuoja mokslinę kryptį bei kokybės kartelę, o agentinė pagalba leidžia dirbti sparčiau.

Nors projektų apimtis labai skyrėsi, jie parodė, kad dėl programavimo agentų inžinerinio darbo ir kompetencijos trūkumas vis mažiau riboja mokslinius skaičiavimus. Dabar silpnoji grandis yra DI agento rezultatų patvirtinimas, kuris vis dar priklauso nuo žmogaus vertinimo.

Visose atvejų analizėse agentai veiksmingai vykdė konkrečias, aiškios apimties užduotis, tačiau negalėjo patikimai įvertinti, ar jų darbas moksliškai pagrįstas ir atitinka lūkesčius. Agentai dažnai rodė pasitikėjimą net tada, kai jų darbe buvo akivaizdžių klaidų. Todėl vertintojai turėjo rasti patikimų būdų rezultatams patvirtinti. Patikimiausi metodai rėmėsi išoriniu atskaitos tašku arba išmatuojamu priimtinumo kriterijumi, pavyzdžiui, visišku išvesčių sutapimu, lygiavertiškumu esamai priemonei, tinkamomis statistinėmis savybėmis ar iš anksto modeliuotais duomenimis nustatytais atsakymais.

Dar viena pasikartojanti tema: projektai paprastai buvo vykdomi etapais, iteracijas grindžiant grįžtamuoju ryšiu, o ne taikant metodą naudojant vieną pavyzdį. Autoriai suskaidė plačius tikslus į mažesnius pakeitimus, o tarpinius našumo rodiklius ir bandymų sistemas naudojo agentų darbui vertinti bei tobulinti. Agentai dažnai greitai sukurdavo pradines realizacijas, tačiau kraštiniams atvejams ir subtiliems skaitiniams skirtumams išspręsti prireikdavo gerokai daugiau laiko. Dažnai daugiausia darbo pareikalaudavo paskutinis įgyvendinimo etapas.

Apskritai šios atvejų analizės rodo, kad agentai leidžia tyrėjams mažiau laiko skirti įgyvendinimui ir daugiau – mokslinio darbo krypčiai. Žmonės nustato tikslą, suskaido sudėtingus projektus į įveikiamas dalis ir sprendžia, ar rezultatai moksliškai pagrįsti. Mažindami įsisenėjusius inžinerinius suvaržymus, agentai išplečia tyrėjų galimybes kurti ir leidžia jiems sutelkti dėmesį į svarbiausius mokslinius klausimus bei sprendimus.

Tyrimų programinės įrangos priežiūros spragos jau seniai lėtina tobulinimą ir riboja atkuriamumą bei patikimumą. Paskelbti „tyrimų kodo⁠(atsidaro naujame lange)“ ir omikos priemonių⁠(atsidaro naujame lange)“ tyrimai parodė, kad paskelbtos programinės įrangos dažnai nepavyksta tinkamai įdiegti naujoje skaičiavimo aplinkoje ar paleisti taip, kaip aprašyta, todėl tyrėjai turi skirti daug laiko konfigūravimui ir klaidų taisymui. Net įprasti patobulinimai gali sutaupyti tyrėjų laiko ir sumažinti skaičiavimo išteklių poreikį, o į našumą orientuotas kodo pertvarkymas ir perrašymas gali duoti dar daugiau naudos.

Tačiau mažesnės įgyvendinimo sąnaudos taip pat palengvina daugybės panašių versijų kūrimą, išskaido naudotojus ir ekspertų dėmesį, kurio reikia kiekvienos priemonės patikimumui išlaikyti. Todėl ilgalaikė priežiūra ir autorystės pripažinimas yra būtini. Brandžioje mokslinėje programinėje įrangoje glūdi nedokumentuoti susitarimai, suderinamumo reikalavimai ir naudotojų pasitikėjimas, kurių vien šaltinio kodo vertimas negali atkurti.

Atvejų analizės atskleidžia kelis galimus tolesnius kelius. MHCflurry ir cyvcf2 pakeitimai buvo įtraukti į pirminius aukštesnio lygmens projektus, o rustar-aligner perėjo naujos bendruomenės priežiūrai, nes pirminis projektas buvo apleistas. Kai įmanoma bendradarbiauti su esamais prižiūrėtojais, tai reikėtų pradėti kuo anksčiau. Kai būtina atskira realizacija, jai reikia aiškaus savininko ir patikimo priežiūros plano. Antraip šiandien moderniai perrašytas kodas rytoj gali būti apleistas, užuot tapęs patikima moksline infrastruktūra.

Ši praktinė ataskaita yra retrospektyvi ir žvalgomoji, tačiau atvejų analizės rodo praktinį mokslinės programinės įrangos kūrimo pokytį. Tokie programavimo agentai kaip Codex gali gerokai sumažinti priežiūros, perkėlimo, optimizavimo ir naujų realizacijų sąnaudas. Jų ilgalaikė mokslinė vertė vis dar priklauso nuo žmonių sprendimų, ką kurti, kaip tai patikrinti ir kas prižiūrės. Esminis pokytis yra ne tik tai, kad tyrėjai gali kurti daugiau programinės įrangos, bet ir tai, kad jie gali daugiau pastangų skirti priemonėms apibrėžti, patvirtinti ir prižiūrėti.

Šios atvejų analizės rodo, kad agentai jau gali paspartinti mokslinių skaičiavimų tobulinimo ciklus. Tobulėjant programavimo agentams, tyrėjai galės mažiau laiko skirti analizės procesų veikimui užtikrinti ir daugiau – savo sričių pažangai.