Naučno računarstvo u doba agentičkog AI-ja

Naučno računarstvo jedan je od ključnih stubova savremenih istraživanja u akademskoj zajednici i industriji. Ipak, softver potreban za analizu naučnih informacija teško prati ubrzano stvaranje podataka. Mnogi široko korišteni istraživački alati nastali su kao kod priložen uz naučni rad, a razvili su ih mali akademski timovi s ograničenim inženjerskim iskustvom i vrlo malo vremena za pakovanje, testiranje, optimizaciju ili dugoročnu podršku. Rezultat je naučna infrastruktura koja se često oslanja na spore i osjetljive radne procese koji zahtijevaju stalno održavanje. Ta ograničenja usporavaju otkrića.

AI agenti počinju mijenjati tu računicu. Smanjujući troškove inženjerskog rada i preuzimajući zamorne zadatke implementacije, mogu pomoći istraživačima da brže izrađuju prototipe ideja, pokreću projekte koji ranije nisu bili praktični i lakše dugoročno održavaju softver. Tako naučni softver postaje efikasniji i bolje održavan, a istraživači mogu posvetiti više vremena otkrićima.

Objavljujemo istraživački terenski izvještaj o osam projekata naučnog računarstva uz pomoć agenata, prvenstveno u biološkim naukama; u pet je korišten samo Codex, a u tri kombinacija alata Codex i Claude Code. Izvještaj objedinjuje studije slučaja koje su napisali timovi iza svakog projekta i utvrđuje teme koje se ponavljaju. Projekti obuhvataju sve od rutinskog održavanja i ciljane optimizacije do velikih migracija između programskih jezika i redizajna zasnovanih na GPU-u. Autori navode da su agenti znatno ubrzali razvoj i održavanje softvera, a u nekim slučajevima pomogli malim timovima da preuzmu poslove koji bi inače zahtijevali mnogo više vremena ili specijalizovanu inženjersku podršku. Međutim, ističu i trajni izazov uspostavljanja jasne, dugoročne odgovornosti i upravljanja nastalim alatima.

Autori dosljedno opisuju pomak u ulozi istraživača s implementacije na provjeru i koordinaciju: određivanje šta treba izraditi, definisanje načina mjerenja ispravnosti i odlučivanje kada je projekt spreman za objavu. U ovom novom modelu istraživači zadržavaju kontrolu nad naučnim smjerom i standardima kvaliteta, dok im pomoć agenata omogućava brži napredak.

Iako su se projekti znatno razlikovali po obimu, pokazali su da agenti za kodiranje smanjuju ograničenja koja inženjerski rad i stručnost nameću naučnom računarstvu. Usko grlo sada je provjera rezultata AI agenta, koja i dalje zavisi od ljudske procjene.

U svim studijama slučaja agenti su efikasno rješavali konkretne, jasno ograničene zahtjeve, ali nisu mogli pouzdano procijeniti je li njihov rad naučno valjan niti ispunjava li očekivanja. Agenti su, štaviše, često iskazivali samouvjerenost čak i kada je njihov rad sadržavao očigledne greške. Stoga su ljudski ocjenjivači morali pronaći pouzdane načine za provjeru rezultata. Najbolji pristupi koristili su vanjsku referencu ili mjerljiv cilj prihvatljivosti, poput potpunog podudaranja rezultata, jednakih performansi s postojećim alatom, odgovarajućeg statističkog ponašanja ili unaprijed utvrđenih odgovora na osnovu simuliranih podataka.

Još jedna česta tema bila je da su projekti uglavnom napredovali u fazama, kroz iteracije vođene povratnim informacijama, umjesto pristupom učenja s jednim primjerom. Autori su opće ciljeve raščlanili na manje izmjene, a zatim su pomoću međurezultata i testnih sistema ocjenjivali i usavršavali rad agenata. Agenti su često brzo izrađivali početne implementacije, ali je rješavanje rubnih slučajeva i suptilnih brojčanih razlika trajalo mnogo duže. Dovršavanje „posljednje etape“ implementacije često je zahtijevalo najviše rada.

Sveukupno, ove studije slučaja ukazuju na to da agenti omogućavaju istraživačima da manje vremena troše na implementaciju, a više na usmjeravanje naučnog rada. Ljudi definišu cilj, složene projekte dijele na izvedive cjeline i procjenjuju jesu li rezultati naučno valjani. Ublažavanjem dugogodišnjih inženjerskih ograničenja agenti proširuju ono što istraživači mogu izraditi, a istovremeno im omogućavaju da se usmjere na najvažnija naučna pitanja i odluke.

Nedovoljno održavanje istraživačkog softvera već dugo usporava daljnji razvoj te ograničava ponovljivost i pouzdanost. Objavljene studije o „istraživačkom kodu⁠(otvara se u novom prozoru)“ i alatima za omiku⁠(otvara se u novom prozoru) utvrdile su da se objavljeni softver često ne može pravilno instalirati u novom računarskom okruženju niti pokrenuti kako je dokumentovano, zbog čega istraživači troše mnogo vremena na konfiguraciju i otklanjanje grešaka. Čak i rutinska poboljšanja mogu istraživačima uštedjeti vrijeme i smanjiti računarske zahtjeve, dok refaktorisanje i prerade usmjerene na performanse mogu donijeti veće koristi.

Međutim, niži troškovi implementacije olakšavaju i stvaranje brojnih sličnih prerada, čime se korisnici razjedinjuju, a stručna pažnja potrebna za pouzdanost svakog pojedinačnog alata raspršuje. Zato su dugoročno upravljanje i navođenje autorstva ključni. Zreo naučni softver sadrži nedokumentovane konvencije, zahtjeve kompatibilnosti i povjerenje korisnika koje se ne može obnoviti pukim prevođenjem izvornog koda.

Studije slučaja prikazuju nekoliko mogućih pravaca daljnjeg razvoja. Izmjene alata MHCflurry i cyvcf2 ugrađene su u njihove izvorne projekte, dok je rustar-aligner prešao pod upravljanje nove zajednice jer je izvorni projekt bio napušten. Kada je moguća koordinacija s postojećim održavaocima, treba je započeti što ranije. Kada je potrebna zasebna implementacija, mora imati jasno određenog vlasnika i vjerodostojan plan održavanja. Bez toga današnja savremena prerada može postati sutrašnji napušteni kod, umjesto pouzdane naučne infrastrukture.

Ovaj terenski izvještaj retrospektivan je i istraživački, ali studije slučaja ukazuju na praktičnu promjenu u načinu razvoja naučnog softvera. Agenti za kodiranje poput alata Codex mogu znatno smanjiti troškove održavanja, migracije, optimizacije i novih implementacija. Njihova dugoročna naučna vrijednost i dalje zavisi od ljudskih odluka o tome šta izraditi, kako to provjeriti i ko će to održavati. Dublja promjena nije samo u tome što istraživači mogu proizvesti više softvera nego i u tome što više truda mogu posvetiti definisanju, provjeri i upravljanju alatima.

Ove studije slučaja pokazuju da agenti već mogu ubrzati iteracije u naučnom računarstvu. Kako se agenti za kodiranje budu poboljšavali, istraživači će moći trošiti manje vremena na održavanje rada analitičkih procesa, a više na unapređivanje svojih oblasti.