Znanstveno računalništvo v dobi agentske umetne inteligence

Znanstveno računalništvo je eden od temeljev sodobnega raziskovanja v akademskem svetu in industriji. Vendar programska oprema za analizo znanstvenih podatkov le stežka sledi njihovemu hitremu nastajanju. Številna razširjena raziskovalna orodja so nastala kot koda, priložena znanstvenemu članku. Razvile so jih majhne akademske skupine z omejenimi inženirskimi izkušnjami ter malo časa za pripravo paketov, preizkušanje, optimizacijo ali dolgoročno podporo. Posledica je znanstvena infrastruktura, ki je pogosto odvisna od počasnih, krhkih delovnih postopkov, potrebnih nenehnega vzdrževanja. Te omejitve upočasnjujejo odkritja.

Agenti umetne inteligence začenjajo spreminjati te razmere. Z zniževanjem stroškov inženirskega dela in prevzemanjem zamudnih izvedbenih nalog lahko raziskovalcem pomagajo hitreje izdelati prototipe zamisli, izpeljati prej neizvedljive projekte in lažje dolgoročno vzdrževati programsko opremo. Znanstvena programska oprema tako postaja učinkovitejša in bolje vzdrževana, raziskovalci pa lahko več časa namenijo odkritjem.

Objavljamo raziskovalno terensko poročilo o osmih projektih znanstvenega računalništva, ki so jih podprli agenti in večinoma spadajo na področje ved o življenju; pri petih so uporabili le Codex, pri treh pa kombinacijo orodij Codex in Claude Code. Poročilo združuje študije primerov, ki so jih napisale skupine posameznih projektov, ter opredeljuje ponavljajoče se teme. Projekti segajo od rednega vzdrževanja in ciljno usmerjene optimizacije do obsežnih prehodov med programskimi jeziki in prenov, zasnovanih za grafične procesorje. Sodelujoči poročajo, da so agenti občutno pospešili razvoj in vzdrževanje programske opreme. V nekaterih primerih so majhnim skupinam omogočili delo, ki bi sicer zahtevalo veliko več časa ali specializirano inženirsko podporo. Obenem opozarjajo na vztrajen izziv: določiti jasno dolgoročno odgovornost za nastala orodja in skrbništvo nad njimi.

Sodelujoči dosledno opisujejo premik vloge raziskovalcev od izvedbe k preverjanju in usklajevanju: določijo, kaj je treba razviti, opredelijo merila pravilnosti in odločijo, kdaj je projekt pripravljen za izdajo. V tem porajajočem se modelu raziskovalci ohranjajo nadzor nad znanstveno usmeritvijo in merili kakovosti, agentska pomoč pa jim omogoča hitrejše delo.

Čeprav so se projekti po obsegu močno razlikovali, so pokazali, da zaradi agentov za kodiranje inženirsko delo in strokovno znanje vse manj omejujeta znanstveno računalništvo. Ozko grlo je zdaj preverjanje rezultatov agenta umetne inteligence, ki je še vedno odvisno od človeške presoje.

V vseh študijah primerov so agenti učinkovito obravnavali konkretne, jasno omejene zahteve, niso pa mogli zanesljivo presoditi, ali je bilo njihovo delo znanstveno veljavno oziroma skladno s pričakovanji. Agenti so pogosto izražali prepričanost, tudi kadar je njihovo delo vsebovalo očitne napake. Človeški pregledovalci so zato morali poiskati zanesljive načine za preverjanje rezultatov. Najboljši pristopi so uporabljali zunanjo referenco ali merljiv cilj sprejemljivosti, denimo popolno ujemanje rezultatov, enakovrednost obstoječemu orodju, ustrezno statistično obnašanje ali vnaprej določene odgovore, pridobljene s simuliranimi podatki.

Druga ponavljajoča se tema je bila, da so projekti praviloma potekali po stopnjah in z iteracijami na podlagi povratnih informacij, ne pa s pristopi učenja iz enega primera. Sodelujoči so širše cilje razdelili na manjše spremembe, nato pa z vmesnimi primerjalnimi meritvami in preizkusnimi sistemi ocenjevali ter izboljševali delo agentov. Agenti so začetne izvedbe pogosto pripravili hitro, odpravljanje robnih primerov in drobnih številskih razlik pa je trajalo veliko dlje. Dokončanje »zadnjega kilometra« izvedbe je pogosto zahtevalo največ dela.

Te študije primerov na splošno kažejo, da lahko raziskovalci z agenti porabijo manj časa za izvedbo in več za usmerjanje znanstvenega dela. Ljudje določijo cilj, zapletene projekte razdelijo na obvladljive dele in presodijo, ali so rezultati znanstveno veljavni. Agenti z odpravljanjem dolgotrajnih inženirskih omejitev širijo možnosti raziskovalcev za razvoj ter jim omogočajo, da se osredotočijo na najpomembnejša znanstvena vprašanja in odločitve.

Pomanjkljivo vzdrževanje raziskovalne programske opreme že dolgo upočasnjuje izboljšave ter omejuje ponovljivost in zanesljivost. Objavljene raziskave »raziskovalne kode⁠(odpre se v novem oknu)« in orodij za omiko⁠(odpre se v novem oknu) so pokazale, da objavljene programske opreme v svežem računalniškem okolju pogosto ni mogoče pravilno namestiti ali zagnati skladno z dokumentacijo, zato raziskovalci porabijo veliko časa za konfiguriranje in odpravljanje napak. Že običajne izboljšave lahko raziskovalcem prihranijo čas in zmanjšajo računske zahteve, s preoblikovanjem in ponovnim pisanjem zaradi zmogljivosti pa je mogoče doseči še večje koristi.

Toda nižji stroški izvedbe olajšajo tudi nastanek številnih podobnih predelav, kar razdrobi skupnost uporabnikov in razprši pozornost strokovnjakov, potrebno za ohranjanje zanesljivosti posameznega orodja. Zato sta dolgoročno skrbništvo in ustrezno navajanje zaslug ključnega pomena. Zrela znanstvena programska oprema vključuje nedokumentirane dogovore, zahteve glede združljivosti in zaupanje uporabnikov, ki jih zgolj prevod izvorne kode ne more poustvariti.

Študije primerov ponazarjajo več možnih poti naprej. Spremembe orodij MHCflurry in cyvcf2 so vključili v njuna prvotna izvorna projekta, rustar-aligner pa je prešel pod novo skrbništvo skupnosti, ker je bil prvotni projekt opuščen. Kadar je mogoče sodelovati z obstoječimi vzdrževalci, naj se to začne čim prej. Kadar je potrebna ločena izvedba, mora imeti jasno določenega lastnika in verodostojen načrt vzdrževanja. Brez tega lahko današnja sodobna predelava jutri postane opuščena koda namesto zanesljive znanstvene infrastrukture.

To terensko poročilo je retrospektivno in raziskovalno, vendar študije primerov nakazujejo praktičen premik v načinu razvoja znanstvene programske opreme. Agenti za kodiranje, kakršen je Codex, lahko občutno znižajo stroške vzdrževanja, selitev, optimizacije in novih izvedb. Njihova dolgoročna znanstvena vrednost je še vedno odvisna od človeških odločitev o tem, kaj razviti, kako to preveriti in kdo bo rešitev vzdrževal. Globlji premik ni le v tem, da lahko raziskovalci ustvarijo več programske opreme, temveč da lahko več truda namenijo opredeljevanju, preverjanju in skrbništvu orodij.

Te študije primerov kažejo, da lahko agenti že zdaj pospešijo izboljševanje znanstvenega računalništva. Z nadaljnjim razvojem agentov za kodiranje bodo raziskovalci lahko manj časa namenjali vzdrževanju analitičnih postopkov in več napredku svojih področij.