Vetenskapliga beräkningar i en tid av agentbaserad AI

Vetenskapliga beräkningar är en grundpelare i modern forskning inom både akademi och näringsliv. Men den programvara som behövs för att analysera vetenskapliga data har haft svårt att hålla jämna steg med den snabba datagenereringen. Många forskningsverktyg som används i stor utsträckning började som kod som hörde till en forskningsartikel och utvecklades av små akademiska team med begränsad erfarenhet av programvaruutveckling och mycket lite tid för paketering, testning, optimering eller långsiktigt underhåll. Resultatet är en vetenskaplig infrastruktur som ofta bygger på långsamma och sårbara arbetsflöden som kräver kontinuerligt underhåll. Dessa begränsningar hämmar forskningstakten.

AI-agenter börjar förändra förutsättningarna. Genom att sänka kostnaderna för utvecklingsarbete och ta hand om mödosamma implementeringsuppgifter kan de hjälpa forskare att snabbare skapa prototyper, genomföra projekt som tidigare var opraktiska och enklare underhålla programvara på lång sikt. Därmed blir vetenskaplig programvara effektivare och bättre underhållen, så att forskare kan ägna mer tid åt nya upptäckter.

Vi publicerar en utforskande fältrapport om åtta agentstödda projekt inom vetenskapliga beräkningar, främst inom livsvetenskaperna. Fem av projekten använde enbart Codex, medan tre använde en kombination av Codex och Claude Code. Rapporten sammanför fallstudier skrivna av teamen bakom de olika projekten och identifierar återkommande teman. Projekten sträcker sig från rutinunderhåll och riktad optimering till storskaliga språkmigreringar och anpassning av kodbaser för GPU:er. Bidragsgivarna uppger att agenter avsevärt påskyndade programvaruutveckling och underhåll, och att de i vissa fall gjorde det möjligt för små team att utföra arbete som annars hade krävt betydligt mer tid eller mer specialiserad programvarukompetens. Samtidigt lyfter de också fram den kvarstående utmaningen att etablera ett tydligt, långsiktigt ansvar för och förvaltning av de verktyg som utvecklas.

Bidragsgivarna beskriver genomgående hur forskarnas roll förskjuts från implementering till verifiering och orkestrering: att ange vad som ska byggas, definiera hur korrektheten ska mätas och avgöra när ett projekt är redo att lanseras. I denna framväxande modell behåller forskarna kontrollen över den vetenskapliga inriktningen och kvalitetsnivån, samtidigt som agentstödet ökar arbetstakten.

Trots stora skillnader i omfattning visade projekten att kodningsagenter gör tillgången till utvecklingsarbete och expertis till ett mindre hinder för vetenskapliga beräkningar. Nu är flaskhalsen i stället att validera AI-agentens resultat, vilket fortfarande kräver mänskligt omdöme.

I fallstudierna hanterade agenter specifika, tydligt avgränsade förfrågningar effektivt, men kunde inte på ett tillförlitligt sätt avgöra om arbetet var vetenskapligt giltigt eller motsvarade förväntningarna. Agenter uttryckte ofta stor tillförsikt även när deras arbete innehöll tydliga fel. De mänskliga granskarna behövde därför hitta tillförlitliga sätt att validera resultaten. De mest robusta metoderna använde en extern referens eller ett mätbart acceptanskriterium, exempelvis exakt överensstämmelse mellan utdata, likvärdighet med ett befintligt verktyg, lämpligt statistiskt beteende eller på förhand fastställda svar baserade på simulerade data.

Ett annat återkommande tema var att projekten i regel genomfördes stegvis, med återkopplingsstyrda iterationer i stället för att försöka lösa dem i ett enda steg. Bidragsgivarna delade upp övergripande mål i mindre ändringar och använde sedan delmål och testsystem för att utvärdera och förbättra agenternas arbete. Agenter tog ofta snabbt fram inledande implementeringar, men det tog betydligt längre tid att lösa specialfall och små numeriska skillnader. Att slutföra implementeringens ”sista sträcka” krävde ofta mest arbete.

Sammantaget tyder fallstudierna på att agenter gör det möjligt för forskare att lägga mindre tid på implementering och mer på att leda det vetenskapliga arbetet. Människor definierar målet, delar upp komplexa projekt i hanterbara delar och bedömer om resultaten är vetenskapligt giltiga. Genom att minska sedan länge etablerade utvecklingshinder utökar agenter forskarnas möjligheter att bygga och frigör tid så att de kan fokusera på de viktigaste vetenskapliga frågorna och besluten.

Bristande underhåll av forskningsprogramvara har länge bromsat iterationer och begränsat reproducerbarheten och tillförlitligheten. Publicerade studier av ”forskningskod⁠(öppnas i ett nytt fönster)” och omikverktyg⁠(öppnas i ett nytt fönster) har visat att publicerad programvara ofta inte går att installera korrekt i en ny datormiljö eller köra enligt dokumentationen. Därför tvingas forskare lägga mycket tid på konfiguration och felsökning. Även rutinmässiga förbättringar kan spara tid för forskare och minska beräkningsbehovet, medan prestandainriktad refaktorering och omskrivning kan ge större vinster.

Men lägre implementeringskostnader gör det också enklare att skapa många liknande omskrivningar, vilket splittrar användarna och sprider ut den expertis som krävs för att hålla varje enskilt verktyg tillförlitligt. Därför är långsiktigt förvaltarskap och tydlig attribuering avgörande. Mogen vetenskaplig programvara rymmer odokumenterade konventioner, kompatibilitetskrav och användarförtroende som inte kan återskapas enbart genom att skriva om källkoden.

Fallstudierna visar flera möjliga vägar framåt. Ändringar i MHCflurry och cyvcf2 införlivades i de ursprungliga projekten, medan rustar-aligner fick ny förvaltning av communityn eftersom det ursprungliga projektet hade övergetts. När det går att samordna arbetet med befintliga förvaltare bör det göras så tidigt som möjligt. När en separat implementering är nödvändig behöver den en tydlig ägare och en trovärdig underhållsplan. Utan detta kan dagens moderna omskrivning bli morgondagens övergivna kod i stället för tillförlitlig vetenskaplig infrastruktur.

Fältrapporten är retrospektiv och utforskande, men fallstudierna pekar på en praktisk förändring i hur vetenskaplig programvara utvecklas. Kodningsagenter som Codex kan sänka kostnaderna avsevärt för underhåll, migrering, optimering och nya implementeringar. Deras långsiktiga vetenskapliga värde beror fortfarande på mänskliga beslut om vad som ska byggas, hur det ska verifieras och vem som ska underhålla det. Den djupare förändringen är inte bara att forskare kan skapa mer programvara, utan att de kan lägga mer kraft på att definiera, validera och förvalta verktygen.

Fallstudierna visar att agenter redan kan öka iterationstakten inom vetenskapliga beräkningar. I takt med att kodningsagenterna förbättras kan forskare lägga mindre tid på att hålla analyspipelines i gång och mer tid på att föra sina forskningsområden framåt.