Vedecké výpočty vo veku agentickej AI

Vedecké výpočty sú jedným zo základných pilierov moderného výskumu v akademickej aj komerčnej sfére. Softvér potrebný na analýzu vedeckých informácií však nedokáže držať krok s rýchlym tempom tvorby dát. Mnohé rozšírené výskumné nástroje vznikli ako kód priložený k vedeckej práci. Vytvorili ich malé akademické tímy s obmedzenými technickými skúsenosťami a minimom času na prípravu balíkov, testovanie, optimalizáciu či dlhodobú podporu. Výsledkom je vedecká infraštruktúra, ktorá často závisí od pomalých a krehkých pracovných postupov vyžadujúcich neustálu údržbu. Tieto obmedzenia spomaľujú tempo objavovania.

Agenti AI túto situáciu začínajú meniť. Znižovaním nákladov na technickú prácu a preberaním zdĺhavých implementačných úloh môžu výskumníkom pomôcť rýchlejšie vytvárať prototypy nápadov, realizovať projekty, ktoré boli predtým nepraktické, a jednoduchšie dlhodobo udržiavať softvér. Vedecký softvér je tak efektívnejší a lepšie udržiavaný, čo výskumníkom poskytuje viac času na objavovanie.

Prinášame prieskumnú správu z praxe o ôsmich projektoch vedeckých výpočtov podporovaných agentmi, najmä v biologických vedách. Päť z nich využívalo iba Codex a tri kombináciu systémov Codex a Claude Code. Správa spája prípadové štúdie od tímov stojacich za jednotlivými projektmi a pomenúva opakujúce sa témy. Projekty siahajú od bežnej údržby a cielenej optimalizácie až po rozsiahle migrácie medzi jazykmi a prepracovanie systémov priamo pre GPU. Podľa prispievateľov agenti výrazne urýchlili vývoj a údržbu softvéru. V niektorých prípadoch pomohli malým tímom zvládnuť prácu, ktorá by si inak vyžiadala oveľa viac času alebo špecializovanú technickú podporu. Zároveň však upozorňujú na pretrvávajúci problém: jasne určiť dlhodobú zodpovednosť za výsledné nástroje a zabezpečiť ich správu.

Prispievatelia zhodne opisujú posun úlohy výskumníkov od implementácie k overovaniu a koordinácii: určujú, čo treba vytvoriť, definujú spôsob merania správnosti a rozhodujú, kedy je projekt pripravený na vydanie. V tomto novom modeli si výskumníci zachovávajú kontrolu nad vedeckým smerovaním a požadovanou úrovňou kvality, pričom agentická asistencia zvyšuje rýchlosť práce.

Hoci sa rozsah projektov výrazne líšil, ukázali, že programovací agenti zmierňujú nedostatok technickej práce a odborných znalostí vo vedeckých výpočtoch. Úzkym miestom je teraz overovanie výstupov agenta AI, ktoré stále závisí od ľudského úsudku.

Vo všetkých prípadových štúdiách agenti efektívne riešili konkrétne, jasne vymedzené požiadavky, nedokázali však spoľahlivo posúdiť, či je ich práca vedecky správna alebo spĺňa očakávania. Agenti totiž často pôsobili sebaisto, aj keď ich práca obsahovala zjavné chyby. Ľudskí posudzovatelia preto museli nájsť spoľahlivé spôsoby overovania výsledkov. Najlepšie prístupy využívali externú referenciu alebo merateľné kritérium prijatia, napríklad presnú zhodu výstupov, rovnocennosť s existujúcim nástrojom, primerané štatistické správanie či vopred stanovené odpovede získané zo simulovaných dát.

Ďalšou opakujúcou sa témou bolo, že projekty zvyčajne postupovali po etapách a iterovali na základe spätnej väzby, namiesto jednopríkladového prístupu. Prispievatelia rozdelili všeobecné ciele na menšie zmeny a potom pomocou priebežných referenčných meraní a testovacích systémov hodnotili a zdokonaľovali prácu agentov. Agenti často rýchlo vytvorili počiatočné implementácie, no riešenie okrajových prípadov a nepatrných numerických rozdielov trvalo oveľa dlhšie. Dokončenie „posledného úseku“ implementácie si často vyžadovalo najviac práce.

Celkovo tieto prípadové štúdie naznačujú, že vďaka agentom môžu výskumníci venovať menej času implementácii a viac času vedeniu vedeckej práce. Ľudia určujú cieľ, rozdeľujú zložité projekty na zvládnuteľné časti a posudzujú vedeckú správnosť výsledkov. Agenti zmierňujú dlhodobé technické obmedzenia, čím rozširujú možnosti výskumníkov a umožňujú im sústrediť sa na najdôležitejšie vedecké otázky a rozhodnutia.

Nedostatočná údržba výskumného softvéru už dlho spomaľuje iterácie a obmedzuje reprodukovateľnosť aj spoľahlivosť. Publikované štúdie o „výskumnom kóde⁠(otvorí sa v novom okne)“ a omických nástrojoch⁠(otvorí sa v novom okne) zistili, že publikovaný softvér sa často nedá správne nainštalovať v novom výpočtovom prostredí alebo nefunguje podľa dokumentácie. Výskumníci preto musia venovať veľa času konfigurácii a odstraňovaniu chýb. Aj bežné zlepšenia môžu výskumníkom ušetriť čas a znížiť výpočtové nároky, zatiaľ čo refaktoring a prepisy zamerané na výkon môžu priniesť výraznejšie prínosy.

Nižšie náklady na implementáciu však zároveň uľahčujú tvorbu mnohých podobných prepisov, čo triešti používateľskú základňu a rozptyľuje pozornosť odborníkov potrebnú na zachovanie spoľahlivosti jednotlivých nástrojov. Preto sú dlhodobá správa a jasné uvedenie autorstva nevyhnutné. Vyspelý vedecký softvér zahŕňa nezdokumentované konvencie, požiadavky na kompatibilitu a dôveru používateľov, ktoré nemožno obnoviť samotným prepisom zdrojového kódu.

Prípadové štúdie ukazujú niekoľko možných ciest vpred. Zmeny v nástrojoch MHCflurry a cyvcf2 boli začlenené do pôvodných nadradených projektov, zatiaľ čo rustar-aligner prešiel pod novú komunitnú správu, pretože pôvodný projekt bol opustený. Ak je možná koordinácia s existujúcimi správcami, mala by sa začať čo najskôr. Ak je potrebná samostatná implementácia, musí mať jasného vlastníka a dôveryhodný plán údržby. Bez toho sa dnešný moderný prepis môže zajtra zmeniť na opustený kód namiesto spoľahlivej vedeckej infraštruktúry.

Táto správa z praxe je retrospektívna a prieskumná, no prípadové štúdie poukazujú na praktickú zmenu vo vývoji vedeckého softvéru. Programovací agenti ako Codex môžu výrazne znížiť náklady na údržbu, migráciu, optimalizáciu a nové implementácie. Ich dlhodobá vedecká hodnota stále závisí od ľudských rozhodnutí o tom, čo vytvoriť, ako to overiť a kto to bude udržiavať. Hlbšia zmena nespočíva iba v tom, že výskumníci môžu vytvoriť viac softvéru, ale aj v tom, že môžu venovať viac úsilia definovaniu, overovaniu a správe nástrojov.

Tieto prípadové štúdie ukazujú, že agenti už dnes dokážu zrýchliť iterácie vo vedeckých výpočtoch. S ďalším zlepšovaním programovacích agentov budú môcť výskumníci venovať menej času udržiavaniu analytických pracovných postupov v chode a viac času rozvoju svojich odborov.