Научното пресметување во ерата на автономната вештачка интелигенција

Научното пресметување е еден од главните столбови на современите истражувања во академскиот и деловниот свет. Сепак, софтверот потребен за анализа на научни информации тешко го следи брзото темпо на создавање податоци. Многу од широко користените истражувачки алатки започнале како код приложен кон научен труд, создаден од мали академски тимови со ограничено инженерско искуство и со малку време за пакување, тестирање, оптимизација или долгорочна поддршка. Резултатот е научна инфраструктура што често зависи од бавни и кревки работни процеси на кои им треба постојано одржување. Овие ограничувања го забавуваат темпото на откритијата.

Агентите со ВИ почнуваат да ја менуваат оваа состојба. Со намалување на трошоците за инженерска работа и преземање на монотоните задачи за имплементација, тие можат да им помогнат на истражувачите побрзо да изработуваат прототипови, да реализираат проекти што претходно биле непрактични и полесно да го одржуваат софтверот долгорочно. Така, научниот софтвер станува поефикасен и подобро одржуван, а истражувачите добиваат повеќе време за откритија.

Објавуваме истражувачки теренски извештај за осум проекти за научно пресметување со помош на агенти, главно од природните науки; пет користеле само Codex, а три комбинација од Codex и Claude Code. Извештајот обединува студии на случај напишани од тимовите зад секој проект и ги утврдува темите што се повторуваат. Проектите опфаќаат сè, од рутинско одржување и насочена оптимизација до големи миграции на програмски јазици и редизајни наменети за GPU. Соработниците известуваат дека агентите значително ги забрзале развојот и одржувањето на софтверот, а во некои случаи им помогнале на малите тимови да преземат работа за која инаку би биле потребни многу повеќе време или специјализирана инженерска поддршка. Но, тие го нагласуваат и постојаниот предизвик да се воспостават јасна долгорочна одговорност и грижа за создадените алатки.

Соработниците доследно опишуваат премин на улогата на истражувачите од имплементација кон проверка и координација: одредување што треба да се создаде, дефинирање како да се мери исправноста и одлучување кога проектот е подготвен за објавување. Во овој нов модел, истражувачите и понатаму ги контролираат научната насока и стандардот за квалитет, но работат побрзо благодарение на помошта од агентите

Иако проектите значително се разликуваа по обем, тие покажаа дека агентите за кодирање ја намалуваат зависноста на научното пресметување од достапната инженерска работа и стручност. Сега тесното грло е проверката на резултатите од агентот со ВИ, која и понатаму зависи од човечко расудување.

Во сите студии на случај, агентите ефикасно извршуваа конкретни и јасно ограничени барања, но не можеа веродостојно да проценат дали нивната работа е научно валидна или ги исполнува очекувањата. Всушност, агентите често покажуваа самодоверба дури и кога нивната работа содржеше очигледни грешки. Затоа, човечките рецензенти мораа да најдат сигурни начини за проверка на резултатите. Најдобрите пристапи користеа надворешна референца или мерлива цел за прифаќање, како целосно совпаѓање на резултатите, еднаквост со постојна алатка, соодветно статистичко однесување или однапред утврдени одговори врз основа на симулирани податоци.

Друга тема што се повторуваше беше тоа што проектите главно се одвиваа во фази, со повторувања засновани на повратни информации, наместо со промпт со еден пример. Соработниците ги делеа општите цели на помали измени, а потоа користеа меѓуфазни репери и системи за тестирање за да ја оценат и усовршат работата на агентите. Агентите често брзо создаваа првични имплементации, но решавањето на граничните случаи и суптилните нумерички разлики траеше многу подолго. Завршувањето на „последната етапа“ од имплементацијата често бараше најмногу работа.

Севкупно, овие студии на случај укажуваат дека агентите им овозможуваат на истражувачите да посветат помалку време на имплементација, а повеќе на насочување на научната работа. Луѓето ја дефинираат целта, ги делат сложените проекти на изводливи целини и проценуваат дали резултатите се научно валидни. Со ублажување на долгогодишните инженерски ограничувања, агентите го прошируваат опсегот на она што истражувачите можат да го создадат и им овозможуваат да се сосредоточат на најважните научни прашања и одлуки.

Недоволното одржување на истражувачкиот софтвер долго време ги забавува повторувањата и ги ограничува повторливоста и веродостојноста. Објавените истражувања на „истражувачки код⁠(се отвора во нов прозорец)“ и омички алатки⁠(се отвора во нов прозорец) утврдија дека објавениот софтвер често не може правилно да се инсталира во нова компјутерска околина или да работи како што е документирано, принудувајќи ги истражувачите да трошат многу време на конфигурирање и отстранување грешки. Дури и рутинските подобрувања можат да им заштедат време на истражувачите и да ги намалат потребите за пресметување, додека рефакторирањето и преработката насочени кон перформансите можат да донесат поголеми придобивки.

Но, пониските трошоци за имплементација го олеснуваат и создавањето многу слични преработки, со што се расцепкува заедницата на корисници и се распрснува стручната грижа потребна за секоја алатка да остане сигурна. Затоа, долгорочната грижа и јасното наведување на придонесите се неопходни. Зрелиот научен софтвер опфаќа недокументирани конвенции, барања за компатибилност и доверба од корисниците што не можат да се пресоздадат само со преведување на изворниот код.

Студиите на случај покажуваат неколку можни начини за напредок. Измените во MHCflurry и cyvcf2 беа вградени во нивните изворни проекти, додека rustar-aligner премина под грижа на нова заедница бидејќи оригиналниот проект беше напуштен. Кога е можна координација со постојните одржувачи, таа треба да започне што е можно порано. Кога е неопходна посебна имплементација, таа мора да има јасен сопственик и веродостоен план за одржување. Без тоа, денешната современа преработка може утре да стане напуштен код наместо сигурна научна инфраструктура.

Овој теренски извештај е ретроспективен и истражувачки, но студиите на случај укажуваат на практична промена во начинот на развивање научен софтвер. Агентите за кодирање како Codex можат значително да ги намалат трошоците за одржување, миграција, оптимизација и нови имплементации. Нивната долгорочна научна вредност и понатаму зависи од човечките одлуки за тоа што да се создаде, како да се провери и кој ќе го одржува. Подлабоката промена не е само во тоа што истражувачите можат да создаваат повеќе софтвер, туку и што можат да посветат повеќе труд на дефинирање, проверка и долгорочна грижа за алатките.

Овие студии на случај покажуваат дека агентите веќе можат да го забрзаат темпото на повторувања во научното пресметување. Како што се подобруваат агентите за кодирање, истражувачите ќе можат да посветуваат помалку време на одржување на аналитичките процеси, а повеќе на унапредување на своите области.