Komputasi ilmiah di era AI agentik

Komputasi ilmiah merupakan pilar utama penelitian modern di dunia akademis dan industri. Namun, perangkat lunak untuk menganalisis informasi ilmiah kesulitan mengimbangi pesatnya laju produksi data. Banyak alat penelitian yang digunakan secara luas bermula sebagai kode pendamping makalah ilmiah, dibuat oleh tim akademis kecil dengan pengalaman rekayasa terbatas dan waktu yang minim untuk pengemasan, pengujian, pengoptimalan, atau dukungan jangka panjang. Akibatnya, infrastruktur ilmiah sering bergantung pada alur kerja yang lambat, rapuh, dan memerlukan pemeliharaan terus-menerus. Kendala ini menghambat laju penemuan.

Agen AI mulai mengubah keadaan tersebut. Dengan menekan biaya pekerjaan rekayasa dan menangani tugas implementasi yang membosankan, agen dapat membantu peneliti membuat prototipe gagasan dengan lebih cepat, menjalankan proyek yang sebelumnya tidak praktis, dan memelihara perangkat lunak dengan lebih mudah dalam jangka panjang. Hasilnya, perangkat lunak ilmiah menjadi lebih efisien dan terpelihara dengan lebih baik sehingga peneliti memiliki lebih banyak waktu untuk melakukan penemuan.

Kami membagikan laporan lapangan eksploratif tentang delapan proyek komputasi ilmiah berbantuan agen, terutama di bidang ilmu hayati; lima hanya menggunakan Codex dan tiga menggunakan kombinasi Codex dan Claude Code. Laporan ini menghimpun studi kasus yang ditulis oleh tim di balik setiap proyek dan mengidentifikasi tema-tema yang berulang. Proyek-proyek tersebut mencakup pemeliharaan rutin dan pengoptimalan terarah hingga migrasi bahasa berskala besar dan perancangan ulang yang dirancang khusus untuk GPU. Para kontributor melaporkan bahwa agen secara signifikan mempercepat pengembangan dan pemeliharaan perangkat lunak. Dalam beberapa kasus, agen membantu tim kecil menangani pekerjaan yang tanpa bantuan tersebut akan membutuhkan jauh lebih banyak waktu atau dukungan rekayasa khusus. Namun, mereka juga menyoroti tantangan berkelanjutan dalam menetapkan tanggung jawab dan pengelolaan jangka panjang yang jelas atas alat yang dihasilkan.

Para kontributor secara konsisten menggambarkan pergeseran peran peneliti dari implementasi menjadi verifikasi dan orkestrasi: menentukan apa yang harus dibuat, menetapkan cara mengukur kebenarannya, dan memutuskan kapan proyek siap dirilis. Dalam model yang tengah berkembang ini, peneliti tetap memegang kendali atas arah ilmiah dan standar mutu, tetapi memperoleh peningkatan kecepatan berkat bantuan agentik.

Meski cakupannya sangat beragam, proyek-proyek ini menunjukkan bahwa agen pengodean membuat tenaga dan keahlian rekayasa tidak lagi terlalu membatasi komputasi ilmiah. Kini, hambatan utamanya adalah memvalidasi keluaran agen AI, yang masih bergantung pada penilaian manusia.

Dalam berbagai studi kasus, agen menangani permintaan yang spesifik dan tercakup jelas secara efektif, tetapi tidak dapat menilai secara andal apakah pekerjaan mereka valid secara ilmiah atau memenuhi harapan. Bahkan, agen sering menunjukkan keyakinan meski pekerjaan mereka mengandung kesalahan yang jelas. Karena itu, peninjau manusia perlu menemukan cara yang andal untuk memvalidasi hasilnya. Pendekatan terkuat menggunakan acuan eksternal atau target penerimaan yang dapat diukur, seperti kecocokan keluaran secara persis, kesetaraan dengan alat yang sudah ada, perilaku statistik yang sesuai, atau jawaban yang telah ditetapkan sebelumnya menggunakan data simulasi.

Tema berulang lainnya adalah bahwa proyek umumnya berlangsung secara bertahap melalui iterasi berbasis umpan balik, bukan dengan pendekatan one-shot. Para kontributor membagi sasaran besar menjadi perubahan yang lebih kecil, lalu menggunakan tolok ukur antara dan sistem pengujian untuk mengevaluasi serta menyempurnakan pekerjaan agen. Agen sering menghasilkan implementasi awal dengan cepat, tetapi penyelesaian kasus khusus dan perbedaan numerik yang samar membutuhkan waktu jauh lebih lama. Menuntaskan "tahap akhir" implementasi sering kali membutuhkan upaya terbesar.

Secara keseluruhan, studi kasus ini menunjukkan bahwa agen memungkinkan peneliti menghabiskan lebih sedikit waktu untuk implementasi dan lebih banyak waktu untuk mengarahkan pekerjaan ilmiah. Manusia menetapkan tujuan, membagi proyek rumit menjadi bagian-bagian yang dapat dikelola, dan menilai apakah hasilnya valid secara ilmiah. Dengan meringankan kendala rekayasa yang telah lama ada, agen memperluas apa yang dapat dibuat peneliti sekaligus membebaskan mereka untuk berfokus pada pertanyaan dan keputusan ilmiah yang paling penting.

Kesenjangan pemeliharaan perangkat lunak penelitian telah lama memperlambat iterasi serta membatasi keterulangan dan keandalan. Studi yang dipublikasikan tentang "kode penelitian⁠(terbuka di jendela baru)" dan alat omika⁠(terbuka di jendela baru) menemukan bahwa perangkat lunak yang dipublikasikan sering kali tidak dapat dipasang dengan benar di lingkungan komputasi baru atau dijalankan sesuai dokumentasi, sehingga peneliti harus menghabiskan banyak waktu untuk konfigurasi dan penelusuran kesalahan. Bahkan perbaikan rutin dapat menghemat waktu peneliti dan mengurangi kebutuhan komputasi, sementara refaktorisasi dan penulisan ulang berbasis kinerja dapat memberikan peningkatan yang lebih besar.

Namun, biaya implementasi yang lebih rendah juga memudahkan pembuatan banyak versi serupa, sehingga memecah pengguna dan menyebarkan perhatian pakar yang diperlukan untuk menjaga keandalan setiap alat. Karena itu, pengelolaan dan atribusi jangka panjang sangat penting. Perangkat lunak ilmiah yang matang memiliki konvensi tanpa dokumentasi, persyaratan kompatibilitas, dan kepercayaan pengguna yang tidak dapat direproduksi hanya dengan menerjemahkan kode sumbernya.

Studi kasus ini menggambarkan beberapa kemungkinan langkah ke depan. Perubahan pada MHCflurry dan cyvcf2 dimasukkan ke proyek hulu aslinya, sedangkan rustar-aligner beralih ke pengelolaan komunitas baru karena proyek aslinya telah ditinggalkan. Jika koordinasi dengan pengelola yang ada memungkinkan, koordinasi tersebut harus dimulai sedini mungkin. Jika implementasi terpisah diperlukan, implementasi tersebut membutuhkan pemilik yang jelas dan rencana pemeliharaan yang meyakinkan. Tanpa itu, penulisan ulang modern hari ini dapat menjadi kode terbengkalai esok hari, alih-alih infrastruktur ilmiah yang andal.

Laporan lapangan ini bersifat retrospektif dan eksploratif, tetapi studi kasusnya menunjukkan pergeseran praktis dalam cara perangkat lunak ilmiah dikembangkan. Agen pengodean seperti Codex dapat secara signifikan menurunkan biaya pemeliharaan, migrasi, pengoptimalan, dan implementasi baru. Nilai ilmiah jangka panjangnya tetap bergantung pada keputusan manusia tentang apa yang harus dibuat, cara memverifikasinya, dan siapa yang akan memeliharanya. Perubahan yang lebih mendasar bukan sekadar bahwa peneliti dapat menghasilkan lebih banyak perangkat lunak, melainkan bahwa mereka dapat lebih memusatkan upaya pada penetapan, validasi, dan pengelolaan alat tersebut.

Studi kasus ini menunjukkan bahwa agen sudah dapat mempercepat laju iterasi dalam komputasi ilmiah. Seiring peningkatan agen pengodean, peneliti dapat menghabiskan lebih sedikit waktu untuk menjaga jalannya alur analisis dan lebih banyak waktu untuk memajukan bidang mereka.