معرفی LifeSciBench

سیستم‌های AI عامل محور به‌طور فزاینده‌ای توانمند می‌شوند تا وظایف علمی را انجام دهند. بااین‌حال، مفید بودن آن‌ها برای پژوهشگران علوم زیستی به این بستگی دارد که پیچیدگی پژوهش واقعی را چقدر خوب مدیریت کنند. این کار به‌ندرت شبیه یک پرسش ساده برای یادآوری یک واقعیت یا یک مسئله پیش‌بینی تمیز است. پژوهشگران شواهد ناقص را تفسیر می‌کنند، نتایج متعارض را با هم سازگار می‌سازند، آزمایش‌های دشوار طراحی می‌کنند، اشکالات آزمون‌ها را رفع می‌کنند، ریسک ترجمه به بالین را ارزیابی می‌کنند، و در شرایط عدم قطعیت درباره گام بعدی تصمیم می‌گیرند.

بنچمارک‌های کنونی این توانایی‌ها را به‌طور کامل پوشش نمی‌دهند. بسیاری از ارزیابی‌های علوم زیستی بر حوزه‌های محدود یا مهارت‌های جداگانه تمرکز دارند و در نتیجه پرسش‌هایی با قالب‌های ساختاریافته و پاسخ‌های مرجع تمیز تولید می‌کنند. این ارزیابی‌ها با وجود ارزشمند بودن، اغلب واقعاً نمی‌سنجند که آیا یک مدل می‌تواند در گستره وسیع‌تر کارهای سطح پژوهش مشارکت کند یا نه.

ما LifeSciBench را طراحی کردیم تا به پر کردن این شکاف کمک کند. هر وظیفه بر قضاوت دانشمندان علوم زیستیِ شاغل تکیه دارد که آموزش در سطح Ph.D. و تجربه مستقیم در پیشبرد برنامه‌های کشف دارو در محیط‌های زیست‌فناوری و داروسازی دارند.

LifeSciBench شامل ۷۵۰ وظیفه نوشته‌شده توسط متخصصان است که هفت گردش کار و هفت حوزه زیستی را پوشش می‌دهد.

LifeSciBench می‌سنجد که آیا سیستم‌های AI می‌توانند از وظایف پژوهشی واقع‌گرایانه در علوم زیستی پشتیبانی کنند، نه اینکه صرفاً به پرسش‌های زیست‌شناسی پاسخ دهند. برای تعریف طبقه‌بندی بنچمارک، از دانشمندان علوم زیستیِ شاغل درباره گردش کارهایی که در محیط‌های پژوهش کاربردی بیشترین استفاده را دارند نظرسنجی کردیم. سپس پاسخ‌های آن‌ها را در هفت دسته تکرارشونده گروه‌بندی کردیم: کار با شواهد، تحلیل، طراحی و بهینه‌سازی، استدلال علمی، اعتبارسنجی و عملیات، ترجمه، و ارتباطات علمی.

هر وظیفه مانند درخواستی ساختاربندی شده است که یک دانشمند ممکن است از یک همکار آگاه مطرح کند: اعلان علمی، هر زمینه یا آرتیفکت مرتبط، و یک پاسخ آزاد. روبریک‌های نوشته‌شده توسط متخصصان ارزیابی می‌کنند که آیا یک مدل می‌تواند برای مسئله‌ای مشخص، پاسخ درست را با سطح مناسبی از جزئیات، توجیه، قیود احتیاطی و قالب‌بندی مورد انتظار یک دانشمند تولید کند یا نه.

LifeSciBench استدلال علمی را در کنار مهارت‌های عملی و کمتر دقیقاً تعریف‌شده‌ای ارزیابی می‌کند که برای استفاده علمی در دنیای واقعی ضروری‌اند. وظایف آن از مدل‌ها می‌خواهند مسائل پژوهشی واقع‌گرایانه را حل‌وفصل کنند: تفسیر شواهد، انجام قضاوت‌های مبتنی بر حوزه، و بیان نتیجه‌گیری‌هایی که برای بازبینان متخصص مفید باشد. بسیاری از وظایف همچنین از مدل‌ها می‌خواهند به‌جای تکیه صرف بر متن اعلان، عدم قطعیت را مدیریت کنند و بر پایه فایل‌های داده پشتیبان استدلال کنند.

این بنچمارک برای بازتاب دادن پیچیدگی کار در علوم زیستی طراحی شده است. در مجموع، ۷۹٪ وظایف به چند مرحله استدلال یا تصمیم‌گیری نیاز دارند و میانگین هر وظیفه چهار مرحله است. LifeSciBench شامل ۱٬۰۶۲ آرتیفکت پیوست‌شده است که شکل‌ها، PDFها، جدول‌ها، فایل‌های توالی، فایل‌های ساختاری یا شیمیایی، و منابع وب را دربر می‌گیرد. بیش از نیمی از وظایف (۵۳٪) از مدل‌ها می‌خواهند اطلاعات را از دست‌کم یک آرتیفکت تفسیر یا ترکیب کنند.

وظایف را ۱۷۳ دانشمند متخصص از رشته‌های گوناگون علوم زیستی ایجاد کردند. هر دانشمند آموزش در سطح Ph.D. و تجربه صنعت زیست‌فناوری یا داروسازی داشت. وظایف می‌توانستند پیش از پذیرش، هر تعداد چرخه بازنگری لازم را طی کنند و سقف ثابتی برای تعداد دورها وجود نداشت؛ وظایف پذیرفته‌شده به‌طور میانگین شش چرخه بازبینی خودکارِ خودهدایت‌شده را گذراندند و دست‌کم دو دور بازبینی تخصصی را کامل کردند. بازبینی‌ها بر یک پاسخ درستِ قابل راستی‌آزمایی یا اجماع قوی متخصصان تکیه داشتند و در میان بازبینان حوزه مرتبط، دست‌کم ۹۰٪ توافق وجود داشت. این فرایند کمک کرد تا وظایف پذیرفته‌شده پشتوانه علمی داشته باشند، برای نمره‌دهی به‌اندازه کافی روشن باشند، و نماینده پژوهش کاربردی باشند.

وظایف LifeSciBench با روبریکی جزئی، اختصاصی هر وظیفه و متناسب با آن نمره‌دهی می‌شوند که پاسخ مورد انتظار را به ادعاهای علمی، محاسبات، تصمیم‌ها، توجیه‌ها و موارد مشابه مشخص تفکیک می‌کند. در سراسر بنچمارک، روبریک‌های تدوین‌شده توسط متخصصان ۱۹٬۰۲۰ معیار را شامل می‌شوند—به‌طور میانگین ۲۵ معیار برای هر وظیفه—تا هم درستی علمی و هم مفید بودن برای تصمیم‌های پژوهشی سنجیده شود.

این طراحی بازتاب می‌دهد که کار علمی در عمل چگونه ارزیابی می‌شود: بسیاری از وظایف علوم زیستی را نمی‌توان فقط با بررسی پاسخ نهایی نمره‌دهی کرد. یک پاسخ ممکن است به نتیجه‌گیری کلی درست برسد، اما همچنان ناقص ارزیابی شود؛ مثلاً اگر یک محدودیت کلیدی آزمون را نادیده بگیرد یا یک ظرافت زیستی بسیار پیامددار را فعالانه مطرح نکند. در مقابل، یک پاسخ جزئی ممکن است استدلال باکیفیتی داشته باشد، حتی اگر وظیفه را کاملاً حل نکند.

روبریک‌های ریزدانه این ظرافت را ثبت می‌کنند. LifeSciBench نه‌تنها دقت پاسخ نهایی را می‌سنجد، بلکه ارزیابی می‌کند که آیا یک مدل به شیوه‌ای از نظر علمی معتبر و از نظر عملیاتی مفید به پاسخ می‌رسد یا نه.

ما LifeSciBench را از طریق بازبینی مستقل متخصصان اعتبارسنجی کردیم. بازخورد از ۴۵۳ بازبین دریافت شد که در نوشتن وظایف نقشی نداشتند. از میان این بازبینان، ۹۷٪ دارای Ph.D. یا دکترای معادل بودند، با میانگین ۱۲ سال تجربه در حوزه و ۱۴ مقاله داوری‌شده؛ ۸۸٪ گزارش کردند که دست‌کم یک جایزه یا فلوشیپ دریافت کرده‌اند.

بازبینان نمره دادند که آیا هر وظیفه ویژگی‌های لازم برای یک پرسش بنچمارک قوی را دارد یا نه: همسویی با کار پژوهشی دنیای واقعی، سنجش مناسب استدلال علمی و تخصص حوزه‌ای، اتکا به شواهد یا اجماع متخصصان، و مفید بودن کلی برای ارزیابی عملکرد مدل. میزان توافق در همه دسته‌ها از ۹۶٪ بیشتر بود.

دیدگاه‌های بازبینان امتیازهای کمّی را تقویت کرد:

ما دو سنجه مکمل را گزارش می‌کنیم. نرخ قبولی درصد وظایفی است که در آن‌ها یک مدل آستانه موفقیتِ سطح وظیفه، یعنی ۷۰٪، را برآورده می‌کند. امتیاز، میانگین پاداش روبریک است و حتی وقتی کل وظیفه حل نشده باشد، برای معیارهای منفرد امتیاز جزئی می‌دهد. هر دو اهمیت دارند، چون پاسخ به یک وظیفه علمی می‌تواند بدون برآورده کردن همه الزامات یک پاسخ کامل، تا حدی درست یا مفید باشد.

عملکرد مدل بسته به نوع وظیفه، گردش کار، و قالب پاسخ به‌طور چشمگیری تغییر می‌کند.

LifeSciBench نشان می‌دهد مدل‌های پیشرو در وظایف مربوط به ترکیب علمی، ارتباطات، و تفسیر ساختاریافته نسبتاً قوی‌ترند. نرخ‌های قبولی مطلق هنوز متوسط‌اند، پس این حوزه‌های بنچمارک هنوز تا رسیدن به سقف عملکرد فاصله زیادی دارند، اما GPT‑Rosalind نسبت به GPT‑5.5 پیشرفت معناداری نشان می‌دهد و نرخ قبولی دقیق کلی را از ۲۵٫۷٪ به ۳۶٫۱٪ افزایش می‌دهد.

قوی‌ترین روندهای پیشرفت در قابلیت‌های مدل‌ها در حوزه‌های ارتباطات علمی و ترجمه مشاهده می‌شود. برای نمونه، نرخ قبولی در ارتباطات علمی از ۵۶٫۳٪ برای GPT‑5.5 به ۷۱٫۱٪ برای GPT‑Rosalind افزایش می‌یابد. این دسته کوچک است (n=9)، بنابراین باید با احتیاط تفسیر شود، اما نشان می‌دهد مدل‌های پیشرو به‌سرعت در توانایی سازمان‌دهی شواهد و ارائه توضیح‌های قانع‌کننده برای متخصصان در حال بهبود هستند. ترجمه، یعنی فرایند «از پژوهش تا بالین» در توسعه دارو، نیز الگویی مشابه نشان می‌دهد و از ۳۶٫۸٪ برای GPT‑5.5 به ۵۷٫۷٪ برای GPT‑Rosalind می‌رسد؛ موضوعی که نشان می‌دهد مدل‌ها به‌سرعت در توانایی پیوند دادن شواهد پیش‌بالینی به پیامدهای بالینی پیشرفت می‌کنند.

نتایج در سطح روبریک نیز همین جهت را نشان می‌دهد. در وظایفی که خروجی‌های مفید برای متخصص یا قابل اقدام می‌خواهند، GPT‑Rosalind امتیاز ۴۴٫۷٪ می‌گیرد، در مقایسه با ۲۹٫۱٪ برای GPT‑5.5. در وظایفی که به مدیریت عدم قطعیت و قیود احتیاطی نیاز دارند، امتیاز آن ۴۴٫۸٪ است، در مقایسه با ۲۹٫۳٪. این الگو نشان می‌دهد مدل‌ها زمانی بیشترین فایده را دارند که وظیفه مرز شواهدی روشن داشته باشد و قضاوت علمی ساختاریافته بخواهد.

عملکرد در کارهای علمیِ سنگین از نظر آرتیفکت، سنگین از نظر طراحی، و محدود از نظر عملیاتی بسیار ضعیف‌تر باقی می‌ماند. به‌طور مشخص، طراحی، بهینه‌سازی و پیش‌بینی همچنان یکی از دشوارترین گردش کارهاست و نرخ قبولی GPT‑Rosalind در آن ۳۰٫۷٪ است؛ تحلیل نیز با ۳۰٫۳٪ به همان اندازه دشوار است.

کار با آرتیفکت‌ها یکی از نقاط ضعف آشکار مدل‌هاست. هرچند GPT‑Rosalind در محیط‌های غنی از آرتیفکت عملکرد بهتری نسبت به GPT‑5.5 دارد، نرخ قبولی آن همچنان از ۴۵٫۱٪ در وظایف صرفاً متنی به ۲۸٫۱٪ در وظایف شامل آرتیفکت یا URL کاهش می‌یابد. GPT‑5.5 نیز همین الگو را نشان می‌دهد و از ۲۹٫۹٪ به ۲۱٫۹٪ افت می‌کند. تحلیل‌های دقیق‌تر نشان می‌دهند که مدل‌های پیشرفته در استخراج اطلاعات از شکل‌های پیچیده یا فایل‌های توالی بزرگ و ادغام آن اطلاعات در پاسخ نهایی همچنان با چالش روبه‌رو هستند.

قالب پاسخ نیز اهمیت دارد. وظایفی که خروجی‌های دقیق در سطح توالی، ساختار یا سازه می‌خواهند نرخ قبولی پایین‌تری دارند: GPT‑Rosalind در وظایف عددی فقط به ۱۴٫۸٪ و در خروجی‌های توالی یا ساختار به ۲۴٫۰٪ می‌رسد. وظایف تولید سازه نیز شکننده‌اند؛ GPT‑Rosalind در آن‌ها ۲۷٫۳٪ است و نسبت به GPT‑5.5 بهبود اندکی نشان می‌دهد. بخشی از این شکاف ممکن است بازتاب سطح نمره‌دهی سخت‌گیرانه‌تر برای وظایف با پاسخ دقیق باشد، جایی که تفاوت‌های کوچک در محاسبه یا قالب‌بندی می‌تواند باعث شود پاسخ زیر آستانه قبولی قرار گیرد. بااین‌حال، این شکست‌ها از نظر علمی معنادارند، چون بسیاری از گردش کارهای علوم زیستی به خروجی‌هایی نیاز دارند که آن‌قدر دقیق باشند که مستقیم استفاده شوند، مانند طراحی دهنده CRISPR/HDR یا طراحی siRNA.

مدل‌ها همچنین اغلب بخشی از مسیر را طی می‌کنند، اما وظیفه را کاملاً حل نمی‌کنند. در حدود ۱۴٪ وظایف، مدل‌ها با وجود عبور نکردن از آستانه قبولی دقیق، امتیاز قابل توجهی از روبریک کسب کردند. برای GPT‑Rosalind، ۱۰۹ وظیفه نرخ قبولی زیر ۲۰٪ داشتند، اما همچنان دست‌کم ۵۰٪ پاداش روبریک گرفتند. در عمل، یعنی مدل‌ها ممکن است شواهد مرتبط را شناسایی کنند یا پاسخی جزئی و قابل قبول تولید کنند، اما باز هم شکست بخورند، چون یک قید کلیدی را از قلم می‌اندازند، از شواهد نادرست استفاده می‌کنند، محاسبه‌ای ناقص انجام می‌دهند، یا استدلال خود را به تصمیم نهاییِ مفید از نظر علمی وصل نمی‌کنند.

LifeSciBench گامی در جهت سنجش میزان مفید بودن سیستم‌های AI برای پژوهش علوم زیستی است، اما جایگزین مطالعه مدل‌ها در محیط‌های پژوهشی زنده نیست. این بنچمارک بر وظایف خودبسنده‌ای تمرکز دارد که گردش کارهای تکرارشونده صنعت را بازتاب می‌دهند، در حالی که بسیاری از تخصص‌های علمی و انواع وظیفه بیرون از دامنه فعلی آن باقی می‌مانند. پژوهش واقعی تکرارشونده است: دانشمندان شواهد تازه گردآوری می‌کنند، فرضیه‌ها را بازنگری می‌کنند، آزمایش‌های پیگیری طراحی می‌کنند، و با ظهور نتایج، برنامه‌های خود را سازگار می‌سازند.

بنابراین عملکرد قوی در LifeSciBench باید به‌عنوان شواهدی از توانمندی واقع‌گرایانه در سطح وظیفه تفسیر شود، نه به‌عنوان سنجه‌ای مستقیم از اثر پژوهشی پایین‌دستی. این بنچمارک بر گردش کارهای صنعت تکیه دارد، اما تنوع یا پویایی کامل برنامه‌های پژوهشی زنده را ثبت نمی‌کند؛ برنامه‌هایی که پیشرفت در آن‌ها به عواملی وابسته است که در طول زمان آشکار می‌شوند.

گام بعدی، پیوند دادن عملکرد بنچمارک به مطالعات استقرار در گردش کارهای پژوهشی زنده است. هرچند LifeSciBench با همکاری دانشمندان شاغل توسعه یافت، سنجش اینکه آیا سیستم‌های AI کشف را سرعت می‌بخشند یا نتایج R&D را بهبود می‌دهند، نیازمند مطالعه استفاده و عملکرد مدل در محیط‌های پژوهشی واقعی، در افق‌های زمانی طولانی‌تر، و در چندین دور استدلال، بازخورد و پیگیری آزمایشی است.