Представляємо GeneBench-Pro
Бенчмарк дослідницького рівня, що вимірює, як ШІ-агенти орієнтуються в неоднозначності й ухвалюють важливі рішення в обчислювальній біології.
Наукові дані рідко надходять з інструкціями. Дослідники мають вирішувати, чи відображає патерн біологію або шум, чи можуть дані підтримати поставлене запитання і як кожен результат має змінити їхні наступні дії. ШІ-агенти дедалі краще здатні виконувати складні аналізи, але реальні наукові дослідження залежать не лише від пригадування фактів чи дотримання наперед визначеного робочого процесу, а й від ухвалення таких суджень вищого порядку.
Сьогодні ми представляємо GeneBench-Pro — складний бенчмарк дослідницького рівня для перевірки того, чи можуть моделі впоратися з аналізом, насиченим судженнями, якого вимагає реальна обчислювальна біологія. Він розширює GeneBench(відкривається у новому вікні), охоплюючи складніші й реалістичніші завдання в геноміці, кількісній біології та трансляційній медицині й відображаючи складність, ітеративність і неоднозначність наукових досліджень в обчислювальній біології.
Досі було небагато переконливих оцінок системного рівня суджень, які роблять реальні обчислювальні дослідження складними. До них належать робота з неоднозначністю, перегляд припущень, вибір правильного шляху аналізу та розуміння того, коли результат уже готовий для ухвалення рішення. Оскільки ці навички важко формалізувати, їх також важко суворо оцінювати, навіть тоді, коли слабкі місця в них дедалі більше обмежують загальну продуктивність ШІ.
GeneBench-Pro створено саме для точного вимірювання цих можливостей вищого рівня. У GeneBench-Pro ми визначаємо «дослідницьке розуміння» як ланцюги суджень, що формують аналіз: які запитання можуть підтримати дані, як рання діагностика має змінити модель або оцінюваний показник і коли початковий план потрібно переглянути. Кожна задача GeneBench-Pro дає моделі реалістичний і безладний набір даних, короткий експериментальний контекст і цільовий оцінюваний показник, пов’язаний із подальшим рішенням. Щоб відповісти правильно, модель має дослідити дані, вибрати відповідний аналітичний підхід, пройти ітеративний процес експериментування та надати остаточну відповідь.
У біології вартість створення даних (наприклад, секвенування геному) різко знизилася, і деякі дослідники тепер стверджують(відкривається у новому вікні), що обмежувальним фактором є вже не збирання зразків, а подальші обчислення й аналіз. GeneBench-Pro створено для оцінювання прогресу в усуненні цього вузького місця: він містить 129 запитань, що охоплюють широкий спектр умов і методів обчислювальної біології.
Покажчик предметних областей: 129 задач у 10 предметних областей і 21 підобластей
Натисніть на точку вище, щоб дізнатися більше про тестову задачу.
Цей атлас дає попереднє уявлення про широту GeneBench-Pro. Відвідайте сторінку практичних прикладів, щоб детальніше ознайомитися з 10 репрезентативними запитаннями.
GeneBench-Pro також розроблено так, щоб уникати поширених помилок бенчмарків. Багато довгострокових біологічних бенчмарків будують багатокрокові запитання навколо неструктурованих історичних наборів даних, де може не бути єдиного правильного шляху аналізу. Один агент може вибрати один обґрунтований поріг, а інший — інший, але так само обґрунтований варіант, що радше відображає довільні рішення автора бенчмарку, ніж будь-які фундаментальні відмінності в продуктивності моделей. Може статися й протилежне: якщо проблема надто нечутлива до числових відмінностей, агент може припуститися фундаментальних помилок в аналізі й усе одно отримати прохідний результат.
Щоб уникнути цих режимів відмови, кожну задачу GeneBench-Pro побудовано синтетично: ми знаємо повну каузальну структуру й безпосередньо симулюємо процес генерування даних. Це дає нам змогу налаштовувати складність кожної задачі, гарантувати, що розумні відмінності в суб’єктивних аналітичних виборах усе одно дають прийнятні числові результати, і перевіряти (через абляційні дослідження), що правдоподібні, але неправильні аналізи не проходять. Після цього ми аудіюємо чернетки задач за допомогою детального аналізу трас, щоб перевірити витоки інформації та ненавмисні шляхи розв’язання. Це дає нам упевненість, що правильна відповідь залежить від вибору правильного аналітичного шляху, а не від використання скорочення чи збігу з довільною авторською вподобою.
Ми надіслали 82 зі 129 запитань GeneBench-Pro зовнішнім експертам у відповідних галузях, зокрема аспірантам, постдокторантам, науковцям з індустрії та професорам. Рецензенти оцінювали реалістичність кожної задачі, те, чи можна ідентифікувати цільову відповідь, а також доречність методів і оцінювачів. Відгуки використали для поліпшення задач.
“Завдання, які я переглядав, було б складно виконати аспірантові без багаторазового зворотного зв’язку від досвідченого наукового керівника. Дані містили технічні проблеми та проблеми контролю якості, тож для успішного завершення потрібен був вдумливий і рефлексивний аналіз даних з урахуванням можливих пасток; це не було простим застосуванням готового методу до чистих і добре впорядкованих даних.”
“Навіть якщо нинішні моделі ще не здатні надійно виконувати незалежні аналізи від початку до кінця, ті, що добре справляються із задачами GeneBench-Pro, очевидно, могли б допомагати дослідникам визначати правильні робочі процеси та досліджувати дані. Я бачу, як це могло б значно підвищити темп, ретельність і відтворюваність досліджень.”
Кожна задача GeneBench-Pro — це самодостатній науковий аналіз. Агенти отримують доступ до ізольованого робочого простору з коротким запитом, файлами даних і стандартним стеком біоінформатики, зокрема Python, бібліотеками наукових обчислень і базовими геномними пакетами на кшталт PLINK 2.0 (хоча задачі не потребують предметно-специфічних інструментів).
Рішення щодо співвідношення користі й ризику терапії пухлин на основі структурних варіантів
Оскільки ми контролюємо весь процес генерування даних, ми можемо детерміновано оцінювати правильність щодо відомих цілей, уникаючи варіативності вибору моделі та ефектів багатослівності, притаманних стандартному оцінюванню за рубриками.
Кожна задача також має багаті метадані, зокрема передбачену структуру аналізу, прикріплені файли даних, детальний багатосторінковий практичний приклад та результати експертного огляду. Ми повністю відкриваємо 10 репрезентативних запитань GeneBench-Pro на Hugging Face(відкривається у новому вікні) разом з інтерактивним вебінтерфейсом для їх перегляду. Нарешті, найближчим часом ми надамо підмножину з 50 запитань Artificial Analysis(відкривається у новому вікні) для незалежного стороннього бенчмаркінгу.
Наша найсильніша модель, GPT‑5.6 Sol, досягає частки проходження 28,7% на найвищому рівні міркування (31,5% з увімкненим режимом Pro). Це різке зростання порівняно з моментом, коли ми почали створювати оригінальний GeneBench; тоді наша найкраща передова модель, GPT‑5, набирала менш ніж 5%. Прогрес у цьому бенчмарку свідчить, що передові моделі швидко вдосконалюються навіть у менш відчутному науковому міркуванні системного рівня. За нинішнього темпу цей бенчмарк може бути насичений до кінця року.
Результати також показують вплив масштабування обчислень під час тестування. На найнижчому рівні міркування GPT‑5.6 Sol досягає лише однозначної частки проходження. На найвищому рівні міркування GPT‑5.6 Sol розв’язує майже вшестеро більше запитань, ніж GPT‑5.2, використовуючи приблизно дві третини від кількості токенів.
Порівняння між сімействами моделей свідчать, що моделі GPT належать до найсильніших систем у науковому міркуванні високого рівня за умов кількісної невизначеності. Розрив у продуктивності між GPT‑5.6, GPT‑5.5 і провідними моделями з відкритим кодом, як-от GLM 5.2, значно більший, ніж ми очікували б за екстраполяції з бенчмарків написання коду(відкривається у новому вікні); це вказує на те, що моделі з відкритим кодом більше спеціалізовані на кодуванні, ніж на ширшій здатності до міркування.
Під час розробки ми використовували передові моделі GPT, щоб оцінювати й зміцнювати задачі. Тому ми припускали, що GeneBench-Pro може бути упередженим проти моделей GPT порівняно з іншими сімействами моделей. Однак моделі конкурентів у найкращому разі зрівнювалися з відповідною моделлю GPT на момент випуску й зазвичай суттєво відставали.
Ці результати оцінювання — до 31,5% на GPT‑5.6 Sol (Pro) — вражають з огляду на складність запитань GeneBench-Pro. В опитуванні наші рецензенти оцінили, що типова задача GeneBench-Pro потребувала б від людського експерта приблизно 20–40 годин роботи. За консервативної ставки 200 доларів США на годину це означає, що вартість людської праці для виконання однієї задачі сягає тисяч доларів. Нинішні ШІ-агенти все ще надто ненадійні, щоб замінити людських експертів, але розрив у вартості великий: витрати на інференс становлять лише кілька доларів на задачу. Це означає, що навіть часткова автоматизація за нинішніх можливостей може створити значну економічну й наукову цінність.
“Бенчмарки мотивовані широким спектром біологічних питань, але … справжня складність полягає в дослідницькому аналізі даних і міркуванні на основі цих відкриттів: виявленні патернів та артефактів і вирішенні, чи слід виключати дані або коригувати їх. Це нагадує безладну природу реальних біологічних наборів даних. Перегляд цих оцінювань показує, наскільки важливі чіткі контракти для розв’язувачів в агентному розв’язанні наукових задач. Інше формулювання запиту або специфікації завдання може суттєво вплинути на те, які аналізи видаються допустимими.”
“Загалом мені сподобалися запитання. У них зазвичай поєднувалися: (1) потрібні знання предметної області, наприклад зміщення C>T у давній ДНК, (2) невідповідності в даних, наприклад перестановки походження, (3) певне розуміння правильних аналітичних інструментів для завдання та того, як їх застосувати. Здавалося, більшість агентів зазнала невдачі на пункті (2). Вони недостатньо обережні щодо проблем із даними. Можливо, це вказує на слабке місце нинішніх моделей. А в багатьох біологічних даних є неоднорідності.”
Водночас той факт, що передові моделі досі розв’язують менш ніж третину цих задач, свідчить про значний простір для покращення. Моделі можуть частково просуватися в складних задачах, але їм важко замкнути логічний ланцюг висновку. Цей патерн невдачі віддзеркалює контраст між експертами-людьми й новачками. Експерти використовують свій досвід, щоб сформулювати проблему й адаптувати підхід, тоді як новачки роблять спостереження, але їм важко інтегрувати їх у ширший контекст проблеми.
Завдання: фармакогеномна відповідь часу до події за змінного в часі лікування
Патерн GPT-5.5
Патерн GPT-5.6 Sol
Досягнення майже ідеальної продуктивності потребуватиме оцінювань, які водночас надійно вимірюють прогрес і виявляють, де моделі досі зазнають невдачі. Бенчмарки на кшталт GeneBench-Pro можуть допомогти перетворити нечіткий дефіцит можливостей на те, що можна діагностувати й поліпшувати.
Якщо агенти зможуть надійно автоматизувати цей клас аналізу, вони можуть суттєво прискорити наукові відкриття. Генетичні дані людей уже є центральними для пріоритизації мішеней і трансляційного супроводу, адже механізми з генетичною підтримкою значно частіше ведуть до схвалених методів лікування.
Тим часом вартість секвенування різко впала, а набори даних масштабу біобанків тепер пов’язують молекулярну, фенотипову й медичну інформацію з безпрецедентним охопленням. Обмежувальний фактор зміщується від створення даних до перетворення інформації на практичні інсайти. Моделі, які можуть стабільно виконувати аналізи, що нині виконують команди експертів-людей, здатні трансформувати промислові дослідження, прискорюючи сортування гіпотез, подальше опрацювання цілей і цикл ітерацій між створенням даних і ухваленням рішень.
GeneBench-Pro є першою спробою оцінити більш абстрактні навички, пов’язані з якісним науковим судженням, якими володіють досвідчені фахівці. Ці навички дають їм змогу інтуїтивно знаходити й визначати найперспективніші початкові аналізи, ітерувати й переглядати своє мислення, коли дані суперечать початковим припущенням, і доходити висновків, від яких можуть залежати подальші клінічні, академічні або бізнес-рішення.
Ми очікуємо, що з розвитком можливостей моделей бенчмарки, які перевіряють здібності моделей на цих вищих рівнях абстракції, ставатимуть дедалі кориснішими — на відміну від тих, що просто тестують книжкові знання або здатність виконувати рутинні аналізи.
