LifeSciBench-ის წარდგენა

აგენტური ხელოვნური ინტელექტის სისტემები სამეცნიერო დავალებების შესრულებაში სულ უფრო ქმედუნარიანი ხდება. თუმცა მათი სარგებლიანობა სიცოცხლის მეცნიერებების მკვლევრებისთვის დამოკიდებულია იმაზე, რამდენად კარგად უმკლავდებიან ისინი რეალური კვლევის სირთულეს. ასეთი სამუშაო იშვიათად ჰგავს ფაქტის გახსენების ერთ კითხვას ან სუფთა პროგნოზირების ამოცანას. მკვლევრები აანალიზებენ არასრულ მტკიცებულებას, ათანხმებენ ურთიერთსაწინააღმდეგო შედეგებს, გეგმავენ რთულ ექსპერიმენტებს, აგვარებენ ანალიზების პრობლემებს, აფასებენ ტრანსლაციურ რისკს და გაურკვევლობის პირობებში წყვეტენ შემდეგ ნაბიჯს.

ამჟამინდელი ბენჩმარკები ამ უნარებს სრულად ვერ ასახავს. სიცოცხლის მეცნიერებების ბევრი შეფასება ვიწრო დომენებზე ან განცალკევებულ უნარებზეა ფოკუსირებული, რის შედეგადაც ჩნდება სტრუქტურირებული კითხვები და სუფთა ეტალონური პასუხები. მათი ღირებულების მიუხედავად, ისინი ხშირად ვერ აფასებენ რეალურად, შეუძლია თუ არა მოდელს კვლევითი დონის სამუშაოს ფართო სპექტრში წვლილის შეტანა.

LifeSciBench სწორედ ამ ხარვეზის შესავსებად შევქმენით. ყოველი დავალება ეფუძნება პრაქტიკოს სიცოცხლის მეცნიერების სპეციალისტთა შეფასებას, რომლებსაც აქვთ Ph.D.-დონის მომზადება და ბიოტექნოლოგიურ თუ ფარმაცევტულ გარემოში წამლის აღმოჩენის პროგრამების წინ წაწევის უშუალო გამოცდილება.

LifeSciBench მოიცავს ექსპერტების მიერ შექმნილ 750 დავალებას, რომლებიც შვიდ სამუშაო პროცესსა და შვიდ ბიოლოგიურ დომენს ფარავს.

LifeSciBench ზომავს, შეუძლიათ თუ არა AI სისტემებს რეალისტური სიცოცხლის მეცნიერებების კვლევითი დავალებების მხარდაჭერა და არა მხოლოდ ბიოლოგიის კითხვებზე პასუხის გაცემა. ბენჩმარკის ტაქსონომიის განსასაზღვრად პრაქტიკოს სიცოცხლის მეცნიერების სპეციალისტებს გამოვკითხეთ, რომელ სამუშაო პროცესებს იყენებენ ყველაზე ხშირად გამოყენებითი კვლევის გარემოში. შემდეგ მათი პასუხები შვიდ განმეორებად კატეგორიად დავაჯგუფეთ: მტკიცებულების დამუშავება, ანალიზი, დიზაინი და ოპტიმიზაცია, სამეცნიერო მსჯელობა, ვალიდაცია და ოპერაციები, ტრანსლაცია და სამეცნიერო კომუნიკაცია.

თითოეული დავალება აგებულია ისე, როგორც თხოვნა, რომელსაც მეცნიერი ცოდნიან კოლაბორატორს მისცემდა: სამეცნიერო მოთხოვნა, შესაბამისი კონტექსტი ან არტეფაქტები და თავისუფალი ფორმის პასუხი. ექსპერტების მიერ დაწერილი რუბრიკები აფასებს, შეუძლია თუ არა მოდელს კონკრეტულ პრობლემაზე სწორი პასუხის შექმნა იმ დეტალით, დასაბუთებით, დათქმებითა და ფორმატით, რასაც მეცნიერი მოელოდა.

LifeSciBench სამეცნიერო მსჯელობას აფასებს რეალურ სამყაროში სამეცნიერო გამოყენებისთვის საჭირო ნაკლებად მკაფიო, პრაქტიკულ უნარებთან ერთად. მისი დავალებები მოდელებს რეალისტურ კვლევით პრობლემებზე მუშაობას სთხოვს: მტკიცებულების ინტერპრეტაციას, დომენზე დაფუძნებულ შეფასებებს და ისეთი დასკვნების კომუნიკაციას, რომლებიც ექსპერტი მიმომხილველებისთვის სასარგებლო იქნება. ბევრი დავალება ასევე მოითხოვს, რომ მოდელებმა გაურკვევლობა მართონ და მხოლოდ მოთხოვნის ტექსტზე დაყრდნობის ნაცვლად დამხმარე მონაცემთა ფაილებზეც იმსჯელონ.

ბენჩმარკი შექმნილია სიცოცხლის მეცნიერებების სამუშაოს სირთულის ასასახად. საერთო ჯამში, დავალებების 79% მოითხოვს მსჯელობის ან გადაწყვეტილების მიღების რამდენიმე ნაბიჯს; საშუალოდ თითო დავალებაზე ოთხი ნაბიჯია. LifeSciBench მოიცავს 1,062 მიმაგრებულ არტეფაქტს: ფიგურებს, PDF-ებს, ცხრილებს, მიმდევრობის ფაილებს, სტრუქტურულ ან ქიმიურ ფაილებს და ვებწყაროებს. დავალებების ნახევარზე მეტი (53%) მოდელებისგან მოითხოვს სულ მცირე ერთი არტეფაქტიდან ინფორმაციის ინტერპრეტაციას ან სინთეზს.

დავალებები შექმნა 173-მა ექსპერტმა მეცნიერმა სიცოცხლის მეცნიერებების სხვადასხვა დისციპლინიდან. თითოეულ მათგანს ჰქონდა Ph.D.-დონის მომზადება და ბიოტექნოლოგიურ ან ფარმაცევტულ ინდუსტრიაში მუშაობის გამოცდილება. დავალებებს მიღებამდე შეეძლო იმდენი რევიზიის ციკლის გავლა, რამდენიც საჭირო იყო, რაუნდების ფიქსირებული ზღვრის გარეშე; მიღებულმა დავალებებმა საშუალოდ გაიარა ექვსი თვითმართული ავტომატური მიმოხილვის ციკლი და მინიმუმ ორი ექსპერტული მიმოხილვის რაუნდი. მიმოხილვები ეფუძნებოდა ან გადამოწმებად სწორ პასუხს, ან ძლიერ ექსპერტულ კონსენსუსს, შესაბამის დომენში მიმომხილველთა მინიმუმ 90%-იანი თანხმობით. ამ პროცესმა ხელი შეუწყო, რომ მიღებული დავალებები მეცნიერულად დასაბუთებული, შესაფასებლად საკმარისად მკაფიო და გამოყენებითი კვლევის წარმომადგენელი ყოფილიყო.

LifeSciBench-ის დავალებები ფასდება დეტალური, დავალებაზე მორგებული რუბრიკით, რომელიც მოსალოდნელ პასუხს შლის კონკრეტულ სამეცნიერო მტკიცებებად, გამოთვლებად, გადაწყვეტილებებად, დასაბუთებებად და სხვა კომპონენტებად. ბენჩმარკის მასშტაბით, ექსპერტების შემუშავებული რუბრიკები მოიცავს 19,020 კრიტერიუმს — საშუალოდ 25-ს თითო დავალებაზე — როგორც სამეცნიერო სისწორის, ისე კვლევითი გადაწყვეტილებებისთვის სარგებლიანობის შესაფასებლად.

ეს დიზაინი ასახავს, როგორ ფასდება სამეცნიერო სამუშაო პრაქტიკაში: სიცოცხლის მეცნიერებების ბევრ დავალებას მხოლოდ საბოლოო პასუხის შემოწმებით ვერ შეაფასებ. პასუხი შეიძლება მივიდეს სწორ ზოგად დასკვნამდე, მაგრამ მაინც არასრულად ჩაითვალოს, თუ, მაგალითად, გამორჩება ანალიზის მნიშვნელოვანი შეზღუდვა ან პროაქტიულად არ ახსენებს მაღალი მნიშვნელობის ბიოლოგიურ ნიუანსს. მეორე მხრივ, ნაწილობრივ პასუხში შეიძლება იყოს მაღალი ხარისხის მსჯელობა, თუნდაც დავალება სრულად არ გადაწყვიტოს.

გრანულარული რუბრიკები ამ ნიუანსს იჭერს. LifeSciBench აფასებს არა მხოლოდ საბოლოო პასუხის სიზუსტეს, არამედ იმასაც, მიდის თუ არა მოდელი პასუხამდე მეცნიერულად ვალიდური და ოპერაციულად სასარგებლო გზით.

LifeSciBench დამოუკიდებელი ექსპერტული მიმოხილვით დავავალიდირეთ. უკუკავშირი მივიღეთ 453 მიმომხილველისგან, რომლებიც დავალებების შექმნაში არ მონაწილეობდნენ. მათგან 97%-ს ჰქონდა Ph.D. ან ექვივალენტური დოქტორის ხარისხი, საშუალოდ 12 წლიანი დარგობრივი გამოცდილება და 14 რეცენზირებული პუბლიკაცია; 88%-მა აღნიშნა, რომ მინიმუმ ერთი ჯილდო ან სტიპენდია ჰქონდა მიღებული.

მიმომხილველებმა შეაფასეს, ასახავდა თუ არა თითოეული დავალება ძლიერი ბენჩმარკ-კითხვისთვის საჭირო თვისებებს: შესაბამისობას რეალურ კვლევით სამუშაოსთან, სამეცნიერო მსჯელობისა და დომენური ექსპერტიზის სათანადო შემოწმებას, მტკიცებულებაზე ან ექსპერტულ კონსენსუსზე დაფუძნებას და მოდელის მუშაობის შესაფასებლად საერთო სარგებლიანობას. თანხმობა ყველა კატეგორიაში 96%-ს აღემატებოდა.

მიმომხილველთა კომენტარებმა რაოდენობრივი შეფასებები გაამყარა:

ჩვენ ორ ურთიერთშემავსებელ მეტრიკას ვანგარიშობთ. ჩაბარების მაჩვენებელი არის დავალებების პროცენტი, რომლებშიც მოდელი აღწევს დავალების დონის წარმატების 70%-იან ზღვარს. ქულა არის რუბრიკის საშუალო ჯილდო, რომელიც ინდივიდუალურ კრიტერიუმებზე ნაწილობრივ კრედიტს იძლევა მაშინაც, როცა სრული დავალება გადაწყვეტილი არ არის. ორივე მნიშვნელოვანია, რადგან სამეცნიერო დავალებაზე პასუხი შეიძლება ნაწილობრივ სწორი ან სასარგებლო იყოს სრული პასუხის ყველა მოთხოვნის დაკმაყოფილების გარეშეც.

მოდელის შედეგები მნიშვნელოვნად იცვლება დავალების ტიპის, სამუშაო პროცესისა და პასუხის ფორმატის მიხედვით.

LifeSciBench აჩვენებს, რომ მოწინავე მოდელები შედარებით ყველაზე ძლიერია სამეცნიერო სინთეზის, კომუნიკაციისა და სტრუქტურირებული ინტერპრეტაციის დავალებებში. აბსოლუტური ჩაბარების მაჩვენებლები ჯერაც მოკრძალებულია, ამიტომ ეს ბენჩმარკ-დომენები გაჯერებისგან შორსაა, თუმცა GPT‑Rosalind GPT‑5.5‑თან შედარებით მნიშვნელოვან პროგრესს აჩვენებს: საერთო ზუსტი ჩაბარება 25.7%-დან 36.1%-მდე იზრდება.

მოდელის შესაძლებლობების პროგრესის ყველაზე ძლიერი მიმართულებები ჩანს სამეცნიერო კომუნიკაციასა და ტრანსლაციაში. მაგალითად, სამეცნიერო კომუნიკაციაში ჩაბარების მაჩვენებელი GPT‑5.5‑ის 56.3%-დან GPT‑Rosalind‑ის 71.1%-მდე იზრდება; ეს კატეგორია მცირეა (n=9), ამიტომ სიფრთხილით უნდა განიმარტოს, თუმცა მიანიშნებს, რომ მოწინავე მოდელები სწრაფად უმჯობესდება მტკიცებულების ორგანიზებასა და ექსპერტებისთვის დამაჯერებელი ახსნების შექმნაში. ტრანსლაცია — წამლის განვითარების „ლაბორატორიიდან პაციენტამდე“ პროცესი — მსგავს სურათს აჩვენებს: GPT‑5.5‑ის 36.8%-დან GPT‑Rosalind‑ის 57.7%-მდე ზრდა მიანიშნებს, რომ მოდელები სწრაფად უმჯობესდება პრეკლინიკური მტკიცებულების კლინიკურ შედეგებთან დაკავშირებაში.

რუბრიკის დონის შედეგებიც იმავე მიმართულებაზე მიუთითებს. დავალებებზე, რომლებიც ექსპერტისთვის სასარგებლო ან ქმედით შედეგებს მოითხოვს, GPT‑Rosalind 44.7%-ს იღებს, GPT‑5.5‑ის 29.1%-თან შედარებით. დავალებებზე, რომლებიც გაურკვევლობისა და დათქმების მართვას მოითხოვს, მისი ქულა 44.8%-ია, 29.3%-თან შედარებით. ეს სურათი მიანიშნებს, რომ მოდელები ყველაზე სასარგებლოა მაშინ, როცა დავალებას მკაფიო მტკიცებულებითი საზღვარი აქვს და სტრუქტურირებულ სამეცნიერო განსჯას მოითხოვს.

შედეგები ბევრად სუსტია არტეფაქტებით დატვირთულ, დიზაინზე ორიენტირებულ და ოპერაციულად შეზღუდულ სამეცნიერო სამუშაოში. კერძოდ, დიზაინი, ოპტიმიზაცია და პროგნოზირება ერთ-ერთ ურთულეს სამუშაო პროცესად რჩება: GPT‑Rosalind‑ის ჩაბარების მაჩვენებელი 30.7%-ია; ანალიზიც მსგავსად რთულია — 30.3%.

არტეფაქტების გამოყენება განსაკუთრებით მკაფიო ხარვეზია. მართალია, GPT‑Rosalind არტეფაქტებით დატვირთულ გარემოში GPT‑5.5‑ზე უკეთ მუშაობს, მაგრამ მისი ჩაბარების მაჩვენებელი მაინც 45.1%-დან ტექსტურ დავალებებში 28.1%-მდე ეცემა არტეფაქტების ან URL-ების მქონე დავალებებში. GPT‑5.5‑შიც იგივე სურათია: მაჩვენებელი 29.9%-დან 21.9%-მდე ეცემა. უფრო დეტალური ანალიზი ადასტურებს, რომ მოწინავე მოდელებს უჭირთ რთული ფიგურებიდან ან დიდი მიმდევრობის ფაილებიდან ინფორმაციის ამოღება და მისი საბოლოო პასუხში ინტეგრირება.

მნიშვნელოვანია პასუხის ფორმატიც. დავალებები, რომლებიც ზუსტ მიმდევრობას, სტრუქტურას ან კონსტრუქტის დონის შედეგებს მოითხოვს, დაბალ ჩაბარების მაჩვენებლებს აჩვენებს: GPT‑Rosalind რიცხვით დავალებებში მხოლოდ 14.8%-ს აღწევს, ხოლო მიმდევრობის ან სტრუქტურის შედეგებში — 24.0%-ს. კონსტრუქტის გენერირების დავალებებიც მყიფეა: GPT‑Rosalind‑ის მაჩვენებელი 27.3%-ია და GPT‑5.5‑თან შედარებით მცირე გაუმჯობესებას აჩვენებს. ამ ხარვეზის ნაწილი შეიძლება ასახავდეს ზუსტპასუხიან დავალებებში უფრო მკაცრ შეფასების ზედაპირს, სადაც გამოთვლაში ან ფორმატირებაში მცირე სხვაობამაც შეიძლება პასუხი ჩაბარების ზღვარს ქვემოთ ჩამოიყვანოს. თუმცა ეს ჩავარდნები მეცნიერულად მნიშვნელოვანია, რადგან სიცოცხლის მეცნიერებების ბევრი სამუშაო პროცესი პირდაპირ გამოსაყენებლად საკმარისად ზუსტ შედეგებს მოითხოვს, მაგალითად CRISPR/HDR დონორის დიზაინში ან siRNA დიზაინში.

მოდელები ხშირად ნაწილობრივ მიდიან მიზნამდე, მაგრამ დავალებას ბოლომდე ვერ წყვეტენ. დავალებების დაახლოებით 14%-ში მოდელებმა მნიშვნელოვანი რუბრიკული კრედიტი მიიღეს, მიუხედავად იმისა, რომ ზუსტი ჩაბარების ზღვარს ვერ მიაღწიეს. GPT‑Rosalind‑ის შემთხვევაში 109 დავალებას ჰქონდა 20%-ზე დაბალი ჩაბარების მაჩვენებელი, თუმცა მაინც მიიღო რუბრიკის ჯილდოს მინიმუმ 50%. პრაქტიკაში ეს ნიშნავს, რომ მოდელებმა შეიძლება ამოიცნონ შესაბამისი მტკიცებულება ან შექმნან სარწმუნო ნაწილობრივი პასუხი, მაგრამ მაინც ჩავარდნენ, რადგან გამორჩებათ საკვანძო შეზღუდვა, გამოიყენებენ არასწორ მტკიცებულებას, არასრულად გამოთვლიან ან თავიანთ მსჯელობას მეცნიერულად სასარგებლო საბოლოო გადაწყვეტილებას არ დაუკავშირებენ.

LifeSciBench არის ნაბიჯი იმის გაზომვისკენ, რამდენად სასარგებლო შეიძლება იყოს AI სისტემები სიცოცხლის მეცნიერებების კვლევისთვის, მაგრამ ის ვერ ჩაანაცვლებს მოდელების შესწავლას ცოცხალ კვლევით გარემოში. ბენჩმარკი ფოკუსირებულია თვითკმარ დავალებებზე, რომლებიც განმეორებად ინდუსტრიულ სამუშაო პროცესებს ასახავს, ხოლო ბევრი სამეცნიერო სპეციალობა და დავალების ტიპი მის ამჟამინდელ ფარგლებს მიღმა რჩება. რეალური კვლევა იტერაციულია: მეცნიერები აგროვებენ ახალ მტკიცებულებას, ცვლიან ჰიპოთეზებს, გეგმავენ შემდგომ ექსპერიმენტებს და შედეგების გამოჩენასთან ერთად გეგმებს არგებენ.

ამიტომ LifeSciBench-ზე ძლიერი შედეგი უნდა განიმარტოს, როგორც რეალისტური დავალების დონის უნარის მტკიცებულება და არა როგორც შემდგომ კვლევით ზეგავლენაზე პირდაპირი საზომი. ბენჩმარკი ინდუსტრიულ სამუშაო პროცესებს ეფუძნება, მაგრამ ვერ ასახავს ცოცხალი კვლევითი პროგრამების სრულ მრავალფეროვნებასა და დინამიკას, სადაც პროგრესი დროში განვითარებულ ფაქტორებზეა დამოკიდებული.

შემდეგი ნაბიჯია ბენჩმარკის შედეგების დაკავშირება დანერგვის კვლევებთან ცოცხალ კვლევით სამუშაო პროცესებში. მიუხედავად იმისა, რომ LifeSciBench პრაქტიკოს მეცნიერებთან ერთად შეიქმნა, იმის გაზომვა, აჩქარებს თუ არა AI სისტემები აღმოჩენებს ან აუმჯობესებს R&D შედეგებს, მოითხოვს მოდელების გამოყენებისა და შედეგების შესწავლას რეალურ კვლევით გარემოში, უფრო გრძელ ჰორიზონტზე და მსჯელობის, უკუკავშირისა და ექსპერიმენტული შემდგომი ნაბიჯების რამდენიმე რაუნდში.