გადადით მთავარ შინაარსზე
OpenAI

გაიცანით GeneBench-Pro

კვლევითი დონის ბენჩმარკი, რომელიც ზომავს, როგორ მოქმედებს ხელოვნური ინტელექტის აგენტები ბუნდოვანებაში და როგორ იღებს მნიშვნელოვან განსჯით გადაწყვეტილებებს გამოთვლით ბიოლოგიაში.

იტვირთება…

მეცნიერულ მონაცემებს იშვიათად მოჰყვება ინსტრუქცია. მკვლევრებმა უნდა გადაწყვიტონ, კანონზომიერება ბიოლოგიას ასახავს თუ ხმაურს, შეუძლია თუ არა მონაცემებს დასმული კითხვის მხარდაჭერა და როგორ უნდა შეცვალოს თითოეულმა შედეგმა მათი შემდეგი ნაბიჯი. ხელოვნური ინტელექტის აგენტები სულ უფრო უკეთ ასრულებს რთულ ანალიზებს, მაგრამ რეალური სამეცნიერო კვლევა მხოლოდ ფაქტების გახსენებას ან წინასწარ განსაზღვრული სამუშაო ნაკადის მიყოლას კი არ მოითხოვს, არამედ ამ უფრო მაღალი დონის განსჯებსაც.

დღეს წარმოგიდგენთ GeneBench-Pro-ს — რთულ, კვლევითი დონის ბენჩმარკს, რომელიც ამოწმებს, შეუძლია თუ არა მოდელებს დიდი განსჯის მომთხოვნი ისეთი ანალიზის მართვა, რომელიც რეალურ გამოთვლით ბიოლოგიას სჭირდება. ის ავრცობს GeneBench(იხსნება ახალ ფანჯარაში)-ს და ფარავს უფრო რთულ, რეალისტურ ამოცანებს გენომიკაში, რაოდენობრივ ბიოლოგიასა და ტრანსლაციურ მედიცინაში, აღწერს რა გამოთვლით ბიოლოგიაში სამეცნიერო კვლევის სირთულეს, იტერაციულობასა და ბუნდოვანებას. 

დღემდე ცოტა იყო დამაჯერებელი შეფასება სისტემური დონის იმ განსჯებისა, რომლებიც რეალურ გამოთვლით კვლევას ართულებს. ეს მოიცავს ბუნდოვანებასთან მუშაობას, დაშვებების გადახედვას, სწორი ანალიტიკური გზის არჩევას და ცოდნას, როდის არის შედეგი გადაწყვეტილებისთვის მზად. რადგან ამ უნარების ფორმალიზება რთულია, მათი მკაცრად შეფასებაც რთულია, მაშინაც კი, როცა ამ მიმართულებით სისუსტეები სულ უფრო ზღუდავს ხელოვნური ინტელექტის საერთო წარმადობას.

დიაგრამა სათაურით „ბენჩმარკის ხარვეზი ბიოლოგიაში“. ტრადიციული ბენჩმარკის სამუშაო ნაკადებს ის ადარებს სრულ სამეცნიერო ანალიზთან და გვიჩვენებს დამატებით ნაბიჯებს, როგორიცაა წინასწარი დამუშავება, მოდელირება, დიაგნოსტიკა და იტერაციული დახვეწა მეცნიერული დასკვნის გამოტანამდე.

GeneBench-Pro შექმნილია სწორედ ამ მაღალი დონის უნარების ზუსტად გასაზომად. GeneBench-Pro-ში „კვლევით გემოვნებას“ განვსაზღვრავთ როგორც განსჯების ჯაჭვს, რომელიც ანალიზს აყალიბებს: რომელ კითხვებს უჭერს მონაცემები მხარს, როგორ უნდა შეცვალოს ადრეულმა დიაგნოსტიკამ მოდელი ან შესაფასებელი პარამეტრი და როდის უნდა გადაიხედოს საწყისი გეგმა. GeneBench-Pro-ს თითოეული ამოცანა მოდელს აძლევს რეალისტურ, არეულ მონაცემთა ნაკრებს, მოკლე ექსპერიმენტულ კონტექსტსა და ქვედა დონის გადაწყვეტილებასთან დაკავშირებულ სამიზნე შესაფასებელ პარამეტრს. სწორი პასუხისთვის მოდელმა უნდა შეისწავლოს მონაცემები, აირჩიოს შესაბამისი ანალიტიკური მიდგომა, იმუშაოს ექსპერიმენტების იტერაციულ პროცესში და საბოლოო პასუხი წარმოადგინოს.

მონაცემთა ნაკრების აგება

ბიოლოგიაში მონაცემთა გენერირების (მაგ., გენომის სეკვენირების) ხარჯები მკვეთრად შემცირდა და ზოგი მკვლევარი ახლა ამტკიცებს(იხსნება ახალ ფანჯარაში), რომ შემზღუდველი ფაქტორი აღარ არის ნიმუშების შეგროვება, არამედ შემდგომი გამოთვლა და ანალიზი. GeneBench-Pro ამ „ვიწრო ყელის“ აღმოფხვრის მხრივ პროგრესის შესაფასებლად შეიქმნა და მოიცავს 129 შეკითხვას გამოთვლითი ბიოლოგიის მრავალ პარამეტრსა და მეთოდზე.

დომენების ატლასი: 129 პრობლემა 10 დომენსა და 21 ქვედომენში

ეტალონურ ამოცანებს შორის გადასაადგილებლად გამოიყენეთ ისრის ღილაკები. არჩეული ამოცანის დეტალები ქვემოთაა მოცემული.

დააწკაპუნეთ ზემოთ მდებარე წერტილზე, რათა გაეცნოთ ეტალონურ ამოცანას.

ეს ატლასი GeneBench-Pro-ს შესაძლებლობების ფართო სპექტრის წინასწარ ხედვას გვაძლევს. ეწვიეთ პრაქტიკული მაგალითების გვერდს, რათა 10 რეპრეზენტაციული შეკითხვა უფრო დეტალურად შეისწავლოთ.

GeneBench-Pro ასევე შექმნილია ბენჩმარკების გავრცელებული ჩავარდნების თავიდან ასაცილებლად. ბიოლოგიის ბევრი გრძელჰორიზონტიანი ბენჩმარკი მრავალსაფეხურიან კითხვებს აგებს არეულ ისტორიულ მონაცემებზე, სადაც ანალიზის ერთი სწორი გზა შეიძლება არც არსებობდეს. ერთმა აგენტმა შეიძლება აირჩიოს ერთი დაცვადი ზღვარი, მეორემ — განსხვავებული, მაგრამ ასევე დაცვადი ვარიანტი; ეს უფრო ბენჩმარკის შემქმნელის თვითნებურ არჩევანს ასახავს, ვიდრე ფუნდამენტურ განსხვავებებს მოდელის წარმადობის მხრივ. შეიძლება საპირისპიროც მოხდეს: თუ პრობლემა რიცხობრივად ზედმეტად არამგრძნობიარეა, აგენტს ანალიზში ფუნდამენტური შეცდომები შეიძლება მოუვიდეს და მაინც წარმატებული შედეგი მიიღოს.

ამ ჩავარდნების ასარიდებლად GeneBench-Pro-ს თითოეული პრობლემა სინთეზურად იქმნება: ვიცით სრული კაუზალური სტრუქტურა და უშუალოდ ვასიმულირებთ მონაცემთა გენერირების პროცესს. ეს გვაძლევს საშუალებას მოვარგოთ თითოეული პრობლემის სირთულე, უზრუნველვყოთ, რომ სუბიექტურ ანალიტიკურ არჩევანებში გონივრული განსხვავებები მაინც მისაღებ რიცხვით შედეგებს იძლეოდეს, და აბლაციური კვლევებით გადავამოწმოთ, რომ დამაჯერებელი, მაგრამ მცდარი ანალიზები ვერ გადის. შემდეგ პრობლემების მონახაზებს დეტალური ტრასების ანალიზით ვამოწმებთ, რათა გამოვრიცხოთ ინფორმაციის გაჟონვა და უნებლიე გადაწყვეტის გზები. ეს გვარწმუნებს, რომ სწორი პასუხი დამოკიდებულია სწორი ანალიტიკური გზის არჩევაზე და არა მოკლე გზის გამოყენებაზე ან ავტორის თვითნებური პრეფერენციის დამთხვევაზე.

დიაგრამა სათაურით „GeneBench-Pro-ს ამოცანის შექმნა და შემოწმება“. ის გვიჩვენებს სამუშაო ნაკადს გაშვებადი დავალების შექმნიდან განხილვამდე, მდგრადობის შემოწმებამდე, აგენტის ტესტირებამდე, ექსპერტულ განხილვამდე, გადახედვამდე და მზა ბენჩმარკული ამოცანის შექმნამდე.

GeneBench-Pro-ს 129 კითხვიდან 82 გავუგზავნეთ გარე დარგის ექსპერტებს, მათ შორის მაგისტრანტებს, პოსტდოქტორანტებს, დარგში მომუშავე მეცნიერებსა და პროფესორებს. რეცენზენტები აფასებდნენ თითოეული პრობლემის რეალისტურობას, სამიზნე პასუხის იდენტიფიცირებადობას და მეთოდებისა და შემფასებლების შესაბამისობას. უკუკავშირი პრობლემების გასაუმჯობესებლად გამოვიყენეთ.

1/2
პრობლემები, რომლებიც განვიხილე, გამოცდილი ხელმძღვანელის განმეორებითი უკუკავშირის გარეშე მაგისტრანტისთვისაც რთული იქნებოდა. მონაცემებში იყო ტექნიკური და ხარისხის კონტროლის პრობლემები, რომელთა წარმატებით გადასაჭრელად საჭირო იყო გააზრებული, რეფლექსიური ანალიზი და შესაძლო ხარვეზების ცოდნა; ეს არ ყოფილა უბრალოდ მზა მეთოდის გამოყენება სუფთა და კარგად ორგანიზებულ მონაცემებზე.
ალეგზანდერ სტრადვიკ იანგი, ადამიანის გენეტიკის ასისტენტ-პროფესორი UCLA-ში

შეფასება და დახარისხება

GeneBench-Pro-ს თითოეული პრობლემა თვითკმარი სამეცნიერო ანალიზია. აგენტებს ეძლევა იზოლირებულ სამუშაო სივრცეზე წვდომა მოკლე პრომპტით, მონაცემთა ფაილებითა და ბიოინფორმატიკის სტანდარტული სტეკით, მათ შორის Python-ით, მეცნიერული გამოთვლების ბიბლიოთეკებითა და გენომიკის ძირითადი პაკეტებით, როგორიცაა PLINK 2.0 (თუმცა პრობლემებს კონკრეტულად დარგის ხელსაწყოები არ სჭირდება).

სტრუქტურული ვარიანტის მიხედვით მართული სიმსივნური თერაპიის სარგებელ-რისკის შესახებ გადაწყვეტილება

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"therapy_class_code": <int>,
4
"benefit_rd_pp": <float>,
5
"toxicity_dropout_risk_pp": <float>,
6
"net_clinical_utility_pp": <float>
7
},
8
"reasoning": "<description of method and QC>"
9
}

რადგან მონაცემთა გენერირების სრულ პროცესს ვაკონტროლებთ, სისწორეს ცნობილ სამიზნეებთან დეტერმინისტულად ვაფასებთ და თავიდან ვირიდებთ მოდელის არჩევანის ცვალებადობასა და სიტყვამრავლობის ეფექტებს, რომლებიც სტანდარტულ რუბრიკულ შეფასებაში გვხვდება.

თითოეულ პრობლემას ასევე აქვს მდიდარი მეტამონაცემები, მათ შორის სავარაუდო ანალიზის სტრუქტურა, თანდართული მონაცემთა ფაილები, დეტალური მრავალგვერდიანი კონკრეტული მაგალითი და ექსპერტული განხილვის შედეგები. GeneBench-Pro-ს 10 რეპრეენტაციულ შეკითხვას სრულად ღია კოდის სახით ვაქვეყნებთ Hugging Face(იხსნება ახალ ფანჯარაში)-ზე, მათ დასათვალიერებლად კი გვაქვს ინტერაქციული ვებინტერფეისი. ბოლოს, უახლოეს მომავალში 50-შეკითხვიან ქვენაკრებს გადავცემთ Artificial Analysis-ს(იხსნება ახალ ფანჯარაში) დამოუკიდებელი, მესამე მხარის ბენჩმარკინგისთვის.

შედეგები

ჩვენი ყველაზე ძლიერი მოდელი, GPT‑5.6 Sol, მსჯელობის უმაღლეს დონეზე 28,7%-იან წარმატებით შესრულების მაჩვენებელს აღწევს (31,5%-ს Pro-რეჟიმით). ეს მკვეთრი ზრდაა იმ პერიოდთან შედარებით, როცა თავდაპირველი GeneBench-ის აგება დავიწყეთ; მაშინ ჩვენი საუკეთესო მოწინავე მოდელი, GPT‑5, 5%-ზე ნაკლებს იღებდა. ამ ბენჩმარკზე პროგრესი მიუთითებს, რომ მოწინავე მოდელები სწრაფად უმჯობესდება, მათ შორის ნაკლებად ხელშესახებ, სისტემური დონის მეცნიერულ მსჯელობაში. ამჟამინდელი ტემპით ეს ბენჩმარკი წლის ბოლოსთვის შეიძლება გაჯერდეს.

შედეგები ასევე აჩვენებს ინფერენციის ფაზაში გამოთვლითი სიმძლავრის მასშტაბირების გავლენას. მსჯელობის ყველაზე დაბალ დონეზე GPT‑5.6 Sol-ი წარმატებით შესრულების მხოლოდ ერთნიშნა აღწევს. მსჯელობის უმაღლეს დონეზე GPT‑5.6 Sol-ი თითქმის ექვსჯერ მეტ შეკითხვას ხსნის, ვიდრე GPT‑5.2, თან დაახლოებით ორი მესამედით ნაკლებ ტოკენს იყენებს.

მოდელების ოჯახებს შორის შედარებები მიუთითებს, რომ GPT‑მოდელები რაოდენობრივი გაურკვევლობის პირობებში მაღალი დონის მეცნიერული მსჯელობის ერთ-ერთი უძლიერესი სისტემებია. წარმადობის სხვაობა GPT‑5.6‑ს, GPT‑5.5‑სა და ღია კოდზე დაფუძნებულ წამყვან მოდელებს, (მაგალითად, GLM 5.2-ს) შორის, მნიშვნელოვნად დიდია, ვიდრე პროგრამირების ბენჩმარკებიდან(იხსნება ახალ ფანჯარაში) ექსტრაპოლაციით ველოდით; ეს მიუთითებს, რომ ღია კოდის მოდელები უფრო მეტად სპეციალიზებულია კოდის წერაზე, ვიდრე ფართო მსჯელობის უნარზე.

შემუშავებისას პრობლემების შესაფასებლად და გასამყარებლად მოწინავე GPT‑მოდელები გამოვიყენეთ. ამიტომ ვვარაუდობდით, რომ სხვა მოდელების ოჯახებთან შედარებით, GeneBench-Pro-ს GPT‑მოდელების წინააღმდეგ მიკერძოება გამოევლინა. თუმცა კონკურენტი მოდელები საუკეთესო შემთხვევაში მხოლოდ გამოშვების მომენტისთვის შესაბამისი GPT‑მოდელის მუშაობის ხარისხს შეესაბამებოდა და ხშირად მნიშვნელოვნად ჩამორჩებოდა.

შეფასების ეს შედეგები (GPT‑5.6 Sol-ზე (Pro) 31,5%-მდე) შთამბეჭდავია GeneBench-Pro-ს კითხვების სირთულის გათვალისწინებით. გამოკითხვაში რეცენზენტებმა შეაფასეს, რომ GeneBench-Pro-ს ტიპურ ამოცანას ექსპერტი ადამიანი დაახლოებით 20–40 საათში დაასრულებდა. კონსერვატიული 200-$-იანი საათობრივი განაკვეთის შემთხვევაში, ერთ ამოცანაზე ადამიანური შრომის ღირებულება ათასობით დოლარს აღწევს. ხელოვნური ინტელექტის ამჟამინდელი აგენტები ჯერ კიდევ ზედმეტად არასანდოა ექსპერტი ადამიანების ჩასანაცვლებლად, მაგრამ ხარჯების სხვაობა დიდია: ინფერენცია თითო პრობლემაზე მხოლოდ რამდენიმე დოლარი ღირს. ეს ნიშნავს, რომ ამჟამინდელი შესაძლებლობებით ნაწილობრივ ავტომატიზაციამაც კი შეიძლება მნიშვნელოვანი ეკონომიკური და მეცნიერული ღირებულება შექმნას.

1/2
ბენჩმარკები მოტივირებულია მრავალფეროვანი ბიოლოგიური კითხვებით, მაგრამ … რეალურ სირთულეს იწვევს საკვლევ მონაცემთა ანალიზი და ამ აღმოჩენებზე მსჯელობა: კანონზომიერებებისა და არტეფაქტების ამოცნობა და იმის გადაწყვეტა, უნდა გამოირიცხოს თუ დაკორექტირდეს მონაცემები. ეს ჰგავს რეალური ბიოლოგიური მონაცემთა ნაკრებების არეულ ბუნებას. ამ შეფასებების განხილვა აჩვენებს, რამდენად მნიშვნელოვანია ამოცანთა გადამჭრელი აგენტისთვის განკუთვნილი მკაფიო კონტრაქტები აგენტზე დაფუძნებული მეცნიერული ამოცანების გადაჭრისთვის. პრომპტის განსხვავებულმა ფორმულირებამ ან დავალების სპეციფიკაციამ შეიძლება მნიშვნელოვნად შეცვალოს ამა თუ იმ ანალიზის დასაშვებობა.
ცირილუს ტანი, პოსტდოქტორანტი მკვლევარი ნიუ-იორკის გენომის ცენტრში

მიუხედავად ამისა, ის ფაქტი, რომ მოწინავე მოდელები ამ ამოცანების მესამედზე ნაკლებს ხსნიან, გაუმჯობესების დიდ სივრცეს აჩვენებს. მოდელებს შეუძლია რთულ პრობლემებზე ნაწილობრივი პროგრესი აჩვენოს, მაგრამ უჭირს დასკვნითი ლოგიკური წრის დახურვა. ჩავარდნის ეს ნიმუში ექსპერტ ადამიანებსა და დამწყებებს შორის სხვაობას ჰგავს. ექსპერტები გამოცდილებას იყენებენ პრობლემის ჩარჩოს განსასაზღვრად და მიდგომის მოსარგებად, ხოლო დამწყებები დაკვირვებებს აკეთებენ, მაგრამ უჭირთ ფართო კონტექსტში მათი ამოცანის ინტეგრირება.

ამოცანა: მოვლენამდე დროის ფარმაკოგენომური პასუხი და დროში ცვალებადი მკურნალობის სტატუსი

მკურნალობის დაწყება, გენოტიპზე დამოკიდებული მკურნალობის პასუხი, დაყოვნებული ფარმაკოდინამიკა, წინა მკურნალობის ინდიკატორები და გრძივი ბიომარკერები ერთობლივად განსაზღვრავს გადარჩენის კაუზალურ სამიზნე პარამეტრს.

GPT-5.5-ის კანონზომიერება

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

GPT-5.6 Sol-ის კანონზომიერება

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

თითქმის სრულყოფილი წარმადობის მისაღწევად საჭიროა შეფასებები, რომლებიც პროგრესს სანდოდ ზომავს და აჩვენებს, სად განიცდის მარცხს მოდელები. GeneBench-Pro-ს მსგავსი ბენჩმარკები შეიძლება დაგვეხმაროს, შესაძლებლობათა ბუნდოვანი დეფიციტი ვაქციოთ ისეთ რამედ, რისი დიაგნოსტირებაცა და გაუმჯობესებაც შესაძლებელია. 

თუ აგენტები ამ კლასის ანალიზის სანდოდ ავტომატიზებას შეძლებს, ისინი სამეცნიერო აღმოჩენებს მნიშვნელოვნად დააჩქარებს. ადამიანის გენეტიკური მტკიცებულებითი მონაცემები უკვე ცენტრალურ ადგილს იკავებს სამიზნეების პრიორიტეტიზაციასა და ტრანსლაციურ შემდგომ კვლევაში, რადგან გენეტიკური მხარდაჭერის მქონე მექანიზმები გაცილებით ხშირად მიდის მკურნალობის მეთოდების დამტკიცებამდე.

ამავე დროს, სეკვენირების ხარჯები მკვეთრად დაეცა, ხოლო ბიობანკის მასშტაბის მონაცემთა ნაკრებები ახლა უპრეცედენტო სიფართოვით აკავშირებს ერთმანეთთან მოლეკულურ, ფენოტიპურ და ჯანმრთელობის მდგომარეობასთან დაკავშირებულ ინფორმაციას. შემზღუდველი ფაქტორი მონაცემთა გენერირება კი არ არის, არამედ ინფორმაციის გარდაქმნა შესრულებად ინსაიტებად. იმ ანალიზების სტაბილურად შემსრულებელ მოდელებს, რომლებზეც ახლა ექსპერტი ადამიანების გუნდები მუშაობენ, მრეწველობაში სამეცნიერო კვლევების გარდაქმნა შეუძლია ჰიპოთეზების ტრიაჟის, სამიზნეების შემდგომი შესწავლისა და მონაცემთა გენერირებასა და გადაწყვეტილების მიღებას შორის იტერაციული ციკლის დაჩქარებით.

GeneBench-Pro არის საწყისი მცდელობა, შეფასდეს კარგი სამეცნიერო განსჯისთვის საჭირო უფრო აბსტრაქტული უნარები, რომლებიც გამოცდილ მკვლევრებს აქვთ. ეს უნარები მათ აძლევს საშუალებას, ინტუიციურად ამოიცნონ ყველაზე პერსპექტიული საწყისი ანალიზები, გაიმეორონ და გადახედონ აზროვნებას, როცა მონაცემები საწყის დაშვებებს ეწინააღმდეგება, და მივიდნენ დასკვნებამდე, რომლებზეც შეიძლება ქვედა დონის კლინიკური, აკადემიური ან ბიზნესგადაწყვეტილებები იყოს დამოკიდებული. 

ველით, რომ მოდელების შესაძლებლობების ზრდასთან ერთად სულ უფრო სასარგებლო გახდება ბენჩმარკები, რომლებიც ამოწმებს მოდელის უნარებს აბსტრაქციის ამ მაღალ დონეებზე და სცდება მხოლოდ წიგნის ცოდნის ან რუტინული ანალიზების შესრულების უნარის ტესტირებას.

ავტორი

OpenAI