გაიცანით GeneBench-Pro
კვლევითი დონის ბენჩმარკი, რომელიც ზომავს, როგორ მოქმედებს ხელოვნური ინტელექტის აგენტები ბუნდოვანებაში და როგორ იღებს მნიშვნელოვან განსჯით გადაწყვეტილებებს გამოთვლით ბიოლოგიაში.
მეცნიერულ მონაცემებს იშვიათად მოჰყვება ინსტრუქცია. მკვლევრებმა უნდა გადაწყვიტონ, კანონზომიერება ბიოლოგიას ასახავს თუ ხმაურს, შეუძლია თუ არა მონაცემებს დასმული კითხვის მხარდაჭერა და როგორ უნდა შეცვალოს თითოეულმა შედეგმა მათი შემდეგი ნაბიჯი. ხელოვნური ინტელექტის აგენტები სულ უფრო უკეთ ასრულებს რთულ ანალიზებს, მაგრამ რეალური სამეცნიერო კვლევა მხოლოდ ფაქტების გახსენებას ან წინასწარ განსაზღვრული სამუშაო ნაკადის მიყოლას კი არ მოითხოვს, არამედ ამ უფრო მაღალი დონის განსჯებსაც.
დღეს წარმოგიდგენთ GeneBench-Pro-ს — რთულ, კვლევითი დონის ბენჩმარკს, რომელიც ამოწმებს, შეუძლია თუ არა მოდელებს დიდი განსჯის მომთხოვნი ისეთი ანალიზის მართვა, რომელიც რეალურ გამოთვლით ბიოლოგიას სჭირდება. ის ავრცობს GeneBench(იხსნება ახალ ფანჯარაში)-ს და ფარავს უფრო რთულ, რეალისტურ ამოცანებს გენომიკაში, რაოდენობრივ ბიოლოგიასა და ტრანსლაციურ მედიცინაში, აღწერს რა გამოთვლით ბიოლოგიაში სამეცნიერო კვლევის სირთულეს, იტერაციულობასა და ბუნდოვანებას.
დღემდე ცოტა იყო დამაჯერებელი შეფასება სისტემური დონის იმ განსჯებისა, რომლებიც რეალურ გამოთვლით კვლევას ართულებს. ეს მოიცავს ბუნდოვანებასთან მუშაობას, დაშვებების გადახედვას, სწორი ანალიტიკური გზის არჩევას და ცოდნას, როდის არის შედეგი გადაწყვეტილებისთვის მზად. რადგან ამ უნარების ფორმალიზება რთულია, მათი მკაცრად შეფასებაც რთულია, მაშინაც კი, როცა ამ მიმართულებით სისუსტეები სულ უფრო ზღუდავს ხელოვნური ინტელექტის საერთო წარმადობას.
GeneBench-Pro შექმნილია სწორედ ამ მაღალი დონის უნარების ზუსტად გასაზომად. GeneBench-Pro-ში „კვლევით გემოვნებას“ განვსაზღვრავთ როგორც განსჯების ჯაჭვს, რომელიც ანალიზს აყალიბებს: რომელ კითხვებს უჭერს მონაცემები მხარს, როგორ უნდა შეცვალოს ადრეულმა დიაგნოსტიკამ მოდელი ან შესაფასებელი პარამეტრი და როდის უნდა გადაიხედოს საწყისი გეგმა. GeneBench-Pro-ს თითოეული ამოცანა მოდელს აძლევს რეალისტურ, არეულ მონაცემთა ნაკრებს, მოკლე ექსპერიმენტულ კონტექსტსა და ქვედა დონის გადაწყვეტილებასთან დაკავშირებულ სამიზნე შესაფასებელ პარამეტრს. სწორი პასუხისთვის მოდელმა უნდა შეისწავლოს მონაცემები, აირჩიოს შესაბამისი ანალიტიკური მიდგომა, იმუშაოს ექსპერიმენტების იტერაციულ პროცესში და საბოლოო პასუხი წარმოადგინოს.
ბიოლოგიაში მონაცემთა გენერირების (მაგ., გენომის სეკვენირების) ხარჯები მკვეთრად შემცირდა და ზოგი მკვლევარი ახლა ამტკიცებს(იხსნება ახალ ფანჯარაში), რომ შემზღუდველი ფაქტორი აღარ არის ნიმუშების შეგროვება, არამედ შემდგომი გამოთვლა და ანალიზი. GeneBench-Pro ამ „ვიწრო ყელის“ აღმოფხვრის მხრივ პროგრესის შესაფასებლად შეიქმნა და მოიცავს 129 შეკითხვას გამოთვლითი ბიოლოგიის მრავალ პარამეტრსა და მეთოდზე.
დომენების ატლასი: 129 პრობლემა 10 დომენსა და 21 ქვედომენში
დააწკაპუნეთ ზემოთ მდებარე წერტილზე, რათა გაეცნოთ ეტალონურ ამოცანას.
ეს ატლასი GeneBench-Pro-ს შესაძლებლობების ფართო სპექტრის წინასწარ ხედვას გვაძლევს. ეწვიეთ პრაქტიკული მაგალითების გვერდს, რათა 10 რეპრეზენტაციული შეკითხვა უფრო დეტალურად შეისწავლოთ.
GeneBench-Pro ასევე შექმნილია ბენჩმარკების გავრცელებული ჩავარდნების თავიდან ასაცილებლად. ბიოლოგიის ბევრი გრძელჰორიზონტიანი ბენჩმარკი მრავალსაფეხურიან კითხვებს აგებს არეულ ისტორიულ მონაცემებზე, სადაც ანალიზის ერთი სწორი გზა შეიძლება არც არსებობდეს. ერთმა აგენტმა შეიძლება აირჩიოს ერთი დაცვადი ზღვარი, მეორემ — განსხვავებული, მაგრამ ასევე დაცვადი ვარიანტი; ეს უფრო ბენჩმარკის შემქმნელის თვითნებურ არჩევანს ასახავს, ვიდრე ფუნდამენტურ განსხვავებებს მოდელის წარმადობის მხრივ. შეიძლება საპირისპიროც მოხდეს: თუ პრობლემა რიცხობრივად ზედმეტად არამგრძნობიარეა, აგენტს ანალიზში ფუნდამენტური შეცდომები შეიძლება მოუვიდეს და მაინც წარმატებული შედეგი მიიღოს.
ამ ჩავარდნების ასარიდებლად GeneBench-Pro-ს თითოეული პრობლემა სინთეზურად იქმნება: ვიცით სრული კაუზალური სტრუქტურა და უშუალოდ ვასიმულირებთ მონაცემთა გენერირების პროცესს. ეს გვაძლევს საშუალებას მოვარგოთ თითოეული პრობლემის სირთულე, უზრუნველვყოთ, რომ სუბიექტურ ანალიტიკურ არჩევანებში გონივრული განსხვავებები მაინც მისაღებ რიცხვით შედეგებს იძლეოდეს, და აბლაციური კვლევებით გადავამოწმოთ, რომ დამაჯერებელი, მაგრამ მცდარი ანალიზები ვერ გადის. შემდეგ პრობლემების მონახაზებს დეტალური ტრასების ანალიზით ვამოწმებთ, რათა გამოვრიცხოთ ინფორმაციის გაჟონვა და უნებლიე გადაწყვეტის გზები. ეს გვარწმუნებს, რომ სწორი პასუხი დამოკიდებულია სწორი ანალიტიკური გზის არჩევაზე და არა მოკლე გზის გამოყენებაზე ან ავტორის თვითნებური პრეფერენციის დამთხვევაზე.
GeneBench-Pro-ს 129 კითხვიდან 82 გავუგზავნეთ გარე დარგის ექსპერტებს, მათ შორის მაგისტრანტებს, პოსტდოქტორანტებს, დარგში მომუშავე მეცნიერებსა და პროფესორებს. რეცენზენტები აფასებდნენ თითოეული პრობლემის რეალისტურობას, სამიზნე პასუხის იდენტიფიცირებადობას და მეთოდებისა და შემფასებლების შესაბამისობას. უკუკავშირი პრობლემების გასაუმჯობესებლად გამოვიყენეთ.
“პრობლემები, რომლებიც განვიხილე, გამოცდილი ხელმძღვანელის განმეორებითი უკუკავშირის გარეშე მაგისტრანტისთვისაც რთული იქნებოდა. მონაცემებში იყო ტექნიკური და ხარისხის კონტროლის პრობლემები, რომელთა წარმატებით გადასაჭრელად საჭირო იყო გააზრებული, რეფლექსიური ანალიზი და შესაძლო ხარვეზების ცოდნა; ეს არ ყოფილა უბრალოდ მზა მეთოდის გამოყენება სუფთა და კარგად ორგანიზებულ მონაცემებზე.”
“მაშინაც კი, თუ ამჟამინდელი მოდელები დამოუკიდებელ ანალიზებს თავიდან ბოლომდე სანდოდ ვერ ასრულებს, ის მოდელები, რომლებიც GeneBench-Pro ამოცანებში კარგად მუშაობს, აშკარად შეძლებდა მკვლევრების დახმარებას სწორი სამუშაო ნაკადების განსაზღვრასა და მონაცემთა შესწავლაში. ვხედავ, როგორ შეიძლება ამან კვლევის ტემპი, სისრულე და რეპროდუცირებადობა მნიშვნელოვნად გააუმჯობესოს.”
GeneBench-Pro-ს თითოეული პრობლემა თვითკმარი სამეცნიერო ანალიზია. აგენტებს ეძლევა იზოლირებულ სამუშაო სივრცეზე წვდომა მოკლე პრომპტით, მონაცემთა ფაილებითა და ბიოინფორმატიკის სტანდარტული სტეკით, მათ შორის Python-ით, მეცნიერული გამოთვლების ბიბლიოთეკებითა და გენომიკის ძირითადი პაკეტებით, როგორიცაა PLINK 2.0 (თუმცა პრობლემებს კონკრეტულად დარგის ხელსაწყოები არ სჭირდება).
სტრუქტურული ვარიანტის მიხედვით მართული სიმსივნური თერაპიის სარგებელ-რისკის შესახებ გადაწყვეტილება
რადგან მონაცემთა გენერირების სრულ პროცესს ვაკონტროლებთ, სისწორეს ცნობილ სამიზნეებთან დეტერმინისტულად ვაფასებთ და თავიდან ვირიდებთ მოდელის არჩევანის ცვალებადობასა და სიტყვამრავლობის ეფექტებს, რომლებიც სტანდარტულ რუბრიკულ შეფასებაში გვხვდება.
თითოეულ პრობლემას ასევე აქვს მდიდარი მეტამონაცემები, მათ შორის სავარაუდო ანალიზის სტრუქტურა, თანდართული მონაცემთა ფაილები, დეტალური მრავალგვერდიანი კონკრეტული მაგალითი და ექსპერტული განხილვის შედეგები. GeneBench-Pro-ს 10 რეპრეენტაციულ შეკითხვას სრულად ღია კოდის სახით ვაქვეყნებთ Hugging Face(იხსნება ახალ ფანჯარაში)-ზე, მათ დასათვალიერებლად კი გვაქვს ინტერაქციული ვებინტერფეისი. ბოლოს, უახლოეს მომავალში 50-შეკითხვიან ქვენაკრებს გადავცემთ Artificial Analysis-ს(იხსნება ახალ ფანჯარაში) დამოუკიდებელი, მესამე მხარის ბენჩმარკინგისთვის.
ჩვენი ყველაზე ძლიერი მოდელი, GPT‑5.6 Sol, მსჯელობის უმაღლეს დონეზე 28,7%-იან წარმატებით შესრულების მაჩვენებელს აღწევს (31,5%-ს Pro-რეჟიმით). ეს მკვეთრი ზრდაა იმ პერიოდთან შედარებით, როცა თავდაპირველი GeneBench-ის აგება დავიწყეთ; მაშინ ჩვენი საუკეთესო მოწინავე მოდელი, GPT‑5, 5%-ზე ნაკლებს იღებდა. ამ ბენჩმარკზე პროგრესი მიუთითებს, რომ მოწინავე მოდელები სწრაფად უმჯობესდება, მათ შორის ნაკლებად ხელშესახებ, სისტემური დონის მეცნიერულ მსჯელობაში. ამჟამინდელი ტემპით ეს ბენჩმარკი წლის ბოლოსთვის შეიძლება გაჯერდეს.
შედეგები ასევე აჩვენებს ინფერენციის ფაზაში გამოთვლითი სიმძლავრის მასშტაბირების გავლენას. მსჯელობის ყველაზე დაბალ დონეზე GPT‑5.6 Sol-ი წარმატებით შესრულების მხოლოდ ერთნიშნა აღწევს. მსჯელობის უმაღლეს დონეზე GPT‑5.6 Sol-ი თითქმის ექვსჯერ მეტ შეკითხვას ხსნის, ვიდრე GPT‑5.2, თან დაახლოებით ორი მესამედით ნაკლებ ტოკენს იყენებს.
მოდელების ოჯახებს შორის შედარებები მიუთითებს, რომ GPT‑მოდელები რაოდენობრივი გაურკვევლობის პირობებში მაღალი დონის მეცნიერული მსჯელობის ერთ-ერთი უძლიერესი სისტემებია. წარმადობის სხვაობა GPT‑5.6‑ს, GPT‑5.5‑სა და ღია კოდზე დაფუძნებულ წამყვან მოდელებს, (მაგალითად, GLM 5.2-ს) შორის, მნიშვნელოვნად დიდია, ვიდრე პროგრამირების ბენჩმარკებიდან(იხსნება ახალ ფანჯარაში) ექსტრაპოლაციით ველოდით; ეს მიუთითებს, რომ ღია კოდის მოდელები უფრო მეტად სპეციალიზებულია კოდის წერაზე, ვიდრე ფართო მსჯელობის უნარზე.
შემუშავებისას პრობლემების შესაფასებლად და გასამყარებლად მოწინავე GPT‑მოდელები გამოვიყენეთ. ამიტომ ვვარაუდობდით, რომ სხვა მოდელების ოჯახებთან შედარებით, GeneBench-Pro-ს GPT‑მოდელების წინააღმდეგ მიკერძოება გამოევლინა. თუმცა კონკურენტი მოდელები საუკეთესო შემთხვევაში მხოლოდ გამოშვების მომენტისთვის შესაბამისი GPT‑მოდელის მუშაობის ხარისხს შეესაბამებოდა და ხშირად მნიშვნელოვნად ჩამორჩებოდა.
შეფასების ეს შედეგები (GPT‑5.6 Sol-ზე (Pro) 31,5%-მდე) შთამბეჭდავია GeneBench-Pro-ს კითხვების სირთულის გათვალისწინებით. გამოკითხვაში რეცენზენტებმა შეაფასეს, რომ GeneBench-Pro-ს ტიპურ ამოცანას ექსპერტი ადამიანი დაახლოებით 20–40 საათში დაასრულებდა. კონსერვატიული 200-$-იანი საათობრივი განაკვეთის შემთხვევაში, ერთ ამოცანაზე ადამიანური შრომის ღირებულება ათასობით დოლარს აღწევს. ხელოვნური ინტელექტის ამჟამინდელი აგენტები ჯერ კიდევ ზედმეტად არასანდოა ექსპერტი ადამიანების ჩასანაცვლებლად, მაგრამ ხარჯების სხვაობა დიდია: ინფერენცია თითო პრობლემაზე მხოლოდ რამდენიმე დოლარი ღირს. ეს ნიშნავს, რომ ამჟამინდელი შესაძლებლობებით ნაწილობრივ ავტომატიზაციამაც კი შეიძლება მნიშვნელოვანი ეკონომიკური და მეცნიერული ღირებულება შექმნას.
“ბენჩმარკები მოტივირებულია მრავალფეროვანი ბიოლოგიური კითხვებით, მაგრამ … რეალურ სირთულეს იწვევს საკვლევ მონაცემთა ანალიზი და ამ აღმოჩენებზე მსჯელობა: კანონზომიერებებისა და არტეფაქტების ამოცნობა და იმის გადაწყვეტა, უნდა გამოირიცხოს თუ დაკორექტირდეს მონაცემები. ეს ჰგავს რეალური ბიოლოგიური მონაცემთა ნაკრებების არეულ ბუნებას. ამ შეფასებების განხილვა აჩვენებს, რამდენად მნიშვნელოვანია ამოცანთა გადამჭრელი აგენტისთვის განკუთვნილი მკაფიო კონტრაქტები აგენტზე დაფუძნებული მეცნიერული ამოცანების გადაჭრისთვის. პრომპტის განსხვავებულმა ფორმულირებამ ან დავალების სპეციფიკაციამ შეიძლება მნიშვნელოვნად შეცვალოს ამა თუ იმ ანალიზის დასაშვებობა.”
“მე [კითხვები] ძირითადად მომეწონა. მათ, როგორც წესი, ჰქონდათ შემდეგის ნაზავი: (1) საგნის აუცილებელი ცოდნა, როგორიცაა C>T მიკერძოება უძველეს დნმ-ში, (2) მონაცემთა შეუსაბამობები, როგორიცაა წარმომავლობის შეცვლები, (3) გარკვეული ცოდნა იმის შესახებ, თუ რომელი ანალიტიკური ინსტრუმენტებია შესაფერისი კონკრეტული ამოცანისთვის და როგორ უნდა განხორციელდეს მათი გამოყენება. როგორც ჩანდა, აგენტების უმეტესობამ (2)-ზე ვერ გაართვა თავი. ისინი მონაცემებთან დაკავშირებულ პრობლემებს საკმარისი სიფრთხილით არ ეკიდებიან. შესაძლოა, ეს ამჟამინდელი მოდელების სისუსტეზე მიუთითებს. და ბიოლოგიური მონაცემების დიდ ნაწილს არარეგულარულობები ახასიათებს.”
მიუხედავად ამისა, ის ფაქტი, რომ მოწინავე მოდელები ამ ამოცანების მესამედზე ნაკლებს ხსნიან, გაუმჯობესების დიდ სივრცეს აჩვენებს. მოდელებს შეუძლია რთულ პრობლემებზე ნაწილობრივი პროგრესი აჩვენოს, მაგრამ უჭირს დასკვნითი ლოგიკური წრის დახურვა. ჩავარდნის ეს ნიმუში ექსპერტ ადამიანებსა და დამწყებებს შორის სხვაობას ჰგავს. ექსპერტები გამოცდილებას იყენებენ პრობლემის ჩარჩოს განსასაზღვრად და მიდგომის მოსარგებად, ხოლო დამწყებები დაკვირვებებს აკეთებენ, მაგრამ უჭირთ ფართო კონტექსტში მათი ამოცანის ინტეგრირება.
ამოცანა: მოვლენამდე დროის ფარმაკოგენომური პასუხი და დროში ცვალებადი მკურნალობის სტატუსი
GPT-5.5-ის კანონზომიერება
GPT-5.6 Sol-ის კანონზომიერება
თითქმის სრულყოფილი წარმადობის მისაღწევად საჭიროა შეფასებები, რომლებიც პროგრესს სანდოდ ზომავს და აჩვენებს, სად განიცდის მარცხს მოდელები. GeneBench-Pro-ს მსგავსი ბენჩმარკები შეიძლება დაგვეხმაროს, შესაძლებლობათა ბუნდოვანი დეფიციტი ვაქციოთ ისეთ რამედ, რისი დიაგნოსტირებაცა და გაუმჯობესებაც შესაძლებელია.
თუ აგენტები ამ კლასის ანალიზის სანდოდ ავტომატიზებას შეძლებს, ისინი სამეცნიერო აღმოჩენებს მნიშვნელოვნად დააჩქარებს. ადამიანის გენეტიკური მტკიცებულებითი მონაცემები უკვე ცენტრალურ ადგილს იკავებს სამიზნეების პრიორიტეტიზაციასა და ტრანსლაციურ შემდგომ კვლევაში, რადგან გენეტიკური მხარდაჭერის მქონე მექანიზმები გაცილებით ხშირად მიდის მკურნალობის მეთოდების დამტკიცებამდე.
ამავე დროს, სეკვენირების ხარჯები მკვეთრად დაეცა, ხოლო ბიობანკის მასშტაბის მონაცემთა ნაკრებები ახლა უპრეცედენტო სიფართოვით აკავშირებს ერთმანეთთან მოლეკულურ, ფენოტიპურ და ჯანმრთელობის მდგომარეობასთან დაკავშირებულ ინფორმაციას. შემზღუდველი ფაქტორი მონაცემთა გენერირება კი არ არის, არამედ ინფორმაციის გარდაქმნა შესრულებად ინსაიტებად. იმ ანალიზების სტაბილურად შემსრულებელ მოდელებს, რომლებზეც ახლა ექსპერტი ადამიანების გუნდები მუშაობენ, მრეწველობაში სამეცნიერო კვლევების გარდაქმნა შეუძლია ჰიპოთეზების ტრიაჟის, სამიზნეების შემდგომი შესწავლისა და მონაცემთა გენერირებასა და გადაწყვეტილების მიღებას შორის იტერაციული ციკლის დაჩქარებით.
GeneBench-Pro არის საწყისი მცდელობა, შეფასდეს კარგი სამეცნიერო განსჯისთვის საჭირო უფრო აბსტრაქტული უნარები, რომლებიც გამოცდილ მკვლევრებს აქვთ. ეს უნარები მათ აძლევს საშუალებას, ინტუიციურად ამოიცნონ ყველაზე პერსპექტიული საწყისი ანალიზები, გაიმეორონ და გადახედონ აზროვნებას, როცა მონაცემები საწყის დაშვებებს ეწინააღმდეგება, და მივიდნენ დასკვნებამდე, რომლებზეც შეიძლება ქვედა დონის კლინიკური, აკადემიური ან ბიზნესგადაწყვეტილებები იყოს დამოკიდებული.
ველით, რომ მოდელების შესაძლებლობების ზრდასთან ერთად სულ უფრო სასარგებლო გახდება ბენჩმარკები, რომლებიც ამოწმებს მოდელის უნარებს აბსტრაქციის ამ მაღალ დონეებზე და სცდება მხოლოდ წიგნის ცოდნის ან რუტინული ანალიზების შესრულების უნარის ტესტირებას.


