۹ تیر ۱۴۰۵

معرفی GeneBench-Pro

یک آزمون ارزیابی در سطح پژوهشی که می‌سنجد عامل‌های هوش مصنوعی در زیست‌شناسی محاسباتی چگونه ابهام را مدیریت می‌کنند و قضاوت‌های مهم و اثرگذار انجام می‌دهند.

مقاله را بخوانید

در حال بارگذاری…

داده‌های علمی به‌ندرت با دستورالعمل آماده در اختیار پژوهشگران قرار می‌گیرند. پژوهشگران باید تشخیص دهند که آیا یک الگو واقعاً بازتاب یک پدیده زیستی است یا صرفاً نویز داده‌ها؛ آیا داده‌ها اساساً توان پاسخ‌دادن به پرسش مطرح‌شده را دارند؛ و هر نتیجه باید چگونه مسیر بعدی کارشان را تغییر دهد. عامل‌های هوش مصنوعی روزبه‌روز در اجرای تحلیل‌های پیچیده توانمندتر می‌شوند، اما پژوهش علمی واقعی فقط به یادآوری دانسته‌ها یا پیروی از یک روند کاری ازپیش‌تعریف‌شده متکی نیست؛ بلکه به همین قضاوت‌های سطح بالاتر نیز نیاز دارد.

امروز GeneBench-Pro را معرفی می‌کنیم؛ آزمونی پژوهشی و چالش‌برانگیز برای ارزیابی اینکه آیا مدل‌ها می‌توانند تحلیل‌هایی را انجام دهند که زیست‌شناسی محاسباتی در دنیای واقعی به آن‌ها نیاز دارد؛ تحلیل‌هایی که به قضاوت‌های پیچیده و دقیق وابسته‌اند. GeneBench-Pro بر پایه GeneBench⁠(در یک پنجره جدید باز می‌شود) توسعه یافته و دامنه آن را به وظایفی دشوارتر و واقع‌گرایانه‌تر در ژنومیک، زیست‌شناسی کمی وپژوهش‌های پزشکی کاربردی گسترش می‌دهد؛ وظایفی که پیچیدگی، ماهیت تکرارشونده و ابهام پژوهش علمی در زیست‌شناسی محاسباتی را بازتاب می‌دهند.

تا امروز، ارزیابی‌های قانع‌کننده چندانی از قضاوت‌های کلانی وجود نداشته که پژوهش محاسباتی در دنیای واقعی را دشوار می‌کنند. این قضاوت‌ها از مدیریت ابهام و بازنگری در فرض‌ها گرفته تا انتخاب مسیر تحلیلی درست و تشخیص زمان آماده‌بودن یک نتیجه برای تصمیم‌گیری را دربرمی‌گیرند. از آنجا که تعریف دقیق و استاندارد این مهارت‌ها دشوار است، ارزیابی سخت‌گیرانه آن‌ها نیز آسان نیست؛ در حالی که ضعف در همین مهارت‌ها بیش از پیش به عاملی محدودکننده برای عملکرد کلی هوش مصنوعی تبدیل می‌شود.

نموداری با عنوان «شکاف ارزیابی در زیست‌شناسی» که فرآیندهای سنتی ارزیابی را با یک تحلیل علمی یکپارچه مقایسه می‌کند و نشان می‌دهد قبل از رسیدن به نتیجه نهایی، مراحل اضافی مثل پیش‌پردازش، مدل‌سازی، تشخیص و اصلاح‌های تکرارشونده انجام می‌شود.

GeneBench-Pro برای سنجش دقیق توانایی‌های پیشرفته در تحلیل طراحی شده است. در این چارچوب، «سلیقه پژوهشی» به مجموعه‌ای از تصمیم‌ها گفته می‌شود که در طول تحلیل گرفته می‌شوند؛ مثل اینکه چه پرسش‌هایی با داده‌ها قابل پاسخ هستند، نتایج اولیه چگونه باید روش تحلیل را تغییر دهند و چه زمانی لازم است طرح اولیه اصلاح شود.هر مسئله در GeneBench-Pro شامل داده‌های واقعی و پیچیده، یک زمینه آزمایشی کوتاه و یک هدف مشخص برای تصمیم‌گیری است. برای پاسخ درست، مدل باید داده‌ها را بررسی کند، روش مناسب را انتخاب کند، به‌صورت تکرارشونده آزمایش انجام دهد و در نهایت پاسخ نهایی را ارائه دهد.

ساخت مجموعه‌داده

در زیست‌شناسی، هزینه تولید داده‌ها (مثلاً توالی‌یابی ژنوم) به‌شدت کاهش یافته است و اکنون برخی پژوهشگران استدلال می‌کنند⁠(در یک پنجره جدید باز می‌شود) که عامل محدودکننده دیگر گردآوری نمونه نیست، بلکه محاسبات و تحلیل‌های پایین‌دستی است. GeneBench-Pro برای ارزیابی پیشرفت در رفع این گلوگاه ساخته شده و ۱۲۹ پرسش را در طیف گسترده‌ای از موقعیت‌ها و روش‌های زیست‌شناسی محاسباتی پوشش می‌دهد.

اطلس دامنه: ۱۲۹ مشکل در ۱۰ دامنه و ۲۱ زیردامنه

برای آشنایی با یک مسئلهٔ بنچمارک، روی یکی از نقاط بالا کلیک کنید.

این اطلس نمایی کلی از گستره GeneBench-Pro ارائه می‌دهد. برای بررسی دقیق‌تر ۱۰ پرسش نمونه، از صفحه مطالعات موردی بازدید کنید.

GeneBench-Pro همچنین با هدف جلوگیری از خطاهای رایج در آزمون‌های ارزیابی طراحی شده است. بسیاری از آزمون‌های بلندمدت در زیست‌شناسی، پرسش‌های چندمرحله‌ای را بر اساس داده‌های آشفته مربوط به پژوهش‌های قبلی طراحی می‌کنند؛ جایی که ممکن است یک مسیر واحد و مشخص برای تحلیل وجود نداشته باشد.در چنین شرایطی، یک عامل ممکن است یک آستانه قابل دفاع انتخاب کند، در حالی که عامل دیگر گزینه‌ای متفاوت اما به همان اندازه قابل دفاع را برگزیند؛ تفاوت‌هایی که بیشتر بازتاب تصمیم‌های تا حدی دل‌بخواهی طراح آزمون است تا تفاوت واقعی در عملکرد مدل‌ها.از سوی دیگر، اگر یک مسئله از نظر عددی به اندازه کافی حساس طراحی نشده باشد، ممکن است یک عامل حتی با وجود خطاهای اساسی در تحلیل، همچنان نتیجه‌ای قابل قبول تولید کند.

برای جلوگیری از این نوع خطاها، هر مسئله در GeneBench-Pro به‌صورت مصنوعی طراحی می‌شود؛ یعنی ما دقیقاً می‌دانیم داده‌ها چگونه ساخته شده‌اند و کل فرایند تولید داده را به‌صورت شبیه‌سازی‌شده بازسازی می‌کنیم.این به ما اجازه می‌دهد سختی هر مسئله را کنترل کنیم؛ به‌طوری که اگر کسی روش تحلیلی متفاوت اما منطقی انتخاب کند، هنوز به جواب درست برسد. همچنین می‌توانیم از طریق (مطالعات حذف مؤلفه) بررسی کنیم که اگر تحلیل واقعاً اشتباه باشد، نتیجه هم باید غلط شود و نباید به‌طور تصادفی قابل قبول باقی بماند.علاوه بر این، مراحل حل مسئله را به‌دقت بررسی می‌کنیم تا مطمئن شویم هیچ اطلاعات اضافی، نشانه پنهان یا مسیر میان‌بُر برای رسیدن به جواب وجود ندارد. در نتیجه، رسیدن به پاسخ درست فقط زمانی ممکن است که مسیر تحلیل درست انتخاب شود، نه با حدس زدن، میان‌بُر زدن یا هماهنگ شدن با سلیقه طراح.

نموداری با عنوان «ساخت و اعتبارسنجی یک مسئله GeneBench-Pro» که روند تبدیل یک وظیفه قابل اجرا به یک مسئله نهایی ارزیابی را نشان می‌دهد؛ از بازبینی و بررسی پایداری گرفته تا آزمودن عامل‌های هوش مصنوعی، بازبینی متخصص و اصلاح نهایی.

ما ۸۲ پرسش از ۱۲۹ پرسش GeneBench-Pro را برای متخصصان بیرونی حوزه فرستادیم، از جمله دانشجویان تحصیلات تکمیلی، پژوهشگران پسادکتری، دانشمندان صنعت و استادان. بازبینان واقع‌گرایی هر مسئله، قابل شناسایی بودن پاسخ هدف، و مناسب بودن روش‌ها و برآوردگرها را ارزیابی کردند. از بازخوردها برای بهبود مسائل استفاده شد.

“مسائلی که بررسی کردم، از آن دست مسائلی بودند که حل آن‌ها بدون بازخوردهای مکرر از سوی یک سرپرست باتجربه، حتی برای یک دانشجوی تحصیلات تکمیلی نیز چالش‌برانگیز بود. داده‌ها با مشکلات فنی و کنترل کیفیت همراه بودند و حل موفقیت‌آمیز آن‌ها به تحلیل دقیق و موشکافانه، همراه با آگاهی از خطاها و دام‌های احتمالی، نیاز داشت؛ مسئله صرفاً این نبود که یک روش آماده را روی داده‌هایی عاری از خطا و به‌خوبی سامان‌دهی‌شده اعمال کنیم.”

الکساندر استرادویک یانگ، استادیار ژنتیک انسانی در دانشگاه کالیفرنیا، لس‌آنجلس

“حتی اگر مدل‌های کنونی هنوز نتوانند تحلیل‌های مستقل را از ابتدا تا انتها به‌طور قابل اتکا انجام دهند، مدل‌هایی که در مسائل GeneBench-Pro عملکرد خوبی دارند، به‌وضوح می‌توانند به پژوهشگران در تعیین روندهای کاری درست و کاوش داده‌ها کمک کنند. به‌خوبی می‌توان تصور کرد که این امر سرعت، جامعیت و تکرارپذیری پژوهش را به‌طور چشمگیری بهبود می‌بخشد.”

جنیفر گراندمن، دانشجوی دوره دکتری در رشته ژنتیک انسانی در دانشگاه کالیفرنیا، لس‌آنجلس

1 از 2

“مسائلی که بررسی کردم، از آن دست مسائلی بودند که حل آن‌ها بدون بازخوردهای مکرر از سوی یک سرپرست باتجربه، حتی برای یک دانشجوی تحصیلات تکمیلی نیز چالش‌برانگیز بود. داده‌ها با مشکلات فنی و کنترل کیفیت همراه بودند و حل موفقیت‌آمیز آن‌ها به تحلیل دقیق و موشکافانه، همراه با آگاهی از خطاها و دام‌های احتمالی، نیاز داشت؛ مسئله صرفاً این نبود که یک روش آماده را روی داده‌هایی عاری از خطا و به‌خوبی سامان‌دهی‌شده اعمال کنیم.”

الکساندر استرادویک یانگ، استادیار ژنتیک انسانی در دانشگاه کالیفرنیا، لس‌آنجلس

“حتی اگر مدل‌های کنونی هنوز نتوانند تحلیل‌های مستقل را از ابتدا تا انتها به‌طور قابل اتکا انجام دهند، مدل‌هایی که در مسائل GeneBench-Pro عملکرد خوبی دارند، به‌وضوح می‌توانند به پژوهشگران در تعیین روندهای کاری درست و کاوش داده‌ها کمک کنند. به‌خوبی می‌توان تصور کرد که این امر سرعت، جامعیت و تکرارپذیری پژوهش را به‌طور چشمگیری بهبود می‌بخشد.”

جنیفر گراندمن، دانشجوی دوره دکتری در رشته ژنتیک انسانی در دانشگاه کالیفرنیا، لس‌آنجلس

ارزیابی و نمره‌دهی

هر مسئله در GeneBench-Pro یک تحلیل علمی مستقل است. عامل‌ها به یک فضای کاری جداگانه دسترسی دارند که شامل یک توضیح کوتاه، فایل‌های داده و یک مجموعه استاندارد ابزارهای بیوانفورماتیک است؛ از جمله Python، کتابخانه‌های محاسبات علمی و ابزارهای ژنومیک پایه مانند PLINK 2.0، هرچند حل این مسائل به ابزارهای تخصصی حوزه نیاز ندارد.

تصمیم‌گیری درباره سود و ریسک درمان تومور با هدایت تغییرات ساختاری ژنتیکی

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise.

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1{
2  "answer": {
3    "therapy_class_code": <int>,
4    "benefit_rd_pp": <float>,
5    "toxicity_dropout_risk_pp": <float>,
6    "net_clinical_utility_pp": <float>
7  },
8  "reasoning": "<description of method and QC>"
9}

چون کل فرایند تولید داده تحت کنترل است، می‌توان درستی پاسخ‌ها را به‌طور دقیق با پاسخ‌های از پیش مشخص مقایسه و ارزیابی کرد. این موضوع باعث می‌شود اختلاف‌های ناشی از خروجی‌های مختلف مدل‌ها از بین برود و همچنین اثر پاسخ‌های بیش از حد طولانی یا پرگویی که یکی از مشکلات رایج در سیستم‌های ارزیابی مبتنی بر روبریک (معیارهای امتیازدهی کیفی) است، کاهش یابد.

هر مسئله همچنین شامل اطلاعات تکمیلی گسترده‌ای است؛ از جمله ساختار تحلیل مورد انتظار، فایل‌های داده پیوست‌شده، یک مطالعه موردی چندصفحه‌ای و نتایج ارزیابی متخصصان. ما ۱۰ نمونه از پرسش‌های GeneBench-Pro را به‌صورت متن‌باز در Hugging Face⁠(در یک پنجره جدید باز می‌شود) منتشر می‌کنیم و یک رابط وب تعاملی برای مرور آن‌ها در اختیار قرار می‌دهیم. در نهایت، در آینده نزدیک یک زیرمجموعه ۵۰تایی از این پرسش‌ها برای ارزیابی مستقل توسط شخص ثالث در اختیار Artificial Analysis⁠(در یک پنجره جدید باز می‌شود) قرار خواهد گرفت.

نتایج

قوی‌ترین مدل ما، GPT‑5.6 Sol، در بالاترین سطح استدلال به نرخ قبولی ۲۸٫۷٪ می‌رسد (۳۱٫۵٪ با فعال بودن حالت Pro). این افزایش چشمگیری نسبت به زمانی است که ساخت GeneBench اولیه را آغاز کردیم؛ در آن زمان، بهترین مدل پیشروی ما، GPT‑5، کمتر از ۵٪ امتیاز گرفت. پیشرفت در این بنچمارک نشان می‌دهد که مدل‌های پیشرو حتی در استدلال علمی کمتر ملموس و سطح سیستمی نیز به‌سرعت در حال بهبودند. با سرعت فعلی، ممکن است این بنچمارک تا پایان سال اشباع شود.

نتایج همچنین اثر افزایش محاسبات در زمان آزمون را نشان می‌دهند. در پایین‌ترین سطح استدلال، GPT‑5.6 Sol تنها نرخ قبولی تک‌رقمی دارد. در بالاترین سطح استدلال، این مدل با حدود دو‌سوم تعداد توکن‌ها، نزدیک به شش برابر GPT‑5.2 مسئله حل می‌کند.

مقایسه بین خانواده‌های مختلف مدل‌ها نشان می‌دهد که مدل‌های GPT از قوی‌ترین سیستم‌ها در استدلال علمی سطح بالا، به‌ویژه در شرایطی هستند که عدم‌قطعیت عددی وجود دارد.همچنین شکاف عملکردی بین GPT‑5.6، GPT‑5.5 و مدل‌های متن‌باز پیشرو مانند GLM 5.2 بسیار بیشتر از چیزی است که اگر فقط بر اساس نتایج آزمون‌های کدنویسی⁠(در یک پنجره جدید باز می‌شود) پیش‌بینی کنیم انتظار داشتیم. این موضوع نشان می‌دهد که مدل‌های متن‌باز بیشتر برای وظایف کدنویسی تخصصی شده‌اند تا برای توانایی‌های گسترده‌تر در استدلال و حل مسئله.

ما در طول توسعه از مدل‌های پیشروی GPT برای ارزیابی و سخت‌تر کردن مسائل استفاده کردیم. بنابراین گمان می‌کردیم GeneBench-Pro ممکن است نسبت به خانواده‌های دیگر مدل، علیه مدل‌های GPT سوگیری داشته باشد. با این حال، مدل‌های رقیب در بهترین حالت به عملکرد مدل متناظر GPT در زمان انتشار رسیدند و معمولاً به‌طور محسوسی عقب ماندند.

این نتایج ارزیابی—تا ۳۱٫۵٪ در GPT‑5.6 Sol (Pro)—با توجه به دشواری پرسش‌های GeneBench-Pro چشمگیرند. در یک نظرسنجی، بازبینان ما برآورد کردند که انجام یک مسئله معمول GeneBench-Pro برای یک متخصص انسانی حدود ۲۰ تا ۴۰ ساعت زمان می‌برد. با برآورد محافظه‌کارانه ۲۰۰ دلار در ساعت، هزینه نیروی انسانی برای یک مسئله واحد به هزاران دلار می‌رسد. عامل‌های هوش مصنوعی کنونی هنوز آن‌قدر قابل اعتماد نیستند که جایگزین متخصصان انسانی شوند، اما شکاف هزینه بزرگ است و هزینه استنتاج برای هر مسئله تنها چند دلار است. این یعنی حتی خودکارسازی جزئی با قابلیت‌های فعلی می‌تواند ارزش اقتصادی و علمی معناداری ایجاد کند.

“این آزمون‌های ارزیابی از طیف گسترده‌ای از پرسش‌های زیستی الهام گرفته‌اند، اما… چالش اصلی در بررسی داده‌ها و نتیجه‌گیری از یافته‌هاست: اینکه الگوها و خطاهای احتمالی در داده‌ها شناسایی شوند و تصمیم گرفته شود کدام داده‌ها باید کنار گذاشته یا اصلاح شوند. این وضعیت به همان آشفتگی و پیچیدگی‌ای شباهت دارد که در مجموعه‌داده‌های واقعی زیستی دیده می‌شود. بررسی این ارزیابی‌ها نشان می‌دهد که در حل مسائل علمی با کمک عامل‌های هوش مصنوعی، روشن بودن قواعد و محدوده کاریِ حل‌کننده چقدر اهمیت دارد. حتی تفاوت در واژه‌بندی پرامپت یا شیوه تعریف وظیفه می‌تواند تأثیر زیادی بگذارد بر اینکه چه نوع تحلیل‌هایی مجاز یا قابل قبول به نظر برسند.”

سیریلوس تان، پژوهشگر پسادکتری در مرکز ژنوم نیویورک

“در کل، [سؤال‌ها] را دوست داشتم. آن‌ها معمولاً ترکیبی از این موارد را داشتند: (۱) دانش لازم دربارهٔ موضوع، مانند سوگیری C>T در DNA باستانی، (۲) ناسازگاری‌های داده‌ای، مانند جابجایی‌های تبار، (۳) نوعی آگاهی از ابزارهای تحلیلی مناسب برای کار و نحوهٔ پیاده سازی آن‌ها. به نظر می‌رسید بیشتر عامل‌ها در مورد (۲) ناموفق بودند. آن‌ها در مورد مسائل مربوط به داده‌ها به اندازه کافی محتاط نیستند. شاید این موضوع یکی از ضعف‌های مدل‌های فعلی را برجسته کند. و بسیاری از داده‌های زیستی دارای ناهنجاری‌هایی هستند.”

لکس فلاگل، مدیر علم داده در Gencove

1 از 2

“این آزمون‌های ارزیابی از طیف گسترده‌ای از پرسش‌های زیستی الهام گرفته‌اند، اما… چالش اصلی در بررسی داده‌ها و نتیجه‌گیری از یافته‌هاست: اینکه الگوها و خطاهای احتمالی در داده‌ها شناسایی شوند و تصمیم گرفته شود کدام داده‌ها باید کنار گذاشته یا اصلاح شوند. این وضعیت به همان آشفتگی و پیچیدگی‌ای شباهت دارد که در مجموعه‌داده‌های واقعی زیستی دیده می‌شود. بررسی این ارزیابی‌ها نشان می‌دهد که در حل مسائل علمی با کمک عامل‌های هوش مصنوعی، روشن بودن قواعد و محدوده کاریِ حل‌کننده چقدر اهمیت دارد. حتی تفاوت در واژه‌بندی پرامپت یا شیوه تعریف وظیفه می‌تواند تأثیر زیادی بگذارد بر اینکه چه نوع تحلیل‌هایی مجاز یا قابل قبول به نظر برسند.”

سیریلوس تان، پژوهشگر پسادکتری در مرکز ژنوم نیویورک

“در کل، [سؤال‌ها] را دوست داشتم. آن‌ها معمولاً ترکیبی از این موارد را داشتند: (۱) دانش لازم دربارهٔ موضوع، مانند سوگیری C>T در DNA باستانی، (۲) ناسازگاری‌های داده‌ای، مانند جابجایی‌های تبار، (۳) نوعی آگاهی از ابزارهای تحلیلی مناسب برای کار و نحوهٔ پیاده سازی آن‌ها. به نظر می‌رسید بیشتر عامل‌ها در مورد (۲) ناموفق بودند. آن‌ها در مورد مسائل مربوط به داده‌ها به اندازه کافی محتاط نیستند. شاید این موضوع یکی از ضعف‌های مدل‌های فعلی را برجسته کند. و بسیاری از داده‌های زیستی دارای ناهنجاری‌هایی هستند.”

لکس فلاگل، مدیر علم داده در Gencove

با این حال، این واقعیت که مدل‌های پیشرو هنوز کمتر از یک‌سوم این مسائل را حل می‌کنند نشان می‌دهد که فضای زیادی برای بهبود وجود دارد. این مدل‌ها می‌توانند در مسائل چالش‌برانگیز تا حدی پیشرفت کنند، اما در تکمیل چرخه کامل استدلال دچار مشکل هستند.این الگوی خطا مشابه تفاوت میان متخصصان انسانی و افراد مبتدی است. متخصصان با استفاده از تجربه خود، مسئله را چارچوب‌بندی می‌کنند و روش خود را با شرایط مسئله تطبیق می‌دهند، در حالی که افراد مبتدی می‌توانند مشاهداتی انجام دهند اما در تبدیل آن‌ها به یک درک منسجم از مسئله دچار مشکل می‌شوند.

مسئله: پاسخ فارماکوژنومیک زمان‌تا‌رخداد با درمانی که در طول زمان تغییر می‌کند

شروع درمان، پاسخ وابسته به ژنوتیپ، اثرگذاری تأخیری دارو، شاخص‌های دریافت قبلی درمان و زیست‌نشانگرهای اندازه‌گیری‌شده در طول زمان، همگی مشخص می‌کنند که در تحلیل بقا، اثر علّی درمان دقیقاً چگونه باید تعریف و سنجیده شود.

الگوی GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

الگوی GPT-5.6 Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

رسیدن به عملکرد تقریباً کامل به ارزیابی‌هایی نیاز دارد که هم پیشرفت را به‌طور قابل اعتماد اندازه‌گیری کنند و هم نشان دهند مدل‌ها هنوز در کجا دچار خطا می‌شوند. معیارهایی مانند GeneBench-Pro می‌توانند کمک کنند تا شکاف‌های مبهم در توانمندی به مسائل قابل تشخیص و قابل بهبود تبدیل شوند.

اگر عامل‌ها بتوانند این دسته از تحلیل‌ها را به‌طور قابل اعتماد خودکار کنند، می‌توانند کشف علمی را به‌طور چشمگیری شتاب دهند. شواهد ژنتیکی انسانی همین حالا هم در اولویت‌بندی هدف و پیگیری ترجمانی نقش محوری دارد، زیرا سازوکارهایی که پشتوانه ژنتیکی دارند بسیار بیشتر احتمال دارد به درمان‌های تأییدشده منجر شوند.

در همین حال، هزینه‌های توالی‌یابی به‌شدت سقوط کرده و مجموعه‌داده‌ها در مقیاس زیست‌بانک اکنون اطلاعات مولکولی، فنوتیپی و سوابق سلامت را با گستره‌ای بی‌سابقه به هم پیوند می‌دهند. عامل محدودکننده از تولید داده به تبدیل اطلاعات به بینش‌های اقدام‌پذیر در حال جابه‌جایی است. مدل‌هایی که بتوانند تحلیل‌هایی را که امروز تیم‌های متخصص انسانی انجام می‌دهند به‌طور پیوسته اجرا کنند، می‌توانند پژوهش صنعتی را دگرگون کنند؛ با شتاب دادن به غربالگری فرضیه‌ها، پیگیری اهداف و چرخه تکرار میان تولید داده و تصمیم‌گیری.

GeneBench-Pro تلاشی اولیه برای ارزیابی مهارت‌های انتزاعی‌ترِ مرتبط با قضاوت علمیِ درست در افراد باتجربه است. این مهارت‌ها به آن‌ها کمک می‌کند تحلیل‌های اولیه‌ای را که بیشترین پتانسیل را دارند به‌صورت شهودی تشخیص دهند، در صورت بروز تناقض میان داده‌ها و فرضیات اولیه، در روند استدلال خود بازنگری و اصلاح کنند، و در نهایت به نتایجی برسند که تصمیم‌های بعدی در حوزه‌های بالینی، دانشگاهی یا تجاری ممکن است بر آن‌ها استوار باشد.

با پیشرفت قابلیت‌های مدل‌ها، انتظار داریم معیارهایی که توانایی‌های استدلالی در سطوح بالاتر و انتزاعی‌تر را می‌سنجند، اهمیت بیشتری پیدا کنند؛ نه فقط معیارهایی که صرفاً دانش کتابی یا توان انجام تحلیل‌های روتین را ارزیابی می‌کنند.

۲۰۲۶

نویسنده

OpenAI

به خواندن ادامه بده

مشاهده همه

A near-autonomous AI chemist improves a challenging reaction

یک شیمی‌دان هوش مصنوعی تقریباً خود مختار، یک واکنش چالش‌برانگیز را در شیمی دارویی بهبود می‌بخشد

تحقیق۲۷ خرداد ۱۴۰۵

معرفی LifeSciBench

تحقیق۲۷ خرداد ۱۴۰۵

پیش‌بینی رفتار مدل پیش از انتشار با شبیه‌سازی استقرار

تحقیق۲۶ خرداد ۱۴۰۵