۹ تیر ۱۴۰۵

معرفی GeneBench-Pro

معیار ارزیابی در سطح پژوهشی که می‌سنجد عامل‌های هوش مصنوعی چگونه با ابهام مواجه می‌شوند و در زیست شناسی محاسباتی قضاوت‌های پیامد دار انجام می‌دهند.

مقاله را مطالعه کنید

در حال بارگذاری…

داده‌های علمی به ندرت همراه با دستورالعمل ارائه می‌شوند. پژوهشگران باید تصمیم بگیرند که آیا یک الگو بازتاب دهنده زیست‌شناسی است یا نویز، آیا داده‌ها می‌توانند از پرسشی که مطرح شده پشتیبانی کنند، و هر نتیجه چگونه باید کاری را که در ادامه انجام می‌دهند تغییر دهد. عامل‌های هوش مصنوعی به طور فزآینده‌ای قادر به اجرای تحلیل‌های پیچیده شده‌اند، اما پژوهش علمی واقعی صرفاً به یادآوری حقایق یا پیروی از یک گردش کار از پیش تعریف‌شده وابسته نیست، بلکه به انجام این قضاوت‌های سطح بالاتر نیز بستگی دارد.

امروز GeneBench-Pro را معرفی می‌کنیم—یک بنچمارک چالش برانگیز در سطح پژوهشی برای آزمودن اینکه آیا مدل‌ها می‌توانند از عهده نوعی تحلیل قضاوت‌محور برآیند که زیست‌شناسی محاسباتی در دنیای واقعی به آن نیاز دارد. این، GeneBench⁠(در یک پنجره جدید باز می‌شود) را گسترش می‌دهد تا مسائل دشوارتر و واقع گرایانه‌تر را در ژنومیک، زیست شناسی کمی و پزشکی ترجمانی پوشش دهد و پیچیدگی، ماهیت تکرار شونده و ابهام پژوهش علمی در زیست شناسی محاسباتی را بازتاب دهد.

تا به امروز، ارزیابی‌های قانع کننده اندکی از تصمیم گیری‌های مبتنی بر قضاوت در سطح سامانه که پژوهش رایانشی در دنیای واقعی را دشوار می‌کنند، وجود داشته است. این موارد شامل مدیریت ابهام، بازنگری در فرضیات، انتخاب مسیر درست تحلیل، و دانستن این است که چه زمانی یک نتیجه آماده برای تصمیم‌گیری است. از آنجا که رسمی سازی این مهارت‌ها دشوار است، ارزیابی دقیق و سخت‌گیرانهٔ آن‌ها نیز دشوار است؛ در حالی که ضعف در این مهارت‌ها به طور فزآینده‌ای عملکرد کلی هوش مصنوعی را محدود می‌کند.

نموداری با عنوان «شکاف معیار سنجی در زیست شناسی» که گردش‌کارهای سنتی معیارسنجی را با تحلیل علمی سرتاسری مقایسه می‌کند و مراحل بیشتری مانند پیش پردازش، مدل سازی، تشخیص‌ها و بهبود تکرار شونده را پیش از رسیدن به یک نتیجه گیری علمی نشان می‌دهد.

GeneBench-Pro طراحی شده است تا این قابلیت‌های سطح بالاتر را به طور دقیق بسنجد. در GeneBench-Pro، ما «سلیقهٔ پژوهشی» را به‌عنوان زنجیره‌هایی از تصمیم‌های مبتنی بر قضاوت تعریف می‌کنیم که یک تحلیل را شکل می‌دهند: اینکه داده‌ها می‌توانند از کدام پرسش‌ها پشتیبانی کنند، تشخیص‌های اولیه چگونه باید مدل یا کمیت هدفِ برآورد را تغییر دهند، و چه زمانی یک طرح اولیه نیاز به بازنگری دارد. هر مسئلهٔ GeneBench-Pro یک مجموعه‌دادهٔ واقع‌گرایانه و نامرتب، زمینهٔ آزمایشی مختصر، و یک برآوردنیِ هدف مرتبط با یک تصمیم پایین دستی را در اختیار مدل قرار می‌دهد. برای پاسخ دادن به درستی، مدل باید داده‌ها را کاوش کند، رویکرد تحلیلی مناسبی را انتخاب کند، وارد فرآیند تکرار شونده‌ای از آزمایش شود و یک پاسخ نهایی ارائه دهد.

ساخت مجموعه‌داده

در زیست شناسی، هزینهٔ تولید داده (مثلاً توالی‌یابی ژنوم) به‌شدت کاهش یافته است و برخی پژوهشگران اکنون استدلال می‌کنند⁠(در یک پنجره جدید باز می‌شود) که عامل محدود کننده دیگر جمع آوری نمونه نیست، بلکه محاسبات و تحلیل‌های پایین دستی است. GeneBench-Pro برای ارزیابی پیشرفت در رفع آن گلوگاه طراحی شده است و شامل ۱۲۹ پرسش است که طیف گسترده‌ای از زمینه‌ها و روش‌های زیست شناسی محاسباتی را پوشش می‌دهند.

اطلس دامنه: ۱۲۹ مشکل در ۱۰ دامنه و ۲۱ زیردامنه

برای آشنایی با یک مسئلهٔ بنچمارک، روی یکی از نقاط بالا کلیک کنید.

این اطلس پیش نمایشی از گسترهٔ GeneBench-Pro ارائه می‌دهد. برای بررسی دقیق‌تر ۱۰ پرسش نمونه، از صفحهٔ مطالعات موردی بازدید کنید.

GeneBench-Pro همچنین به گونه‌ای طراحی شده است که از کاستی‌های رایج بنچمارک‌ها جلوگیری کند. بسیاری از بنچمارک‌های بلند افقِ زیست شناسی پرسش‌های چند مرحله‌ای را پیرامون مجموعه داده‌های تاریخی نامرتب طراحی می‌کنند؛ جایی که ممکن است هیچ مسیر درستِ واحدی برای پیشبرد تحلیل وجود نداشته باشد. یک عامل ممکن است یک نقطهٔ برش قابل دفاع را انتخاب کند، در حالی که عامل دیگری ممکن است گزینه‌ای متفاوت اما به همان اندازه قابل دفاع را برگزیند؛ امری که بیش از آنکه بازتاب دهندهٔ تفاوت‌های بنیادین در عملکرد مدل باشد، انتخاب‌های اختیاری سازندهٔ معیار ارزیابی را نشان می‌دهد. عکس این حالت نیز ممکن است رخ دهد: اگر مسئله‌ای از نظر عددی بیش از حد کم حساس باشد، یک عامل می‌تواند در تحلیل خود خطاهای بنیادی مرتکب شود و همچنان نتیجه‌ای قابل قبول تولید کند.

برای اجتناب از این حالت‌های شکست، هر مسئلهٔ GeneBench-Pro به صورت مصنوعی ساخته می‌شود: ما ساختار علّی کامل را می‌دانیم و فرآیند تولید داده را به طور مستقیم شبیه سازی می‌کنیم. این امر به ما امکان می‌دهد پیچیدگی هر مسئله را به‌دقت تنظیم کنیم، اطمینان یابیم که تفاوت‌های معقول در انتخاب‌های تحلیلیِ مبتنی بر داوری فردی همچنان نتایج عددیِ پذیرفته شده‌ای تولید می‌کنند، و تأیید کنیم (از طریق مطالعات حذف مؤلفه‌ها) که تحلیل‌های به ظاهر موجه اما نادرست رد می‌شوند. سپس پیش نویس‌های مسئله‌ها را از طریق تحلیل‌های دقیق ردیابی بررسی می‌کنیم تا نشت اطلاعات و مسیرهای حل ناخواسته را شناسایی کنیم. این به ما اطمینان می‌دهد که رسیدن به پاسخ درست به انتخاب مسیر تحلیلی صحیح بستگی دارد، نه به استفاده از یک میانبر یا مطابقت با ترجیح دلخواه نویسنده.

نموداری با عنوان «ساخت و اعتبارسنجی یک مسئله GeneBench-Pro» که گردش کاری را از ساخت یک وظیفه قابل اجراء تا بازبینی، بررسی‌های استحکام، آزمون عامل، بازبینی تخصصی، بازنگری و یک مسئله بنچمارک نهایی نشان می‌دهد.

ما ۸۲ مورد از ۱۲۹ پرسش GeneBench-Pro را برای متخصصان بیرونیِ حوزه مربوطه ارسال کردیم، از جمله دانشجویان تحصیلات تکمیلی، پژوهشگران پسا دکتری، دانشمندان شاغل در صنعت و استادان. داوران واقع گرایانه بودن هر مسئله، قابل شناسایی بودن پاسخ هدف، و مناسب بودن روش‌ها و برآوردگرها را ارزیابی کردند. از بازخورد برای رفع مشکلات استفاده شد.

“حل کردن مسائلی که بررسی کردم، بدون دریافت باز خوردهای مکرر از سوی یک استاد راهنمای با تجربه، برای یک دانشجوی تحصیلات تکمیلی چالش‌برانگیز می‌بود. داده‌ها حاوی مسائل فنی و کنترل کیفیت بودند که برای تکمیل موفقیت‌آمیز کار، به تحلیل دادهٔ سنجیده و تأمل‌گرانه، همراه با آگاهی از دام‌ها و خطاهای احتمالی، نیاز داشتند؛ آن‌ها صرفاً روشی آماده و از پیش موجود را بر داده‌هایی پاک و به خوبی ساماندهی‌شده اعمال نمی‌کردند.”

الکساندر استرودویک یانگ، استادیار ژنتیک انسانی در دانشگاه کالیفرنیا، لس‌آنجلس (UCLA)

“حتی اگر مدل‌های کنونی نتوانند تحلیل‌های مستقل را به‌طور قابل اعتماد از ابتداء تا انتها انجام دهند، مدل‌هایی که در مسائل GeneBench-Pro عملکرد خوبی دارند، به وضوح می‌توانند به پژوهشگران در تعیین گردش کارهای درست و کاوش داده‌ها کمک کنند. می‌توانستم ببینم که این امر سرعت، جامعیت و باز تولید پذیری پژوهش را به طور چشمگیری بهبود می‌بخشد.”

جنیفر گراندمن، دانشجوی دکتری ژنتیک انسانی در UCLA

1 از 2

“حل کردن مسائلی که بررسی کردم، بدون دریافت باز خوردهای مکرر از سوی یک استاد راهنمای با تجربه، برای یک دانشجوی تحصیلات تکمیلی چالش‌برانگیز می‌بود. داده‌ها حاوی مسائل فنی و کنترل کیفیت بودند که برای تکمیل موفقیت‌آمیز کار، به تحلیل دادهٔ سنجیده و تأمل‌گرانه، همراه با آگاهی از دام‌ها و خطاهای احتمالی، نیاز داشتند؛ آن‌ها صرفاً روشی آماده و از پیش موجود را بر داده‌هایی پاک و به خوبی ساماندهی‌شده اعمال نمی‌کردند.”

الکساندر استرودویک یانگ، استادیار ژنتیک انسانی در دانشگاه کالیفرنیا، لس‌آنجلس (UCLA)

“حتی اگر مدل‌های کنونی نتوانند تحلیل‌های مستقل را به‌طور قابل اعتماد از ابتداء تا انتها انجام دهند، مدل‌هایی که در مسائل GeneBench-Pro عملکرد خوبی دارند، به وضوح می‌توانند به پژوهشگران در تعیین گردش کارهای درست و کاوش داده‌ها کمک کنند. می‌توانستم ببینم که این امر سرعت، جامعیت و باز تولید پذیری پژوهش را به طور چشمگیری بهبود می‌بخشد.”

جنیفر گراندمن، دانشجوی دکتری ژنتیک انسانی در UCLA

ارزیابی و نمره‌دهی

هر مسئلهٔ GeneBench-Pro یک تحلیل علمی خودبسنده است. عامل‌ها به یک فضای کاری ایزوله با یک اعلان کوتاه، فایل‌های داده، و یک پشتهٔ استاندارد بیوانفورماتیک شامل Python، کتابخانه‌های رایانش علمی، و بسته‌های پایهٔ ژنومیک مانند PLINK 2.0 دسترسی دریافت می‌کنند (هرچند مسائل به ابزارهای تخصصیِ دامنه‌محور نیاز ندارند).

تصمیم گیری فایده-خطر درمان تومور مبتنی بر واریانت ساختاری

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise.

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1{
2  "answer": {
3    "therapy_class_code": <int>,
4    "benefit_rd_pp": <float>,
5    "toxicity_dropout_risk_pp": <float>,
6    "net_clinical_utility_pp": <float>
7  },
8  "reasoning": "<description of method and QC>"
9}

ازآن‌جا که ما کل فرآیند تولید داده را کنترل می‌کنیم، می‌توانیم صحت را به‌صورت قطعی در برابر اهداف شناخته شده ارزیابی کنیم و از تغییرپذیری ناشی از انتخاب مدل و اثرات پرگویی که در ارزیابی استاندارد مبتنی بر معیارها دیده می‌شود، اجتناب کنیم.

هر مسئله همچنین همراه با فرا داده‌های غنی ارائه می‌شود، از جمله ساختار تحلیل مورد نظر، فایل‌های داده پیوست شده، یک مطالعه موردی چند صفحه‌ای تفصیلی و نتایج بازبینی کارشناسان. ما ۱۰ پرسش نماینده از GeneBench-Pro را به‌صورت کاملاً متن‌باز در Hugging Face⁠(در یک پنجره جدید باز می‌شود) منتشر می‌کنیم و یک رابط وب تعاملی نیز برای مرور آن‌ها ارائه می‌دهیم. در نهایت، در آیندهٔ نزدیک، زیرمجموعه‌ای ۵۰ پرسشی را برای بنچمارک گیری مستقل توسط شخص ثالث در اختیار Artificial Analysis⁠(در یک پنجره جدید باز می‌شود) قرار خواهیم داد.

نتایج

قوی‌ترین مدل ما، GPT‑5.6 Sol، در بالاترین سطح استدلال به نرخ قبولی ۲۸.۷٪ دست می‌یابد (با فعال بودن حالت Pro، ۳۱.۵٪). این افزایش چشمگیری نسبت به زمانی است که ساخت GeneBench اصلی را آغاز کردیم؛ در آن زمان، بهترین مدل پیشروی ما، GPT‑5، امتیازی کمتر از ۵ ٪ کسب کرد. پیشرفت در این بنچمارک نشان می‌دهد که مدل‌های پیشرو به سرعت در حال بهبود هستند، حتی در استدلال علمیِ کمتر ملموس و در سطح سیستم‌ها. با روند فعلی، ممکن است این بنچمارک تا پایان سال به نقطهٔ اشباع برسد.

این نتایج همچنین تأثیر مقیاس دهی محاسبات در زمان آزمون را نشان می‌دهند. در پایین‌ترین سطح استدلال، GPT‑5.6 Sol فقط به نرخ قبولی تک رقمی دست می‌یابد. در بالاترین سطح استدلال، GPT‑5.6 Sol تقریباً شش برابر GPT‑5.2 سؤال حل می‌کند این کار را انجام می‌دهد، در حالی که حدود دو سوم تعداد توکن‌ها را مصرف می‌کند.

مقایسه‌ها میان خانواده‌های مدل نشان می‌دهد که مدل‌های GPT از جمله قوی ترین سیستم‌ها در استدلال علمی سطح بالا در شرایط عدم قطعیت کمی هستند. اختلاف عملکرد بین GPT‑5.6، اختلاف میان GPT‑5.5 و مدل‌های متن باز پیشرو مانند GLM 5.2 به طور قابل توجهی بزرگ‌تر از آن چیزی است که هنگام برون یابی از بنچمارک‌های کد نویسی⁠(در یک پنجره جدید باز می‌شود) انتظار داشتیم؛ این نشان می‌دهد که مدل‌های متن‌باز برای کد نویسی تخصصی‌تر از توانایی استدلال گسترده‌تر هستند.

ما در طول توسعه از مدل‌های GPT پیشرو برای ارزیابی و مقاوم سازی مسائل استفاده کردیم. از این رو، ما گمان کردیم که GeneBench-Pro ممکن است در مقایسه با سایر خانواده‌های مدل، به ضرر مدل‌های GPT سوء گیری داشته باشد. با این‌حال، مدل‌های رقباء در بهترین حالت، با عملکرد مدل GPT متناظر در زمان انتشار برابری می‌کردند و معمولاً به طور قابل توجهی ضعیف‌تر عمل می‌کردند.

این نتایج ارزیابی—تا سقف ۳۱٫۵٪ در GPT‑5.6 Sol (Pro)—با توجه به دشواری پرسش‌های GeneBench-Pro چشمگیر هستند. در یک نظرسنجی، ارزیابان ما تخمین زدند که حل یک مسئله معمولی GeneBench-Pro برای یک متخصص انسانی حدود ۲۰ تا ۴۰ ساعت زمان می‌برد. با برآوردی محافظه کارانه، ساعتی ۲۰۰ دلار، هزینهٔ نیروی کار انسانی برای یک مسئلهٔ واحد به هزاران دلار می‌رسد. عامل‌های فعلی هوش مصنوعی هنوز برای جایگزینی کارشناسان انسانی بیش از حد غیرقابل اتکاء هستند، اما شکاف هزینه‌ای بسیار زیاد است؛ به طوری‌که هزینه‌های استنتاج تنها چند دلار به ازای هر مسئله است. این بدان معناست که خودکار سازیِ حتی بخشی با توانمندی‌های کنونی می‌تواند ارزش اقتصادی و علمیِ قابل توجهی ایجاد کند.

“انگیزهٔ این بنچمارک‌ها طیف متنوعی از پرسش‌های زیستی است، اما … چالش واقعی از تحلیل اکتشافی داده‌ها و استدلال بر پایهٔ این کشفیات ناشی می‌شود: شناسایی الگوها و آرتیفکت‌ها، و تصمیم‌گیری دربارهٔ اینکه آیا داده‌ها باید حذف شوند یا تعدیل گردند. این شبیه ماهیت آشفتهٔ مجموعه داده‌های زیستی واقعی است. مرور این ارزیابی‌ها نشان می‌دهد که قراردادهای شفافِ حل کننده تا چه اندازه برای حل مسئلهٔ علمی عامل محور اهمیت دارند. عبارت بندی متفاوت اعلان یا مشخصات کار می‌تواند تأثیر زیادی بر این داشته باشد که کدام تحلیل‌ها مجاز به نظر می‌رسند.”

سیریلوس تان، همکار پژوهشی پسادکتری در مرکز ژنوم نیویورک

“در کل، [سؤال‌ها] را دوست داشتم. آن‌ها معمولاً ترکیبی از این موارد را داشتند: (۱) دانش لازم دربارهٔ موضوع، مانند سوگیری C>T در DNA باستانی، (۲) ناسازگاری‌های داده‌ای، مانند جابجایی‌های تبار، (۳) نوعی آگاهی از ابزارهای تحلیلی مناسب برای کار و نحوهٔ پیاده سازی آن‌ها. به نظر می‌رسید بیشتر عامل‌ها در مورد (۲) ناموفق بودند. آن‌ها در مورد مسائل مربوط به داده‌ها به اندازه کافی محتاط نیستند. شاید این موضوع یکی از ضعف‌های مدل‌های فعلی را برجسته کند. و بسیاری از داده‌های زیستی دارای ناهنجاری‌هایی هستند.”

لکس فلاگل، مدیر علم داده در Gencove

1 از 2

“انگیزهٔ این بنچمارک‌ها طیف متنوعی از پرسش‌های زیستی است، اما … چالش واقعی از تحلیل اکتشافی داده‌ها و استدلال بر پایهٔ این کشفیات ناشی می‌شود: شناسایی الگوها و آرتیفکت‌ها، و تصمیم‌گیری دربارهٔ اینکه آیا داده‌ها باید حذف شوند یا تعدیل گردند. این شبیه ماهیت آشفتهٔ مجموعه داده‌های زیستی واقعی است. مرور این ارزیابی‌ها نشان می‌دهد که قراردادهای شفافِ حل کننده تا چه اندازه برای حل مسئلهٔ علمی عامل محور اهمیت دارند. عبارت بندی متفاوت اعلان یا مشخصات کار می‌تواند تأثیر زیادی بر این داشته باشد که کدام تحلیل‌ها مجاز به نظر می‌رسند.”

سیریلوس تان، همکار پژوهشی پسادکتری در مرکز ژنوم نیویورک

“در کل، [سؤال‌ها] را دوست داشتم. آن‌ها معمولاً ترکیبی از این موارد را داشتند: (۱) دانش لازم دربارهٔ موضوع، مانند سوگیری C>T در DNA باستانی، (۲) ناسازگاری‌های داده‌ای، مانند جابجایی‌های تبار، (۳) نوعی آگاهی از ابزارهای تحلیلی مناسب برای کار و نحوهٔ پیاده سازی آن‌ها. به نظر می‌رسید بیشتر عامل‌ها در مورد (۲) ناموفق بودند. آن‌ها در مورد مسائل مربوط به داده‌ها به اندازه کافی محتاط نیستند. شاید این موضوع یکی از ضعف‌های مدل‌های فعلی را برجسته کند. و بسیاری از داده‌های زیستی دارای ناهنجاری‌هایی هستند.”

لکس فلاگل، مدیر علم داده در Gencove

با این حال، این واقعیت که مدل‌های پیشرو هنوز کمتر از یک سوم این مسائل را حل می‌کنند، نشان می‌دهد که جای زیادی برای بهبود وجود دارد. مدل‌ها می‌توانند در مسائل چالش‌برانگیز تا حدی پیشرفت کنند، اما در کامل کردن چرخهٔ استنتاج با دشواری مواجه‌اند. این الگوی شکست، تفاوت میان متخصصان انسانی و تازه کاران را بازتاب می‌دهد. متخصصان از تجربه‌ی خود برای چارچوب بندی مسئله و سازگار کردن رویکردشان استفاده می‌کنند، در حالی که تازه کاران مشاهده هایی انجام می‌دهند اما در ادغام آن‌ها با زمینه‌ی گسترده‌تر مسئله دچار مشکل می‌شوند.

مسئله: پاسخ فارماکوژنومیکِ زمان تا رخداد با درمان متغیر در زمان

آغاز درمان، پاسخ مختص ژنوتیپ، فارماکودینامیکِ تأخیری، پرچم‌های کاربران موجود، و نشانگرهای زیستی طولی، به طور مشترک کمیت مورد برآوردِ بقای علّی را تعیین می‌کنند.

الگوی GPT-5.5

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

الگوی GPT-5.6 Sol

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

دستیابی به عملکردی تقریباً بی نقص به ارزیابی‌هایی نیاز خواهد داشت که هم پیشرفت را به طور قابل اعتماد اندازه‌گیری کنند و هم مشخص کنند مدل‌ها هنوز در کجا ناکام می‌مانند. بنچمارک‌هایی مانند GeneBench-Pro می‌توانند کمک کنند تا یک کمبود مبهم در قابلیت به چیزی تبدیل شود که بتوانیم آن را تشخیص دهیم و بهبود بخشیم.

اگر عامل‌ها بتوانند این دسته از تحلیل‌ها را به طور قابل‌اعتماد خودکار سازی کنند، می‌توانند کشف علمی را به طور چشمگیری تسریع کنند. شواهد ژنتیکی انسانی هم اکنون در اولویت بندی اهداف و پیگیری ترجمانی نقشی محوری دارد، زیرا ساز و کارهایی که پشتوانه ژنتیکی دارند، با احتمال بسیار بیشتری به درمان‌های تأییدشده منجر می‌شوند.

در همین حال، هزینه‌های توالی یابی به شدت کاهش یافته‌اند و مجموعه داده‌هایی در مقیاس زیست بانک اکنون اطلاعات مولکولی، فنوتیپی و سوابق سلامت را با گستره‌ای بی سابقه به هم پیوند می‌دهند. عامل محدود کننده در حال تغییر از تولید داده به تبدیل اطلاعات به بینش‌های قابل‌اقدام است. مدل‌هایی که بتوانند به‌طور پیوسته تحلیل‌هایی را انجام دهند که اکنون توسط تیم‌هایی از متخصصان انسانی انجام می‌شود، می‌توانند با تسریع غربالگری فرضیه‌ها، پیگیری اهداف، و چرخه تکرار میان تولید داده و تصمیم‌گیری، پژوهش صنعتی را متحول کنند.

GeneBench-Pro نشان‌دهندهٔ تلاشی اولیه برای ارزیابی مهارت‌های انتزاعی‌تری است که در قضاوت علمی درست نقش دارند و افراد با تجربه از آن‌ها برخوردارند. این مهارت‌ها به آن‌ها امکان می‌دهد که امید بخش‌ترین تحلیل‌های اولیه را به‌طور شهودی دریابند و شناسایی کنند، هنگامی که داده‌ها با فرضیات اولیه در تضادند تفکر خود را به‌صورت تکرار شونده بازنگری و اصلاح کنند، و به نتیجه گیری‌هایی برسند که تصمیمات بعدیِ بالینی، دانشگاهی یا تجاری ممکن است به آن‌ها وابسته باشد.

ما انتظار داریم که با پیشرفت توانمندی‌های مدل، معیارهای ارزیابی‌ای که توانایی‌های مدل را در این سطوح بالاتر انتزاع می‌سنجند، فراتر از معیارهایی که صرفاً دانش کتابی یا توانایی اجرای تحلیل‌های معمول را می‌آزمایند، به طور فزآینده‌ای مفید شوند.

۲۰۲۶

نویسنده

OpenAI

به خواندن ادامه بده

مشاهده همه

چگونه فعال‌کردن دو تنظیم، امتیاز ما در بنچمارک ARC-AGI-3 را سه برابر کرد

تحقیق۷ مرداد ۱۴۰۵

oai Science Academic Research Academic Research 1x1

Accelerating scientific discovery with ChatGPT for Academic Researchers

شرکت۷ مرداد ۱۴۰۵

Scientific computing agentic AI card image (1x1)

رایانش علمی در عصر AI عامل محور

مقالات۶ مرداد ۱۴۰۵