Giới thiệu GeneBench-Pro

Dữ liệu khoa học hiếm khi đi kèm với hướng dẫn. Các nhà nghiên cứu phải quyết định xem một mô hình phản ánh sinh học hay nhiễu, liệu dữ liệu có thể hỗ trợ câu hỏi đang được đặt ra hay không, và mỗi kết quả nên thay đổi những gì họ làm tiếp theo như thế nào. Các tác nhân AI ngày càng có khả năng thực hiện các phân tích phức tạp, nhưng nghiên cứu khoa học thực sự không chỉ phụ thuộc vào việc nhớ lại các sự kiện hoặc tuân theo một quy trình làm việc được xác định trước mà còn phụ thuộc vào việc đưa ra những phán đoán cấp cao hơn.

Hôm nay, chúng tôi giới thiệu GeneBench-Pro—một bộ chuẩn đánh giá đầy thách thức ở cấp độ nghiên cứu, nhằm kiểm tra xem các mô hình có thể xử lý kiểu phân tích đòi hỏi nhiều phán đoán mà sinh học tính toán trong thực tế yêu cầu hay không. Nó mở rộng dựa trên GeneBench⁠(mở trong cửa sổ mới) để bao quát các tác vụ khó hơn, thực tế hơn trong hệ gen học, sinh học định lượng và y học chuyển dịch, nắm bắt được tính phức tạp, bản chất lặp đi lặp lại và sự mơ hồ của nghiên cứu khoa học trong sinh học tính toán. 

Cho đến nay, vẫn chưa có nhiều đánh giá thuyết phục về những quyết định mang tính hệ thống gây khó khăn cho nghiên cứu tính toán trong thực tế. Những điều này bao gồm việc xử lý sự mơ hồ, xem xét lại các giả định, lựa chọn hướng phân tích đúng đắn và biết khi nào một kết quả đã đủ cơ sở để ra quyết định. Vì những kỹ năng này khó có thể được hệ thống hóa, nên chúng cũng khó đánh giá một cách nghiêm ngặt, ngay cả khi những điểm yếu trong chúng ngày càng hạn chế hiệu suất tổng thể của AI.

GeneBench-Pro được thiết kế để đo lường chính xác những năng lực cấp cao hơn này. Trong GeneBench-Pro, chúng tôi định nghĩa “gu nghiên cứu” là các chuỗi quyết định dựa trên phán đoán định hình một phân tích: dữ liệu có thể hỗ trợ những câu hỏi nào, các chẩn đoán ban đầu nên thay đổi mô hình hoặc đại lượng cần ước tính ra sao, và khi nào một kế hoạch ban đầu cần được điều chỉnh. Mỗi bài toán GeneBench-Pro cung cấp cho mô hình một bộ dữ liệu thực tế và lộn xộn, bối cảnh thí nghiệm ngắn gọn, cùng một đại lượng mục tiêu cần ước tính gắn với quyết định ở giai đoạn sau. Để trả lời chính xác, mô hình phải khám phá dữ liệu, chọn một phương pháp phân tích phù hợp, tham gia vào một quy trình thử nghiệm lặp lại và đưa ra câu trả lời cuối cùng.

Trong sinh học, chi phí tạo dữ liệu (ví dụ: giải trình tự bộ gen) đã giảm mạnh, và một số nhà nghiên cứu hiện cho rằng⁠(mở trong cửa sổ mới) yếu tố hạn chế không còn là việc thu thập mẫu mà là các bước tính toán và phân tích tiếp theo. GeneBench-Pro được xây dựng nhằm đánh giá tiến bộ trong việc giải quyết nút thắt đó, với 129 câu hỏi bao quát nhiều bối cảnh và phương pháp sinh học tính toán.

GeneBench-Pro cũng được thiết kế để tránh các lỗi thường gặp trong các bài đánh giá chuẩn. Nhiều bộ chuẩn đánh giá sinh học dài hạn xây dựng các câu hỏi nhiều bước xoay quanh các bộ dữ liệu lịch sử lộn xộn, trong đó có thể không có một lộ trình đúng duy nhất trong quá trình phân tích. Một tác nhân có thể chọn một ngưỡng cắt có thể bảo vệ được, trong khi một tác nhân khác có thể chọn một phương án khác nhưng cũng có thể bảo vệ được không kém, phản ánh các lựa chọn tùy ý do người tạo bộ chuẩn đánh giá đưa ra nhiều hơn là bất kỳ khác biệt cơ bản nào về hiệu năng của mô hình. Điều ngược lại cũng có thể xảy ra: nếu một bài toán quá không nhạy về mặt số học, một tác nhân có thể mắc các lỗi cơ bản trong quá trình phân tích mà vẫn tạo ra một kết quả đạt yêu cầu.

Để tránh những lỗi thường gặp này, mỗi bài toán GeneBench-Pro được xây dựng một cách tổng hợp: chúng tôi nắm rõ cấu trúc nhân quả đầy đủ và trực tiếp mô phỏng quá trình tạo dữ liệu. Điều đó cho phép chúng tôi điều chỉnh độ phức tạp của từng bài toán, đảm bảo rằng những khác biệt hợp lý trong các lựa chọn phân tích mang tính chủ quan vẫn tạo ra các kết quả số được chấp nhận, và xác minh (thông qua các nghiên cứu loại bỏ, hay ablation studies) rằng các phân tích có vẻ hợp lý nhưng không đúng sẽ thất bại. Sau đó, chúng tôi kiểm tra các bản nháp vấn đề thông qua phân tích dấu vết chi tiết để kiểm tra xem có rò rỉ thông tin và các hướng giải quyết không mong muốn hay không. Điều này giúp chúng ta tin tưởng rằng việc có được câu trả lời đúng phụ thuộc vào việc chọn đúng hướng phân tích, chứ không phải vào việc khai thác một lối tắt hay khớp với một sở thích tùy ý của tác giả.

Chúng tôi đã gửi 82 trong số 129 câu hỏi về GeneBench-Pro cho các chuyên gia bên ngoài, bao gồm sinh viên cao học, nghiên cứu sinh sau tiến sĩ, nhà khoa học trong ngành và giáo sư. Các chuyên gia đánh giá tính thực tế của từng vấn đề, liệu đáp án cần tìm có thể xác định được hay không, và liệu các phương pháp và công cụ ước lượng có phù hợp hay không. Ý kiến phản hồi đã được sử dụng để cải thiện các vấn đề.

Mỗi bài toán GeneBench-Pro là một bài phân tích khoa học độc lập. Các tác nhân nhận được quyền truy cập vào một không gian làm việc biệt lập với một câu lệnh ngắn, các tệp dữ liệu và một bộ công cụ tin sinh học tiêu chuẩn bao gồm Python, các thư viện tính toán khoa học và các gói bộ gen cơ bản như PLINK 2.0 (mặc dù các bài toán không yêu cầu công cụ chuyên biệt theo lĩnh vực).

Vì chúng ta kiểm soát toàn bộ quy trình tạo dữ liệu, nên chúng ta có thể chấm điểm tính đúng đắn một cách tất định dựa trên các đáp án mục tiêu đã biết, tránh được sự biến thiên do lựa chọn mô hình và các hiệu ứng dài dòng thường thấy trong đánh giá tiêu chuẩn dựa trên rubric.

Mỗi bài toán cũng đi kèm với siêu dữ liệu phong phú, bao gồm cấu trúc phân tích dự kiến, các tệp dữ liệu đính kèm, một nghiên cứu trường hợp chi tiết nhiều trang và kết quả đánh giá của chuyên gia. Chúng tôi đang công khai hoàn toàn dưới dạng nguồn mở 10 câu hỏi GeneBench-Pro tiêu biểu trên Hugging Face⁠(mở trong cửa sổ mới), kèm theo một giao diện web tương tác để duyệt xem các câu hỏi này. Cuối cùng, chúng tôi sẽ cung cấp một tập con gồm 50 câu hỏi cho Artificial Analysis⁠(mở trong cửa sổ mới) để đánh giá chuẩn độc lập bởi bên thứ ba trong thời gian tới.

Mô hình mạnh nhất của chúng tôi, GPT‑5.6 Sol, đạt tỷ lệ vượt qua bài kiểm tra là 28,7% ở cấp độ suy luận cao nhất (31,5% khi bật chế độ Pro). Đó là một mức tăng mạnh so với thời điểm chúng tôi bắt đầu xây dựng GeneBench gốc; vào thời điểm đó, mô hình tiên phong tốt nhất của chúng tôi, GPT‑5, đạt dưới 5%. Tiến bộ trên chuẩn đánh giá này cho thấy các mô hình tiên phong đang cải thiện nhanh chóng, ngay cả trong suy luận khoa học ở cấp độ hệ thống, khó nắm bắt hơn. Với tốc độ hiện tại, chuẩn đánh giá này có thể bị bão hòa vào cuối năm.

Kết quả cũng cho thấy tác động của việc mở rộng lượng tính toán tại thời điểm kiểm thử. Ở mức suy luận thấp nhất, GPT‑5.6 Sol chỉ đạt tỷ lệ đạt ở mức một chữ số. Ở mức suy luận cao nhất, GPT‑5.6 Sol giải được gần gấp sáu lần số câu hỏi so với GPT‑5.2. làm được điều đó trong khi sử dụng số token chỉ bằng khoảng hai phần ba.

So sánh giữa các nhóm mô hình cho thấy các mô hình GPT nằm trong số những hệ thống mạnh nhất về khả năng suy luận khoa học cấp cao trong điều kiện không chắc chắn về định lượng. Khoảng cách hiệu năng giữa GPT‑5.6, Khoảng cách giữa GPT‑5.5 và các mô hình nguồn mở hàng đầu như GLM 5.2, lớn hơn đáng kể so với mức chúng tôi kỳ vọng khi ngoại suy từ tiêu chuẩn đánh giá lập trình⁠(mở trong cửa sổ mới), cho thấy các mô hình nguồn mở được chuyên biệt hóa cho lập trình nhiều hơn là cho năng lực suy luận rộng hơn.

Chúng tôi đã sử dụng các mô hình GPT tiên phong để đánh giá và gia cố các bài toán trong quá trình phát triển. Do đó, chúng tôi nghi ngờ GeneBench-Pro có thể thiên vị các mô hình GPT so với các dòng mô hình khác. Tuy nhiên, các mô hình của đối thủ cạnh tranh cùng lắm cũng chỉ ngang bằng hiệu năng của mô hình GPT tương ứng tại thời điểm phát hành, và thường kém hơn đáng kể.

Những kết quả đánh giá này—cao tới 31,5% trên GPT‑5.6 Sol (Pro)—rất đáng chú ý xét đến độ khó của các câu hỏi GeneBench-Pro. Trong một khảo sát, những người đánh giá của chúng tôi ước tính rằng một bài toán GeneBench-Pro điển hình sẽ mất khoảng 20–40 giờ để một chuyên gia con người hoàn thành. Với mức ước tính thận trọng là $200 mỗi giờ, chi phí nhân công cho một vấn đề duy nhất có thể lên tới hàng nghìn đô la. Các tác nhân AI hiện nay vẫn còn quá kém tin cậy để thay thế các chuyên gia con người, nhưng chênh lệch về chi phí là rất lớn, với chi phí suy luận chỉ ở mức vài đô la cho mỗi bài toán. Điều đó có nghĩa là ngay cả tự động hóa một phần với năng lực hiện nay cũng có thể tạo ra giá trị kinh tế và khoa học đáng kể.

Tuy nhiên, việc các mô hình tiên phong vẫn giải quyết được chưa đến một phần ba số vấn đề này cho thấy vẫn còn nhiều dư địa để cải thiện. Các mô hình có thể đạt được tiến triển một phần đối với các vấn đề khó, nhưng chúng gặp khó khăn trong việc khép kín vòng suy luận. Mô hình thất bại này phản ánh sự tương phản giữa các chuyên gia và tập sự. Các chuyên gia sử dụng kinh nghiệm của mình để định hình vấn đề và điều chỉnh cách tiếp cận, trong khi tập sự có thể đưa ra các quan sát nhưng gặp khó khăn trong việc tích hợp chúng vào bối cảnh rộng hơn của vấn đề.

Để đạt được hiệu suất gần như hoàn hảo, cần có các bài đánh giá vừa đo lường tiến độ một cách đáng tin cậy, vừa xác định được những điểm mà các mô hình vẫn còn thất bại. Các bộ đo chuẩn như GeneBench-Pro có thể giúp biến một điểm thiếu hụt năng lực còn mơ hồ thành điều mà chúng ta có thể chẩn đoán và cải thiện. 

Nếu các tác nhân có thể tự động hóa loại phân tích này một cách đáng tin cậy, chúng có thể đẩy nhanh đáng kể quá trình khám phá khoa học. Bằng chứng di truyền học ở người hiện đã đóng vai trò trung tâm trong việc ưu tiên các mục tiêu và thực hiện các nghiên cứu tiếp nối mang tính chuyển dịch, vì những cơ chế có bằng chứng di truyền hỗ trợ có khả năng cao hơn nhiều trong việc dẫn đến các phương pháp điều trị được phê duyệt.

Trong khi đó, chi phí giải trình tự đã giảm mạnh, và các bộ dữ liệu ở quy mô ngân hàng sinh học hiện liên kết thông tin phân tử, kiểu hình và hồ sơ sức khỏe với phạm vi rộng chưa từng có. Yếu tố hạn chế đang chuyển từ việc tạo ra dữ liệu sang việc biến thông tin đó thành những hiểu biết có thể áp dụng. Những mô hình có khả năng thực hiện nhất quán các phân tích hiện đang do các nhóm chuyên gia con người đảm trách có thể chuyển đổi hoạt động nghiên cứu công nghiệp bằng cách đẩy nhanh quá trình sàng lọc ưu tiên giả thuyết, theo dõi tiếp các mục tiêu và chu kỳ lặp giữa tạo dữ liệu và ra quyết định.

GeneBench-Pro đại diện cho một nỗ lực ban đầu nhằm đánh giá những kỹ năng trừu tượng hơn liên quan đến khả năng phán đoán khoa học tốt mà các chuyên gia giàu kinh nghiệm sở hữu. Những kỹ năng này cho phép họ nhận định bằng trực giác và xác định các phân tích ban đầu có triển vọng nhất, lặp lại và điều chỉnh lại tư duy của mình khi dữ liệu mâu thuẫn với các giả định ban đầu, đồng thời đi đến những kết luận mà các quyết định lâm sàng, học thuật hoặc kinh doanh ở giai đoạn sau có thể phụ thuộc vào. 

Chúng tôi dự đoán rằng khi năng lực của mô hình tiến bộ, các chuẩn đánh giá nhằm kiểm tra năng lực của mô hình ở những cấp độ trừu tượng cao hơn này sẽ ngày càng hữu ích, vượt ra ngoài các chuẩn chỉ đơn thuần kiểm tra kiến thức sách vở hoặc khả năng thực hiện các phân tích thường quy.