Giới thiệu GeneBench-Pro
Một bộ đo chuẩn đánh giá cấp độ nghiên cứu nhằm đo lường cách các tác nhân AI xử lý tính mơ hồ và đưa ra các quyết định hệ trọng trong lĩnh vực sinh học tính toán.
Dữ liệu khoa học hiếm khi đi kèm hướng dẫn. Nhà nghiên cứu phải quyết định một mẫu hình phản ánh sinh học hay nhiễu, dữ liệu có đủ hỗ trợ câu hỏi hay không, và mỗi kết quả nên thay đổi bước tiếp theo ra sao. Các tác nhân AI ngày càng thực hiện được phân tích phức tạp, nhưng nghiên cứu khoa học thực tế không chỉ dựa vào nhớ dữ kiện hay theo quy trình định sẵn, mà còn cần những phán đoán bậc cao này.
Hôm nay, chúng tôi giới thiệu GeneBench-Pro—bộ đo chuẩn cấp nghiên cứu, có độ khó cao, để kiểm tra liệu mô hình có xử lý được kiểu phân tích nặng về phán đoán mà sinh học tính toán thực tế đòi hỏi hay không. Được mở rộng từ GeneBench(mở trong cửa sổ mới), bộ đo chuẩn này bao gồm các nhiệm vụ khó hơn, thực tế hơn thuộc các lĩnh vực hệ gen học, sinh học định lượng và y học dịch mã; qua đó phản ánh đúng tính phức tạp, quy trình lặp đi lặp lại và cả những yếu tố mơ hồ trong nghiên cứu khoa học sinh học tính toán.
Cho đến nay, có rất ít các đánh giá thuyết phục về những quyết định mang tính hệ thống—yếu tố vốn làm cho nghiên cứu tính toán trong thực tế trở nên khó khăn. Chúng bao gồm việc xử lý các tình huống mơ hồ, sửa đổi các giả định, lựa chọn hướng phân tích chính xác, và nhận biết khi nào một kết quả đã đủ độ tin cậy để đưa ra quyết định. Do khó lòng đặt ra công thức cho các kỹ năng này, việc đánh giá nghiêm ngặt cũng gặp thử thách, ngay cả khi điểm yếu ở các khía cạnh này ngày càng hạn chế hiệu suất tổng thể của AI.
GeneBench-Pro được thiết kế để đo chính xác các năng lực cấp cao này. Trong GeneBench-Pro, chúng tôi định nghĩa “gu nghiên cứu” là chuỗi phán đoán định hình một phân tích: dữ liệu hỗ trợ được câu hỏi nào, chẩn đoán ban đầu nên thay đổi mô hình hoặc estimand ra sao, và khi nào cần sửa kế hoạch ban đầu. Mỗi bài toán GeneBench-Pro cung cấp cho mô hình một bộ dữ liệu thực tế, lộn xộn, bối cảnh thí nghiệm ngắn và một estimand mục tiêu gắn với quyết định về sau. Để trả lời đúng, mô hình phải khám phá dữ liệu, chọn cách phân tích phù hợp, thử nghiệm lặp đi lặp lại và đưa ra đáp án cuối.
Trong sinh học, chi phí tạo dữ liệu (ví dụ giải trình tự hệ gen) đã giảm mạnh, và một số nhà nghiên cứu nay cho rằng(mở trong cửa sổ mới) nút thắt không còn là thu mẫu mà là tính toán và phân tích phía sau. GeneBench-Pro được xây dựng để đánh giá tiến bộ trong việc tháo gỡ nút thắt đó, với 129 câu hỏi bao quát nhiều bối cảnh và phương pháp sinh học tính toán.
Domain Atlas: 129 vấn đề trong 10 lĩnh vực và 21 lĩnh vực phụ
Nhấp vào một dấu chấm ở trên để tìm hiểu về một bài toán chuẩn đánh giá.
Bản đồ này cho thấy trước phạm vi rộng của GeneBench-Pro. Truy cập trang nghiên cứu tình huống để khám phá chi tiết hơn 10 câu hỏi tiêu biểu.
GeneBench-Pro cũng được thiết kế để tránh các lỗi thất bại phổ biến của những bộ tiêu chuẩn đánh giá khác. Nhiều bộ tiêu chuẩn sinh học dài hạn thường xây dựng các câu hỏi nhiều bước xung quanh các tập dữ liệu lịch sử hỗn tạp, nơi có thể không tồn tại một hướng phân tích chính xác duy nhất. Một tác nhân AI có thể chọn một ngưỡng cắt hợp lý, trong khi một tác nhân khác lại chọn một phương án khác nhưng cũng hợp lý không kém; điều này phản ánh những lựa chọn mang tính cảm tính của người tạo ra bộ tiêu chuẩn nhiều hơn là những khác biệt căn bản về hiệu suất của mô hình. Điều ngược lại cũng có thể xảy ra: nếu một bài toán quá ít nhạy cảm về mặt số liệu, một tác nhân AI có thể mắc phải những sai lầm căn bản trong quá trình phân tích mà vẫn cho ra một kết quả đạt yêu cầu.
Để tránh các lỗi thất bại này, mỗi bài toán trong GeneBench-Pro đều được xây dựng theo phương pháp tổng hợp: chúng tôi biết toàn bộ cấu trúc nhân quả và mô phỏng trực tiếp quy trình tạo ra dữ liệu. Điều đó cho phép chúng tôi tinh chỉnh độ phức tạp của từng bài toán, đảm bảo rằng những khác biệt hợp lý trong các lựa chọn phân tích mang tính chủ quan vẫn cho ra kết quả số liệu được chấp nhận, và xác minh (thông qua các nghiên cứu loại bỏ thành phần) rằng các hướng phân tích có vẻ hợp lý nhưng sai lệch sẽ bị thất bại. Sau đó, chúng tôi kiểm định các bản thảo bài toán thông qua các phân tích vết (trace analyses) chi tiết để kiểm tra rò rỉ thông tin và các hướng giải quyết ngoài ý muốn. Điều này giúp chúng tôi tự tin rằng việc có được câu trả lời đúng phụ thuộc vào việc lựa chọn hướng phân tích chính xác, chứ không phải dựa vào việc khai thác một lối tắt hay khớp với sở thích cảm tính của tác giả.
Chúng tôi gửi 82 trong số 129 câu hỏi GeneBench-Pro cho chuyên gia bên ngoài, gồm nghiên cứu sinh, nghiên cứu viên sau tiến sĩ, nhà khoa học trong ngành và giáo sư. Người đánh giá xem xét tính thực tế của từng bài toán, liệu đáp án mục tiêu có xác định được không, và phương pháp cùng bộ ước lượng có phù hợp không. Phản hồi được dùng để cải thiện các bài toán.
“Những bài toán tôi vừa xem xét sẽ là một thử thách lớn đối với ngay cả một sinh viên cao học nếu không có sự phản hồi, hướng dẫn liên tục từ một người giám sát dày dặn kinh nghiệm. Dữ liệu chứa đựng nhiều vấn đề về mặt kỹ thuật và kiểm soát chất lượng, đòi hỏi một quá trình phân tích thấu đáo, phản biện sâu sắc cùng với sự nhạy bén về các bẫy sai sót tiềm tàng mới có thể hoàn thành thành công; đây không đơn thuần là việc áp dụng một phương pháp có sẵn vào một bộ dữ liệu sạch và được chuẩn hóa tốt.”
“Ngay cả khi các mô hình hiện tại chưa thể tự chạy các phân tích độc lập một cách đáng tin cậy từ đầu đến cuối, những mô hình thể hiện tốt trong các bài toán của GeneBench-Pro rõ ràng vẫn sẽ có khả năng hỗ trợ các nhà nghiên cứu trong việc xác định quy trình làm việc chính xác và khám phá dữ liệu. Tôi có thể thấy điều đó sẽ cải thiện đáng kể tốc độ, độ kỹ lưỡng và tính lặp lại của các nghiên cứu.”
Mỗi bài toán GeneBench-Pro là một phân tích khoa học độc lập. Các tác nhân được cấp một không gian làm việc cô lập với câu lệnh ngắn, tệp dữ liệu và bộ công cụ tin sinh chuẩn gồm Python, thư viện tính toán khoa học và gói hệ gen học cơ bản như PLINK 2.0 (dù bài toán không yêu cầu công cụ chuyên ngành).
Quyết định giữa lợi ích và rủi ro trong liệu pháp điều trị ung thư định hướng bằng biến thể cấu trúc
Vì kiểm soát toàn bộ quá trình sinh dữ liệu, chúng tôi có thể chấm tính đúng sai một cách tất định theo mục tiêu đã biết, tránh biến thiên do lựa chọn mô hình và hiệu ứng dài dòng trong đánh giá theo thang điểm.
Mỗi bài toán cũng đi kèm với siêu dữ liệu (metadata) phong phú, bao gồm cấu trúc phân tích dự kiến, các tệp dữ liệu đính kèm, một bản nghiên cứu tình huống chi tiết dài nhiều trang, và kết quả đánh giá từ chuyên gia. Chúng tôi mã nguồn mở đầy đủ 10 câu hỏi GeneBench-Pro tiêu biểu trên Hugging Face(mở trong cửa sổ mới), kèm giao diện web tương tác để duyệt chúng. Cuối cùng, chúng tôi sẽ cung cấp một tập con 50 câu hỏi cho Artificial Analysis(mở trong cửa sổ mới) để benchmark độc lập từ bên thứ ba trong thời gian tới.
Mô hình mạnh nhất của chúng tôi, GPT‑5.6 Sol, đạt tỷ lệ vượt qua là 28,7% ở cấp độ suy luận cao nhất (lên tới 31,5% khi kích hoạt chế độ Pro). Đây là một mức tăng trưởng vượt bậc so với thời điểm chúng tôi bắt đầu xây dựng phiên bản GeneBench gốc; tại thời điểm đó, mô hình tiên tiến tốt nhất của chúng tôi là GPT‑5 chỉ đạt mức điểm dưới 5%. Tiến bộ đạt được trên bộ tiêu chuẩn đánh giá này cho thấy các mô hình tiên tiến đang cải thiện một cách nhanh chóng, ngay cả đối với những kỹ năng suy luận khoa học mang tính hệ thống và khó định lượng hơn. Với tốc độ hiện tại, bộ tiêu chuẩn đánh giá này có thể sẽ đạt đến trạng thái bão hòa vào cuối năm nay.
Các kết quả cũng cho thấy tác động của việc mở rộng quy mô tính toán trong thời gian kiểm tra (test-time compute). Ở cấp độ suy luận thấp nhất, GPT‑5.6 Sol chỉ đạt tỷ lệ vượt qua ở mức một chữ số. Ở cấp độ suy luận cao nhất, GPT‑5.6 Sol giải quyết được số lượng câu hỏi nhiều gấp gần sáu lần so với GPT‑5.2 trong khi chỉ sử dụng khoảng hai phần ba số lượng token.
So sánh giữa các họ mô hình cho thấy mô hình GPT nằm trong nhóm hệ thống mạnh nhất về suy luận khoa học cấp cao dưới bất định định lượng. Khoảng cách hiệu năng giữa GPT‑5.6, GPT‑5.5 và các mô hình nguồn mở hàng đầu như GLM 5.2 lớn hơn đáng kể so với dự kiến khi ngoại suy từ benchmark lập trình(mở trong cửa sổ mới), cho thấy mô hình nguồn mở chuyên biệt cho lập trình hơn là năng lực suy luận rộng hơn.
Chúng tôi dùng các mô hình GPT tiên phong để đánh giá và làm cứng bài toán trong quá trình phát triển. Vì vậy, chúng tôi từng nghi hoặc rằng GeneBench-Pro có thể thiên vị cho mô hình GPT so với các họ mô hình khác. Tuy nhiên, các mô hình cạnh tranh giỏi nhất cũng chỉ ngang hiệu năng của mô hình GPT tương ứng lúc phát hành, và thường kém khá xa.
Các kết quả đánh giá này—cao tới 31,5% trên GPT‑5.6 Sol (Pro)—rất đáng chú ý nếu xét độ khó của các câu hỏi GeneBench-Pro. Trong khảo sát, người đánh giá ước tính một bài toán GeneBench-Pro điển hình sẽ cần chuyên gia con người khoảng 20–40 giờ để hoàn thành. Với mức thận trọng 200 USD/giờ, chi phí lao động con người cho một bài toán lên tới hàng nghìn đô la. Các tác nhân AI hiện nay vẫn quá thiếu độ tin cậy để thay thế chuyên gia con người, nhưng chênh lệch chi phí rất lớn, khi chi phí suy luận chỉ vài đô la cho mỗi bài toán. Điều đó nghĩa là ngay cả tự động hóa một phần với năng lực hiện tại cũng có thể tạo giá trị kinh tế và khoa học đáng kể.
“Các bộ đo chuẩn được thúc đẩy bởi nhiều câu hỏi sinh học đa dạng, nhưng… thách thức thực sự lại đến từ việc phân tích dữ liệu mang tính khám phá và lập luận dựa trên những phát hiện đó: nhận diện các mô thức và tạo tác dữ liệu (artifacts), rồi quyết định xem dữ liệu đó nên bị loại bỏ hay cần được điều chỉnh. Điều này mô phỏng lại bản chất hỗn tạp vốn có của các bộ dữ liệu sinh học trong thực tế. Việc xem xét lại các đánh giá này làm nổi bật tầm quan trọng của các giao ước giải quyết bài toán (solver contracts) rõ ràng đối với việc giải quyết vấn đề khoa học dựa trên đại lý thông minh (agent-based). Các cách diễn đạt câu lệnh hoặc định nghĩa nhiệm vụ khác nhau có thể ảnh hưởng lớn đến việc những phân tích nào được xem là hợp lệ.”
“Tôi thích hầu hết các câu hỏi. Chúng thường có sự kết hợp của: (1) Kiến thức cần thiết về chủ đề, chẳng hạn như thiên lệch C>T trong DNA cổ đại, (2) Sai lệch dữ liệu, chẳng hạn như hoán đổi nguồn gốc tổ tiên, (3) Một dạng kiến thức về các công cụ phân tích phù hợp cho công việc và cách triển khai chúng. Có vẻ như hầu hết các tác nhân đều thất bại ở (2). Họ chưa đủ thận trọng về các vấn đề liên quan đến dữ liệu. Có lẽ điều đó làm nổi bật điểm yếu của các mô hình hiện tại. Và rất nhiều dữ liệu sinh học có những điểm bất thường.”
Dù vậy, việc các mô hình tiên phong vẫn giải được chưa đến một phần ba số bài toán cho thấy còn nhiều dư địa cải thiện. Mô hình có thể tiến triển một phần trong các bài toán khó, nhưng gặp khó khi khép kín vòng suy luận. Kiểu thất bại này phản chiếu khác biệt giữa chuyên gia con người và người mới. Chuyên gia dùng kinh nghiệm để định khung vấn đề và điều chỉnh cách tiếp cận, còn người mới quan sát được nhưng khó tích hợp chúng vào bối cảnh rộng hơn của bài toán.
Bài toán: Đáp ứng thời gian đến khi xảy ra sự kiện trong di truyền học dược lý với điều trị thay đổi theo thời gian
Mô hình hành vi GPT-5.5
Mô hình hành vi GPT-5.5
Việc đạt được hiệu suất gần như hoàn hảo sẽ đòi hỏi các quy trình đánh giá vừa phải đo lường tiến độ một cách đáng tin cậy, vừa phải xác định được những điểm mà mô hình vẫn còn thất bại. Những bộ tiêu chuẩn đánh giá như GeneBench-Pro có thể giúp biến một sự thiếu hụt năng lực mơ hồ thành một thứ mà chúng ta có thể chẩn đoán và cải thiện.
Nếu các tác nhân AI có thể tự động hóa một cách đáng tin cậy loại hình phân tích này, chúng có thể tăng tốc đáng kể các khám phá khoa học. Bằng chứng di truyền học người vốn đã là yếu tố cốt lõi cho việc ưu tiên mục tiêu và các bước theo dõi dịch mã (translational follow-up), bởi vì các cơ chế có sự hỗ trợ từ dữ liệu di truyền sẽ có khả năng cao hơn nhiều trong việc dẫn đến các phương pháp điều trị được phê duyệt.
Trong khi đó, chi phí giải trình tự đã giảm sâu, và các bộ dữ liệu quy mô ngân hàng sinh học nay liên kết thông tin phân tử, kiểu hình và hồ sơ sức khỏe với độ bao phủ chưa từng có. Nút thắt đang chuyển từ tạo dữ liệu sang biến thông tin thành hiểu biết có thể hành động. Những mô hình có thể thực hiện nhất quán các phân tích hiện do nhóm chuyên gia con người đảm nhiệm có thể biến đổi nghiên cứu công nghiệp bằng cách tăng tốc sàng lọc giả thuyết, theo dõi mục tiêu và chu kỳ lặp giữa tạo dữ liệu và ra quyết định.
GeneBench-Pro đại diện cho một nỗ lực ban đầu nhằm đánh giá những kỹ năng trừu tượng hơn cấu thành nên năng lực phán đoán khoa học nhạy bén của các nhà nghiên cứu giàu kinh nghiệm. Những kỹ năng này cho phép họ cảm nhận bằng trực giác và xác định các hướng phân tích ban đầu triển vọng nhất, lặp lại và sửa đổi tư duy của mình khi dữ liệu mâu thuẫn với các giả định ban đầu, và đi đến những kết luận mà các quyết định lâm sàng, học thuật hoặc kinh doanh tiếp theo có thể phải phụ thuộc vào đó.
Chúng tôi dự đoán rằng khi năng lực của mô hình ngày càng nâng cao, các bộ tiêu chuẩn đánh giá giúp thăm dò khả năng của mô hình ở những cấp độ trừu tượng cao hơn này sẽ ngày càng trở nên hữu ích, vượt xa những bộ tiêu chuẩn chỉ đơn thuần kiểm tra kiến thức sách vở hoặc khả năng thực thi các phân tích thông thường.
