Giới thiệu LifeSciBench

Các hệ thống AI tác nhân ngày càng có khả năng thực hiện nhiệm vụ khoa học. Tuy vậy, mức hữu ích của chúng với nhà nghiên cứu khoa học sự sống phụ thuộc vào việc chúng xử lý độ phức tạp của nghiên cứu thật tốt đến đâu. Công việc đó hiếm khi giống một câu hỏi nhớ dữ kiện đơn lẻ hay một bài toán dự đoán gọn gàng. Nhà nghiên cứu diễn giải bằng chứng chưa đầy đủ, dung hòa kết quả mâu thuẫn, thiết kế thí nghiệm khó, xử lý sự cố xét nghiệm, đánh giá rủi ro chuyển dịch và quyết định bước tiếp theo trong bất định.

Các bộ đo chuẩn hiện nay chưa nắm bắt đầy đủ những năng lực này. Nhiều đánh giá khoa học sự sống tập trung vào miền hẹp hoặc kỹ năng tách rời, tạo ra các câu hỏi có định dạng có cấu trúc và đáp án tham chiếu rõ ràng. Dù có giá trị, chúng thường không thật sự đánh giá được liệu một mô hình có thể đóng góp trên phạm vi rộng hơn của công việc ở cấp độ nghiên cứu hay không.

Chúng tôi thiết kế LifeSciBench để góp phần thu hẹp khoảng trống này. Mỗi nhiệm vụ đều dựa trên phán đoán của các nhà khoa học sự sống đang hành nghề, được đào tạo ở trình độ tiến sĩ và có kinh nghiệm trực tiếp thúc đẩy các chương trình khám phá thuốc trong môi trường công nghệ sinh học và dược phẩm.

LifeSciBench bao gồm 750 nhiệm vụ do các chuyên gia biên soạn, trải dài trên bảy quy trình làm việc và bảy lĩnh vực sinh học."

LifeSciBench đo liệu các hệ thống AI có thể hỗ trợ nhiệm vụ nghiên cứu khoa học sự sống thực tế hay không, chứ không chỉ trả lời câu hỏi sinh học. Để xác định hệ phân loại bộ đo chuẩn, chúng tôi khảo sát các nhà khoa học sự sống đang hành nghề về những quy trình họ dùng thường xuyên nhất trong nghiên cứu ứng dụng. Sau đó, chúng tôi nhóm câu trả lời thành bảy nhóm lặp lại: xử lý bằng chứng, phân tích, thiết kế và tối ưu hóa, suy luận khoa học, xác thực và vận hành, chuyển dịch, và truyền thông khoa học.

Mỗi nhiệm vụ được cấu trúc như một yêu cầu mà nhà khoa học có thể giao cho một cộng tác viên am hiểu: câu lệnh khoa học, mọi bối cảnh hoặc hiện vật liên quan, và câu trả lời tự do. Rubric do chuyên gia viết đánh giá liệu một mô hình có thể tạo ra câu trả lời đúng cho một vấn đề cụ thể, với mức chi tiết, lập luận, lưu ý hạn chế và định dạng mà nhà khoa học kỳ vọng hay không.

LifeSciBench đánh giá suy luận khoa học cùng các kỹ năng thực tiễn, khó định nghĩa hơn nhưng cần thiết cho việc dùng khoa học trong thực tế. Các nhiệm vụ yêu cầu mô hình xử lý vấn đề nghiên cứu thực tế: diễn giải bằng chứng, đưa ra phán đoán dựa trên miền chuyên môn và truyền đạt kết luận hữu ích cho người đánh giá chuyên gia. Nhiều nhiệm vụ còn yêu cầu mô hình xử lý bất định và suy luận trên các tệp dữ liệu hỗ trợ, thay vì chỉ dựa vào văn bản câu lệnh.

Bộ đo chuẩn này được thiết kế để phản ánh độ phức tạp của công việc khoa học sự sống. Tổng thể, 79% nhiệm vụ đòi hỏi nhiều bước suy luận hoặc ra quyết định, trung bình bốn bước mỗi nhiệm vụ. LifeSciBench gồm 1.062 hiện vật đính kèm, bao gồm hình, PDF, bảng, tệp trình tự, tệp cấu trúc hoặc hóa học và tham chiếu web. Hơn một nửa số nhiệm vụ (53%) yêu cầu mô hình diễn giải hoặc tổng hợp thông tin từ ít nhất một hiện vật.

Các nhiệm vụ được xây dựng bởi 173 nhà khoa học chuyên gia thuộc nhiều lĩnh vực khoa học sự sống khác nhau. Mỗi nhà khoa học đều có trình độ Tiến sĩ (Ph.D.) và có kinh nghiệm làm việc trong ngành công nghệ sinh học hoặc dược phẩm. Các nhiệm vụ có thể trải qua số chu kỳ chỉnh sửa không giới hạn cho đến khi được chấp nhận; những nhiệm vụ được thông qua trung bình phải trải qua sáu chu kỳ tự đánh giá tự động và hoàn thành ít nhất hai vòng đánh giá từ chuyên gia. Quá trình đánh giá được dựa trên một câu trả lời chính xác có thể kiểm chứng hoặc sự đồng thuận mạnh mẽ từ các chuyên gia, với tỷ lệ đồng ý đạt ít nhất 90% giữa các nhà phản biện trong lĩnh vực liên quan. Quy trình này giúp đảm bảo rằng các nhiệm vụ được chấp nhận đều có cơ sở khoa học vững chắc, đủ rõ ràng để chấm điểm và mang tính đại diện cho nghiên cứu ứng dụng.

Các nhiệm vụ LifeSciBench được chấm bằng tiêu chí đánh giá chi tiết, riêng cho từng nhiệm vụ, phân tách câu trả lời kỳ vọng thành các khẳng định khoa học, phép tính, quyết định, lập luận, v.v. Trên toàn bộ đo chuẩn, các tiêu chí do chuyên gia xây dựng gồm 19.020 tiêu chí—trung bình 25 chỉ số mỗi nhiệm vụ—để đánh giá cả độ đúng khoa học lẫn mức hữu ích cho quyết định nghiên cứu.

Thiết kế này phản ánh cách công việc khoa học được đánh giá trong thực tế: nhiều nhiệm vụ khoa học sự sống không thể chấm chỉ bằng cách kiểm tra đáp án cuối. Một câu trả lời có thể đạt kết luận cấp cao đúng nhưng vẫn bị xem là chưa đầy đủ nếu, chẳng hạn, bỏ sót một giới hạn xét nghiệm then chốt hoặc không chủ động nêu một sắc thái sinh học rất hệ trọng. Ngược lại, một câu trả lời một phần vẫn có thể chứa suy luận chất lượng cao dù chưa giải trọn nhiệm vụ.

Các tiêu chí đánh giá chi tiết nắm bắt được sắc thái này. LifeSciBench không chỉ đánh giá độ chính xác của đáp án cuối, mà còn xem liệu mô hình đi đến đáp án theo cách hợp lệ về khoa học và hữu ích về vận hành hay không.

Chúng tôi xác thực LifeSciBench thông qua một đợt đánh giá chuyên gia độc lập. Phản hồi đến từ 453 người đánh giá không tham gia viết nhiệm vụ. Trong số đó, 97% có bằng tiến sĩ hoặc học vị tiến sĩ tương đương, trung bình 12 năm kinh nghiệm chuyên môn và 14 công bố bình duyệt; 88% cho biết từng nhận ít nhất một giải thưởng hoặc học bổng nghiên cứu.

Các nhà phản biện đã chấm điểm để xem xét liệu mỗi nhiệm vụ có phản ánh đúng các phẩm chất cần thiết của một câu hỏi chuẩn hóa chất lượng hay không: độ tương thích với các công việc nghiên cứu thực tế, khả năng kiểm tra phù hợp tư duy lập luận khoa học và chuyên môn sâu trong lĩnh vực, có cơ sở dựa trên bằng chứng hoặc sự đồng thuận của chuyên gia, và tính hữu dụng tổng thể trong việc đánh giá hiệu suất của mô hình. Tỷ lệ đồng thuận đạt trên 96% ở tất cả các danh mục.

Nhận xét của người đánh giá củng cố các điểm số định lượng:

Chúng tôi báo cáo hai chỉ số mang tính bổ trợ cho nhau. Tỉ lệ vượt qua là phần trăm số nhiệm vụ mà một mô hình đạt được ngưỡng thành công 70% ở cấp độ nhiệm vụ. Điểm số là phần thưởng tiêu chí đánh giá trung bình, ghi nhận điểm số một phần cho các tiêu chí riêng lẻ ngay cả khi toàn bộ nhiệm vụ không được giải quyết hoàn toàn. Cả hai chỉ số này đều quan trọng vì một phản hồi đối với một nhiệm vụ khoa học có thể chính xác hoặc hữu ích một phần mà không cần phải đáp ứng mọi yêu cầu của một câu trả lời hoàn chỉnh.

Hiệu năng mô hình thay đổi đáng kể theo loại nhiệm vụ, quy trình công việc và định dạng trả lời.

LifeSciBench cho thấy các mô hình tuyến đầu mạnh tương đối nhất ở những nhiệm vụ liên quan đến tổng hợp khoa học, truyền thông và diễn giải có cấu trúc. Tỉ lệ vượt qua tuyệt đối vẫn còn khiêm tốn, nên các miền benchmark này còn xa mới bão hòa, nhưng GPT‑Rosalind cho thấy tiến bộ đáng kể so với GPT‑5.5, nâng tỷ lệ vượt qua chính xác tổng thể từ 25,7% lên 36,1%.

Các hướng tiến bộ mạnh nhất về năng lực mô hình xuất hiện ở Truyền thông khoa học và Chuyển dịch. Ví dụ, tỉ lệ vượt qua Truyền thông khoa học tăng từ 56,3% với GPT‑5.5 lên 71,1% với GPT‑Rosalind; hạng mục này nhỏ (n=9), nên cần diễn giải thận trọng, nhưng nó gợi ý các mô hình tuyến đầu đang cải thiện nhanh khả năng tổ chức bằng chứng và tạo giải thích thuyết phục cho chuyên gia. Chuyển dịch (quá trình phát triển thuốc "từ bàn thí nghiệm đến giường bệnh") cho thấy mô thức tương tự, tăng từ 36,8% với GPT‑5.5 lên 57,7% với GPT‑Rosalind, cho thấy các mô hình đang cải thiện nhanh khả năng liên kết bằng chứng tiền lâm sàng với hệ quả lâm sàng.

Kết quả ở cấp tiêu chí đánh giá cũng chỉ theo cùng hướng. Ở các nhiệm vụ yêu cầu đầu ra hữu ích cho chuyên gia hoặc có thể hành động, GPT‑Rosalind đạt 44,7%, so với 29,1% của GPT‑5.5. Ở các nhiệm vụ đòi hỏi xử lý bất định và lưu ý hạn chế, mô hình này đạt 44,8%, so với 29,3%. Mô thức này gợi ý mô hình hữu ích nhất khi nhiệm vụ có ranh giới bằng chứng rõ và đòi hỏi phán đoán khoa học có cấu trúc.

Hiệu năng vẫn yếu hơn nhiều ở công việc khoa học nặng về hiện vật, nặng về thiết kế và bị ràng buộc vận hành. Cụ thể, Thiết kế, Tối ưu hóa & Dự đoán vẫn là một trong những quy trình khó nhất, với tỷ lệ vượt qua của GPT‑Rosalind là 30,7%; Phân tích cũng khó tương tự, ở mức 30,3%.

Sử dụng hiện vật là một khoảng trống đặc biệt rõ. Dù GPT‑Rosalind làm tốt hơn GPT‑5.5 trong bối cảnh nặng hiện vật, tỷ lệ vượt qua của nó vẫn giảm từ 45,1% trên nhiệm vụ chỉ văn bản xuống 28,1% trên nhiệm vụ có hiện vật hoặc URL. GPT‑5.5 cho thấy cùng mô thức, giảm từ 29,9% xuống 21,9%. Phân tích chi tiết hơn xác nhận rằng các mô hình tuyến đầu gặp khó khi trích xuất thông tin từ hình phức tạp hoặc tệp trình tự lớn và tích hợp thông tin đó vào đáp án cuối.

Định dạng câu trả lời cũng quan trọng. Các nhiệm vụ yêu cầu đầu ra ở cấp trình tự, cấu trúc hoặc cấu trúc biểu hiện chính xác có tỉ lệ vượt qua thấp hơn: GPT‑Rosalind chỉ đạt 14,8% ở nhiệm vụ số và 24,0% ở đầu ra trình tự hoặc cấu trúc. Nhiệm vụ tạo cấu trúc biểu hiện cũng dễ vỡ, GPT‑Rosalind đạt 27,3% và cải thiện rất ít so với GPT‑5.5. Một phần của khoảng cách này có thể phản ánh bề mặt chấm điểm nghiêm ngặt hơn đối với các nhiệm vụ yêu cầu câu trả lời chính xác, nơi những sai sót nhỏ trong tính toán hoặc định dạng có thể khiến một phản hồi bị rơi xuống dưới ngưỡng đạt. Tuy nhiên, những thất bại này có ý nghĩa quan trọng về mặt khoa học bởi nhiều quy trình làm việc trong khoa học sự sống đòi hỏi các đầu ra phải đủ chính xác để có thể đưa vào sử dụng trực tiếp, chẳng hạn như trong thiết kế đoạn mồi hiến (donor) cho CRISPR/HDR hoặc thiết kế siRNA.

Các mô hình cũng thường đi được một phần đường nhưng chưa giải trọn nhiệm vụ. Ở khoảng 14% nhiệm vụ, mô hình vẫn nhận được điểm rubric đáng kể dù không đạt ngưỡng vượt qua chính xác. Với GPT‑Rosalind, 109 nhiệm vụ có tỉ lệ vượt qua dưới 20% nhưng vẫn nhận ít nhất 50% phần thưởng rubric. Trong thực tế, điều này nghĩa là mô hình có thể nhận diện bằng chứng liên quan hoặc tạo một câu trả lời một phần hợp lý, nhưng vẫn thất bại vì bỏ sót một ràng buộc then chốt, dùng sai bằng chứng, tính toán chưa đầy đủ hoặc không nối suy luận với một quyết định cuối hữu ích về khoa học.

LifeSciBench là một bước tiến trong đo lường mức độ hữu ích của hệ thống AI cho nghiên cứu khoa học sự sống, nhưng không thay thế việc nghiên cứu mô hình trong môi trường nghiên cứu trực tiếp. Bộ đo chuẩn hóa tập trung vào các nhiệm vụ khép kín phản ánh những quy trình công việc lặp lại trong ngành, đồng thời vẫn để nhiều chuyên ngành khoa học và loại nhiệm vụ ngoài phạm vi hiện tại. Nghiên cứu thật có tính lặp: nhà khoa học thu thập bằng chứng mới, sửa giả thuyết, thiết kế thí nghiệm tiếp theo và điều chỉnh kế hoạch khi kết quả xuất hiện.

Vì vậy, hiệu năng mạnh trên LifeSciBench nên được hiểu là bằng chứng về năng lực ở cấp nhiệm vụ thực tế, không phải thước đo trực tiếp tác động nghiên cứu phía sau. Bộ đo chuẩn hóa dựa trên quy trình công việc của ngành, nhưng không nắm bắt toàn bộ sự đa dạng hay động lực của các chương trình nghiên cứu trực tiếp, nơi tiến bộ phụ thuộc vào những yếu tố diễn tiến theo thời gian.

Bước tiếp theo là liên kết hiệu năng benchmark với các nghiên cứu triển khai trong quy trình nghiên cứu trực tiếp. Dù LifeSciBench được phát triển cùng các nhà khoa học đang hành nghề, việc đo xem hệ thống AI có tăng tốc khám phá hoặc cải thiện kết quả R&D hay không sẽ cần nghiên cứu cách dùng và hiệu năng mô hình trong bối cảnh nghiên cứu thật, trên thời hạn dài hơn và qua nhiều vòng suy luận, phản hồi và theo dõi thí nghiệm.