เปิดตัว LifeSciBench

ระบบ AI ตัวแทนมีความสามารถในการทํางานทางวิทยาศาสตร์มากขึ้น อย่างไรก็ตาม ประโยชน์ของระบบเหล่านี้ต่อนักวิจัยด้านวิทยาศาสตร์ชีวภาพขึ้นอยู่กับความสามารถของพวกเขาในการรับมือกับความซับซ้อนของงานวิจัยจริงว่าทำได้ดีเพียงใด งานประเภทนี้แทบไม่เคยมีลักษณะเป็นเพียงคำถามที่ให้ทบทวนข้อเท็จจริงเดียว หรือเป็นปัญหาการคาดการณ์ที่มีคำตอบชัดเจน นักวิจัยต้องตีความหลักฐานที่ไม่สมบูรณ์ ประสานความสอดคล้องของผลลัพธ์ที่ขัดแย้งกัน ออกแบบการทดลองที่ซับซ้อน แก้ไขปัญหาของการทดสอบ ประเมินความเสี่ยงในการนำไปใช้จริง และตัดสินใจเลือกแนวทางถัดไปภายใต้ความไม่แน่นอน

เกณฑ์มาตรฐานปัจจุบันไม่ได้รวบรวมความสามารถเหล่านี้อย่างเต็มที่ การประเมินด้านวิทยาศาสตร์ชีวภาพจำนวนมากมุ่งเน้นไปที่ขอบเขตเฉพาะทางหรือทักษะแยกส่วน ส่งผลให้เกิดคำถามที่มีรูปแบบชัดเจนและมีคำตอบอ้างอิงที่แน่นอน แม้ว่าจะมีคุณค่า แต่ก็มักจะล้มเหลวในการประเมินอย่างแท้จริงว่าโมเดลสามารถมีส่วนร่วมในงานระดับการวิจัยที่กว้างขึ้นได้หรือไม่

เราออกแบบ LifeSciBench เพื่อช่วยปิดช่องว่างนี้ ทุกงานมีพื้นฐานจากการตัดสินใจของนักวิทยาศาสตร์ด้านวิทยาศาสตร์ชีวภาพที่ปฏิบัติงานจริง ซึ่งมีการฝึกอบรมระดับปริญญาเอกและมีประสบการณ์โดยตรงในการขับเคลื่อนโครงการค้นพบยาในบริบทของบริษัทเทคโนโลยีชีวภาพและอุตสาหกรรมเภสัชกรรม

LifeSciBench ประกอบด้วยงานจำนวน 750 ข้อที่จัดทำโดยผู้เชี่ยวชาญ ครอบคลุมกระบวนการทำงาน 7 รูปแบบ และ 7 สาขาทางชีววิทยา

LifeSciBench วัดว่าระบบ AI สามารถสนับสนุนงานวิจัยด้านชีววิทยาศาสตร์ที่สมจริงได้หรือไม่ ไม่ใช่แค่ตอบคําถามทางชีววิทยา ในการกําหนดอนุกรมวิธานเกณฑ์มาตรฐานเราได้สํารวจนักวิทยาศาสตร์ชีวภาพฝึกหัดเกี่ยวกับเวิร์กโฟลว์ที่พวกเขาใช้บ่อยที่สุดในการตั้งค่าการวิจัยประยุกต์ จากนั้นเราจัดกลุ่มคําตอบของพวกเขาออกเป็นเจ็ดหมวดหมู่ที่เกิดซ้ำ: การจัดการหลักฐาน การวิเคราะห์การออกแบบและการเพิ่มประสิทธิภาพ การให้เหตุผลทางวิทยาศาสตร์ การตรวจสอบความถูกต้องและการดําเนินงาน การแปล และการสื่อสารทางวิทยาศาสตร์

แต่ละงานถูกจัดโครงสร้างให้คล้ายกับคำขอที่นักวิทยาศาสตร์อาจส่งให้เพื่อนร่วมงานที่มีความรู้ความเชี่ยวชาญ โดยประกอบด้วยงานทางวิทยาศาสตร์ บริบทหรือสิ่งประกอบที่เกี่ยวข้อง และคำตอบแบบอิสระ เกณฑ์การประเมินแบบรูบริกที่เขียนโดยผู้เชี่ยวชาญใช้วัดว่าโมเดลสามารถสร้างคำตอบที่ถูกต้องสำหรับงานเฉพาะได้เพียงใด รวมถึงการให้รายละเอียด การอธิบายเหตุผล ข้อจำกัด และรูปแบบคำตอบตามมาตรฐานที่นักวิทยาศาสตร์คาดหวัง

LifeSciBench ประเมินการให้เหตุผลทางวิทยาศาสตร์ควบคู่ไปกับทักษะเชิงปฏิบัติที่มีความชัดเจนน้อยกว่า ซึ่งจำเป็นต่อการใช้งานทางวิทยาศาสตร์ในโลกจริง โจทย์ของมันกำหนดให้โมเดลต้องดำเนินการแก้ปัญหาวิจัยที่สมจริง ซึ่งรวมถึงการตีความหลักฐาน การตัดสินใจโดยอิงกับความรู้เฉพาะทาง และการสื่อสารข้อสรุปที่เป็นประโยชน์ต่อผู้ประเมินที่เชี่ยวชาญ โจทย์จำนวนมากยังต้องการให้โมเดลสามารถจัดการกับความไม่แน่นอน และใช้เหตุผลจากไฟล์ข้อมูลประกอบที่สนับสนุน แทนที่จะพึ่งพาเฉพาะข้อความในพรอมต์เท่านั้น

เกณฑ์มาตรฐานได้รับการออกแบบมาเพื่อสะท้อนถึงความซับซ้อนของงานด้านวิทยาศาสตร์ชีวภาพ โดยรวมแล้ว 79% ของงานต้องการการให้เหตุผลหรือการตัดสินใจหลายขั้นตอน โดยเฉลี่ยสี่ขั้นตอนต่องาน LifeSciBench ประกอบด้วยสิ่งประกอบการประเมินที่แนบมา 1,062 รายการ ซึ่งครอบคลุมตัวเลข PDF ตาราง ไฟล์ลําดับ ไฟล์โครงสร้างหรือข้อมูลทางเคมี และแหล่งอ้างอิงบนเว็บไซต์ มากกว่าครึ่งหนึ่งของงาน (53%) ต้องการให้โมเดลตีความหรือสังเคราะห์ข้อมูลจากไฟล์ประกอบอย่างน้อยหนึ่งรายการ

งานถูกสร้างขึ้นโดยนักวิทยาศาสตร์ผู้เชี่ยวชาญ 173 คนจากหลากหลายสาขาวิทยาศาสตร์ชีวภาพ นักวิทยาศาสตร์แต่ละคนได้รับการฝึกอบรมระดับปริญญาเอกและเทคโนโลยีชีวภาพหรือประสบการณ์ในอุตสาหกรรมยา งานสามารถผ่านการปรับแก้ได้มากเท่าที่จำเป็นก่อนการยอมรับ โดยไม่มีการกำหนดจำนวนรอบการแก้ไขสูงสุดตายตัว ทั้งนี้ งานที่ได้รับการยอมรับมีค่าเฉลี่ยของการตรวจสอบอัตโนมัติแบบกำกับตนเองหกรอบ และผ่านการทบทวนโดยผู้เชี่ยวชาญอย่างน้อยสองรอบ การทบทวนอ้างอิงอยู่บนพื้นฐานของคำตอบที่ถูกต้องซึ่งสามารถตรวจสอบยืนยันได้ หรือฉันทามติที่ชัดเจนจากผู้เชี่ยวชาญ โดยมีความเห็นสอดคล้องกันระหว่างผู้ประเมินในสาขาที่เกี่ยวข้องอย่างน้อย 90% กระบวนการนี้ช่วยให้มั่นใจว่างานที่ได้รับการยอมรับมีพื้นฐานทางวิทยาศาสตร์ที่น่าเชื่อถือ มีความชัดเจนเพียงพอสำหรับการประเมิน และเป็นตัวแทนของงานวิจัยเชิงประยุกต์

งาน LifeSciBench ได้รับการให้คะแนนด้วยเกณฑ์การให้คะแนนเฉพาะงานโดยละเอียด ซึ่งจะแบ่งการตอบสนองที่คาดหวังออกเป็นการอ้างสิทธิ์ทางวิทยาศาสตร์ การคํานวณ การตัดสินใจ เหตุผล และอื่นๆ ที่เฉพาะเจาะจง เกณฑ์มาตรฐานที่พัฒนาโดยผู้เชี่ยวชาญประกอบด้วยเกณฑ์ 19,020 เกณฑ์ โดยเฉลี่ย 25 ข้อต่องาน เพื่อประเมินทั้งความถูกต้องทางวิทยาศาสตร์และประโยชน์สําหรับการตัดสินใจในงานวิจัย

การออกแบบนี้สะท้อนให้เห็นว่างานวิทยาศาสตร์ได้รับการประเมินในทางปฏิบัติอย่างไร: งานด้านวิทยาศาสตร์ชีวภาพจํานวนมากไม่สามารถให้คะแนนได้โดยการตรวจสอบคําตอบสุดท้ายเพียงอย่างเดียว คำตอบอาจได้ข้อสรุประดับภาพรวมที่ถูกต้อง แต่ยังคงถูกตัดสินว่าไม่สมบูรณ์ เช่น มองข้ามข้อจํากัดของการทดสอบที่สําคัญ หรือล้มเหลวในการนําเสนอความแตกต่างทางชีวภาพที่อาจส่งผลกระทบอย่างมาก ในทางกลับกัน คำตอบที่ไม่สมบูรณ์อาจยังแสดงให้เห็นถึงการให้เหตุผลที่มีคุณภาพสูงได้ แม้ว่าจะยังไม่สามารถแก้โจทย์ได้ครบถ้วนทั้งหมด

เกณฑ์การให้คะแนนแบบละเอียดสามารถสะท้อนความแตกต่างนี้ LifeSciBench ไม่เพียงแต่ประเมินความถูกต้องของคําตอบสุดท้ายเท่านั้น แต่ยังประเมินว่าโมเดลบรรลุคําตอบด้วยวิธีที่ถูกต้องทางวิทยาศาสตร์และเป็นประโยชน์ในการดําเนินงานหรือไม่

เราตรวจสอบความถูกต้องของ LifeSciBench ผ่านการตรวจสอบโดยผู้เชี่ยวชาญอิสระ ข้อเสนอแนะมาจากผู้ตรวจสอบ 453 คนที่ไม่ได้มีส่วนร่วมในการเขียนงาน ในบรรดาผู้ตรวจสอบเหล่านั้น 97% สําเร็จการศึกษาระดับปริญญาเอก หรือปริญญาเอกเทียบเท่า โดยมีประสบการณ์ภาคสนามโดยเฉลี่ย 12 ปีและสิ่งพิมพ์ที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญ 14 ฉบับ 88% รายงานว่าได้รับรางวัลหรือทุนอย่างน้อยหนึ่งรางวัล

ผู้ประเมินให้คะแนนว่างานแต่ละงานสะท้อนคุณลักษณะที่จำเป็นสำหรับคำถามในชุดเกณฑ์มาตรฐานที่มีคุณภาพหรือไม่ ได้แก่ ความสอดคล้องกับงานวิจัยจริง การทดสอบการให้เหตุผลทางวิทยาศาสตร์และความเชี่ยวชาญเฉพาะด้านอย่างเหมาะสม การมีพื้นฐานจากหลักฐานหรือฉันทามติของผู้เชี่ยวชาญ และประโยชน์โดยรวมต่อการประเมินประสิทธิภาพของโมเดล ความเห็นสอดคล้องกันมีมากกว่า 96% ในทุกหมวดหมู่

ความคิดเห็นจากผู้ประเมินช่วยยืนยันผลการให้คะแนนเชิงปริมาณ:

เรารายงานเกณฑ์ชี้วัดเสริมสองรายการ อัตราการผ่าน คือสัดส่วนร้อยละของงานที่โมเดลสามารถผ่านเกณฑ์ความสำเร็จระดับงานที่กำหนดไว้ที่ 70% คะแนน คือค่าเฉลี่ยของคะแนนจากการประเมินรูบริก ซึ่งให้คะแนนบางส่วนสำหรับเกณฑ์แต่ละข้อ แม้ว่าโมเดลจะยังไม่สามารถทำงานนั้นได้สำเร็จครบถ้วน ตัวชี้วัดทั้งสองมีความสำคัญ เพราะคำตอบในบริบทงานวิทยาศาสตร์อาจมีส่วนที่ถูกต้องหรือมีคุณค่าในการใช้งาน แม้จะยังไม่สามารถตอบสนองข้อกำหนดทั้งหมดของคำตอบที่สมบูรณ์ได้

ประสิทธิภาพของโมเดลมีความแตกต่างกันอย่างมากตามประเภทของงาน กระบวนการทำงาน และรูปแบบของคำตอบ

LifeSciBench แสดงให้เห็นว่าโมเดลแนวหน้ามีความสามารถค่อนข้างโดดเด่นที่สุดในงานที่เกี่ยวข้องกับการสังเคราะห์ข้อมูลทางวิทยาศาสตร์ การสื่อสาร และการตีความข้อมูลอย่างเป็นระบบ แม้อัตราการผ่านโดยรวมยังอยู่ในระดับไม่สูงมาก ซึ่งสะท้อนว่าขอบเขตงานในชุดประเมินเหล่านี้ยังห่างไกลจากภาวะอิ่มตัว แต่ GPT‑Rosalind แสดงให้เห็นถึงความก้าวหน้าที่มีนัยสำคัญเมื่อเทียบกับ GPT‑5.5 โดยเพิ่มอัตราอัตราการผ่านโดยรวมที่แน่นอนจาก 25.7% เป็น 36.1%

ทิศทางที่เห็นพัฒนาการของความสามารถโมเดลเด่นชัดที่สุดคือด้านการสื่อสารและการแปลทางวิทยาศาสตร์ ตัวอย่างเช่น อัตราการผ่านในหมวดการสื่อสารทางวิทยาศาสตร์เพิ่มขึ้นจาก 56.3% สำหรับ GPT‑5.5 เป็น 71.1% สำหรับ GPT‑Rosalind อย่างไรก็ตาม หมวดนี้มีจำนวนงานค่อนข้างน้อย (n=9) จึงควรตีความผลลัพธ์ด้วยความระมัดระวัง แต่ข้อมูลดังกล่าวชี้ให้เห็นว่าโมเดลแนวหน้ากำลังพัฒนาอย่างรวดเร็วในด้านการจัดระเบียบหลักฐานและการสร้างคำอธิบายที่น่าเชื่อถือสำหรับผู้เชี่ยวชาญ การแปล (กระบวนการพัฒนายาแบบ "bench-to-bedside") แสดงรูปแบบที่คล้ายคลึงกัน โดยเพิ่มขึ้นจาก 36.8% สําหรับ GPT‑5.5 เป็น 57.7% สําหรับ GPT‑Rosalind ซึ่งบ่งชี้ว่าโมเดลกำลังพัฒนาความสามารถในการเชื่อมโยงหลักฐานจากการศึกษาก่อนคลินิกเข้ากับนัยสำคัญและผลกระทบทางคลินิกได้ดีขึ้นอย่างรวดเร็ว

ผลลัพธ์ระดับเกณฑ์รูบริกชี้ไปในทิศทางเดียวกัน ในงานที่ต้องการผลลัพธ์ซึ่งเป็นประโยชน์ต่อผู้เชี่ยวชาญหรือสามารถนำไปใช้ดำเนินการได้ GPT‑Rosalind ได้คะแนน 44.7% เมื่อเทียบกับ 29.1% สำหรับ GPT‑5.5 ในงานที่ต้องการให้โมเดลจัดการกับความไม่แน่นอนและการระบุข้อจำกัดหรือเงื่อนไขประกอบ GPT‑Rosalind ได้คะแนน 44.8% เมื่อเทียบกับ 29.3% รูปแบบนี้บ่งชี้ว่าโมเดลมีประโยชน์มากที่สุดเมื่องานมีขอบเขตของหลักฐานที่ชัดเจน และต้องการการใช้วิจารณญาณทางวิทยาศาสตร์อย่างเป็นระบบ

ประสิทธิภาพยังคงต่ำกว่ามากในงานทางวิทยาศาสตร์ที่ต้องจัดการกับไฟล์ประกอบจำนวนมาก ต้องออกแบบการทดลองหรือแนวทางอย่างเข้มข้น และมีข้อจำกัดด้านการปฏิบัติงานจริง โดยเฉพาะอย่างยิ่ง ด้านการออกแบบ การปรับให้เหมาะสม และการคาดการยังคงเป็นหนึ่งในกระบวนการทำงานที่ยากที่สุด โดย GPT‑Rosalind มีอัตราการผ่านอยู่ที่ 30.7% ขณะที่หมวดการวิเคราะห์ก็มีความยากใกล้เคียงกัน โดยมีอัตราการผ่านอยู่ที่ 30.3%

การใช้งานข้อมูลประกอบเป็นช่องว่างที่เห็นได้ชัดเจนเป็นพิเศษ แม้ว่า GPT‑Rosalind จะทำผลงานได้ดีกว่า GPT‑5.5 ในงานที่มีข้อมูลประกอบจำนวนมาก แต่อัตราการผ่านยังลดลงจาก 45.1% ในงานที่มีเฉพาะข้อความ เป็น 28.1% ในงานที่มีข้อมูลประกอบหรือ URL ร่วมด้วย GPT‑5.5 แสดงรูปแบบเดียวกัน โดยลดลงจาก 29.9% เป็น 21.9% การวิเคราะห์ในรายละเอียดมากขึ้นยืนยันว่าโมเดลแนวหน้ายังคงมีข้อจำกัดในการดึงข้อมูลจากตัวเลขที่ซับซ้อนหรือไฟล์ลําดับข้อมูลขนาดใหญ่และรวมข้อมูลนั้นเข้ากับคําตอบสุดท้าย

รูปแบบคําตอบก็มีความสําคัญเช่นกัน งานที่ต้องการผลลัพธ์ระดับลำดับข้อมูลและโครงสร้างที่ถูกต้องอย่างแม่นยำมีอัตราการผ่านต่ำกว่า โดย GPT‑Rosalind ทำได้เพียง 14.8% ในงานที่ต้องใช้ข้อมูลตัวเลข และ 24.0% ในงานที่ต้องสร้างผลลัพธ์ด้านลำดับข้อมูลหรือโครงสร้าง งานสร้างโครงสร้างก็เปราะบางเช่นกัน โดย GPT‑Rosalind อยู่ที่ 27.3% และแสดงการปรับปรุงเพียงเล็กน้อยเมื่อเทียบกับ GPT‑5.5 ความแตกต่างบางส่วนนี้อาจสะท้อนถึงลักษณะการให้คะแนนที่เข้มงวดมากขึ้นในงานที่ต้องการคำตอบที่ถูกต้องแบบจำเพาะเจาะจง โดยความคลาดเคลื่อนเพียงเล็กน้อยในการคำนวณหรือรูปแบบคำตอบอาจส่งผลให้คำตอบอยู่ต่ำกว่าเกณฑ์การผ่าน อย่างไรก็ตาม ความล้มเหลวเหล่านี้ยังมีความหมายในเชิงวิทยาศาสตร์ เนื่องจากกระบวนการทำงานจำนวนมากในสาขาวิทยาศาสตร์ชีวภาพต้องการผลลัพธ์ที่มีความแม่นยำเพียงพอสำหรับนำไปใช้งานโดยตรง เช่น ในการออกแบบผู้บริจาค CRISPR/HDR หรือการออกแบบ siRNA

โมเดลยังมักสามารถดำเนินการได้เพียงบางส่วน โดยไม่สามารถแก้ไขงานนั้นได้อย่างครบถ้วน ในงานประมาณ 14% โมเดลได้รับคะแนนจากรูบริกในระดับสูงอย่างมีนัยสำคัญ แม้ว่าจะไม่ผ่านเกณฑ์การผ่านแบบแน่นอนก็ตาม สําหรับ GPT‑Rosalind มีงาน 109 งานที่มีอัตราการผ่านต่ำกว่า 20% แต่ยังได้รับคะแนนจากรูบริกอย่างน้อย 50% ในทางปฏิบัติ หมายความว่าโมเดลอาจสามารถระบุหลักฐานที่เกี่ยวข้อง หรือสร้างคำตอบบางส่วนที่มีความเป็นไปได้ แต่ยังไม่ผ่านเนื่องจากพลาดเงื่อนไขสำคัญ ใช้หลักฐานที่ไม่ถูกต้อง คำนวณได้ไม่ครบถ้วน หรือไม่สามารถเชื่อมโยงเหตุผลไปสู่การตัดสินใจสุดท้ายที่มีประโยชน์ในเชิงวิทยาศาสตร์

LifeSciBench เป็นขั้นตอนในการวัดว่าระบบ AI มีประโยชน์ต่อการวิจัยด้านวิทยาศาสตร์ชีวภาพมากเพียงใด แต่ไม่ได้เป็นสิ่งทดแทนการศึกษาประสิทธิภาพของโมเดลในสภาพแวดล้อมการวิจัยจริง ชุดประเมินนี้มุ่งเน้นงานที่มีขอบเขตชัดเจนและสามารถทำได้ครบถ้วนในตัวเอง ซึ่งสะท้อนกระบวนการทำงานที่เกิดขึ้นซ้ำในอุตสาหกรรม ขณะเดียวกันยังมีสาขาวิทยาศาสตร์และประเภทงานอีกจำนวนมากที่ยังอยู่นอกขอบเขตของชุดประเมินในปัจจุบัน การวิจัยจริงเป็นกระบวนการแบบวนซ้ำ: นักวิทยาศาสตร์รวบรวมหลักฐานใหม่ ปรับปรุงสมมติฐาน ออกแบบการทดลองต่อยอด และปรับแผนการดำเนินงานตามผลลัพธ์ที่เกิดขึ้น

ดังนั้น ประสิทธิภาพที่สูงใน LifeSciBench ควรได้รับการตีความว่าเป็นหลักฐานของความสามารถของโมเดลในการจัดการงานที่มีลักษณะใกล้เคียงกับงานจริง มากกว่าจะถือเป็นการวัดผลกระทบที่โมเดลจะมีต่อการวิจัยปลายทางโดยตรง เกณฑ์มาตรฐานนี้มีรากฐานจากกระบวนการทำงานในภาคอุตสาหกรรม แต่ไม่ได้รวบรวมความหลากหลายหรือพลวัตทั้งหมดของโครงการวิจัยจริง ซึ่งความคืบหน้าขึ้นอยู่กับปัจจัยที่เกิดขึ้นเมื่อเวลาผ่านไป

ขั้นตอนต่อไปคือการเชื่อมต่อประสิทธิภาพเกณฑ์มาตรฐานกับการศึกษาการปรับใช้งานในกระบวนการวิจัยจริง แม้ว่า LifeSciBench จะได้รับการพัฒนาร่วมกับนักวิทยาศาสตร์ที่ปฏิบัติงานจริง การประเมินว่าระบบ AI สามารถเร่งการค้นพบทางวิทยาศาสตร์หรือปรับปรุงผลลัพธ์ด้านการวิจัยและพัฒนา ได้หรือไม่นั้น จำเป็นต้องศึกษาการใช้งานและประสิทธิภาพของโมเดลในสภาพแวดล้อมการวิจัยจริง เป็นระยะเวลาที่ยาวนานขึ้น และครอบคลุมหลายรอบของการให้เหตุผล การรับข้อมูลป้อนกลับ และการติดตามผลการทดลอง