LifeSciBench-ийг танилцуулж байна

Агент AI системүүд шинжлэх ухааны даалгавар гүйцэтгэх чадвараа улам нэмэгдүүлж байна. Гэвч амьдралын шинжлэх ухааны судлаачдад хэр ашигтай байх нь бодит судалгааны төвөгтэй байдлыг хэр сайн зохицуулахаас хамаарна. Ийм ажил нь ихэвчлэн ганц баримт сануулах асуулт эсвэл цэвэр таамаглалын бодлого шиг байдаггүй. Судлаачид бүрэн бус нотолгоог тайлбарлаж, зөрчилтэй үр дүнг нийцүүлж, хэцүү туршилт зохиож, шинжилгээний доголдлыг засаж, орчуулгын эрсдэлийг үнэлж, тодорхойгүй нөхцөлд дараа нь юу хийхээ шийддэг.

Одоогийн бенчмаркууд эдгээр чадварыг бүрэн хамарч чаддаггүй. Амьдралын шинжлэх ухааны олон үнэлгээ нарийн салбар эсвэл тусгаар ур чадварт төвлөрдөг тул бүтэцтэй асуултын хэлбэр, цэвэр лавлах хариулттай асуултууд бий болдог. Үнэ цэнтэй ч тэд загвар судалгааны түвшний өргөн хүрээний ажилд хувь нэмэр оруулж чадах эсэхийг ихэнхдээ жинхэнэ утгаар нь үнэлж чаддаггүй.

Бид энэ зөрүүг нөхөхөд туслахын тулд LifeSciBench-ийг зохион бүтээсэн. Даалгавар бүр нь Ph.D.-ийн түвшний сургалттай, биотехнологи болон эмийн салбарт эм нээх хөтөлбөрийг ахиулж байсан шууд туршлагатай ажиллаж буй амьдралын шинжлэх ухаанчдын шүүлтэд тулгуурласан.

LifeSciBench нь долоон ажлын урсгал, долоон биологийн салбарыг хамарсан, мэргэжилтнүүдийн бичсэн 750 даалгавартай.

LifeSciBench нь AI системүүд зөвхөн биологийн асуултад хариулахаас гадна бодит амьдралын шинжлэх ухааны судалгааны даалгаврыг дэмжиж чадах эсэхийг хэмждэг. Бенчмаркийн таксономийг тодорхойлохын тулд бид хэрэглээний судалгааны орчинд хамгийн их ашигладаг ажлын урсгалынх нь талаар ажиллаж буй амьдралын шинжлэх ухаанчдаас судалгаа авсан. Дараа нь бид тэдний хариултыг давтагддаг долоон ангилалд бүлэглэсэн: нотолгоотой ажиллах, шинжилгээ, дизайн ба оновчлол, шинжлэх ухааны сэтгэн бодох, баталгаажуулалт ба үйл ажиллагаа, орчуулга, шинжлэх ухааны харилцаа.

Даалгавар бүр нь эрдэмтэн мэдлэгтэй хамтран ажиллагчид өгч болох хүсэлт шиг бүтэцтэй: шинжлэх ухааны өгөгдөл, холбогдох контекст эсвэл артефакт, чөлөөт хариулт. Мэргэжилтний бичсэн рубрикууд нь загвар тодорхой асуудалд эрдэмтний хүлээх зөв түвшний дэлгэрэнгүй, үндэслэл, анхааруулга болон форматтай зөв хариулт гаргаж чадах эсэхийг үнэлдэг.

LifeSciBench нь бодит ертөнцөд шинжлэх ухаанд ашиглахад шаардлагатай, тодорхойлоход харьцангуй хэцүү практик ур чадвартай хамт шинжлэх ухааны сэтгэн бодох чадварыг үнэлдэг. Даалгаврууд нь загваруудаас бодит судалгааны асуудлыг шийдвэрлүүлэхийг шаарддаг: нотолгоог тайлбарлах, салбарын үндэслэлтэй шүүлт хийх, мэргэжилтэн үнэлэгчдэд ашигтай дүгнэлт дамжуулах. Олон даалгавар нь зөвхөн өгөгдөл текстэд найдахын оронд тодорхойгүй байдлыг зохицуулж, дэмжих өгөгдлийн файлууд дээр сэтгэн бодохыг загваруудаас шаарддаг.

Энэхүү бенчмарк нь амьдралын шинжлэх ухааны ажлын төвөгтэй байдлыг тусгахаар бүтээгдсэн. Нийтдээ даалгаврын 79% нь олон сэтгэн бодох эсвэл шийдвэр гаргах алхам шаарддаг бөгөөд нэг даалгаварт дунджаар дөрвөн алхам ногдоно. LifeSciBench нь зураг, PDF, хүснэгт, дарааллын файл, бүтэц эсвэл химийн файл, веб лавлагааг хамарсан 1,062 хавсаргасан артефакттай. Даалгаврын талаас илүү нь (53%) дор хаяж нэг артефактаас мэдээлэл тайлбарлах эсвэл нэгтгэхийг загваруудаас шаарддаг.

Даалгавруудыг амьдралын шинжлэх ухааны өөр өөр чиглэлийн 173 мэргэжилтэн эрдэмтэн бүтээсэн. Эрдэмтэн бүр Ph.D.-ийн түвшний сургалттай, биотехнологи эсвэл эмийн үйлдвэрлэлийн туршлагатай байсан. Даалгаврууд хүлээн зөвшөөрөгдөхөөсөө өмнө шаардлагатай тооны засварын мөчлөгөөр орж болох бөгөөд мөчлөгийн тоонд тогтмол дээд хязгаар тавиагүй; хүлээн зөвшөөрөгдсөн даалгаврууд дунджаар өөрөө чиглүүлсэн автомат хяналтын зургаан мөчлөг туулж, мэргэжилтний үнэлгээний дор хаяж хоёр үе шатыг дуусгасан. Үнэлгээнүүд нь шалгаж болох зөв хариулт эсвэл хүчтэй мэргэжилтний зөвшилцөлд тулгуурласан бөгөөд холбогдох салбарын үнэлэгчдийн дунд дор хаяж 90% санал нэгдсэн байв. Энэ үйл явц нь хүлээн зөвшөөрөгдсөн даалгаврууд шинжлэх ухааны үндэслэлтэй, үнэлэхэд хангалттай тодорхой, хэрэглээний судалгааг төлөөлөхүйц байхыг баталгаажуулахад тусалсан.

LifeSciBench-ийн даалгавруудыг хүлээгдэж буй хариултыг тодорхой шинжлэх ухааны нотолгоо, тооцоо, шийдвэр, үндэслэл гэх мэт хэсгүүдэд задалдаг дэлгэрэнгүй, даалгаварт тусгайлсан рубрикаар үнэлдэг. Бенчмаркийн хэмжээнд мэргэжилтнүүдийн боловсруулсан рубрикууд 19,020 шалгууртай — нэг даалгаварт дунджаар 25 — бөгөөд шинжлэх ухааны зөв байдал болон судалгааны шийдвэрт ашигтай байдлыг хоёуланг нь үнэлдэг.

Энэ загвар нь шинжлэх ухааны ажил практикт хэрхэн үнэлэгддэгийг тусгадаг: амьдралын шинжлэх ухааны олон даалгаврыг зөвхөн эцсийн хариултыг шалгаж үнэлэх боломжгүй. Хариулт өндөр түвшний зөв дүгнэлтэд хүрсэн ч, жишээлбэл гол шинжилгээний хязгаарлалтыг орхигдуулах эсвэл маш чухал биологийн нарийн ялгааг санаачилгатай дурдахгүй бол бүрэн бус гэж үнэлэгдэж болно. Эсрэгээрээ, хэсэгчилсэн хариулт даалгаврыг бүрэн шийдээгүй байсан ч өндөр чанартай сэтгэн бодох агуулж болно.

Нарийвчилсан рубрикууд энэ нарийн ялгааг барьж авдаг. LifeSciBench нь зөвхөн эцсийн хариултын үнэн зөв байдлыг бус, загвар хариултдаа шинжлэх ухааны хувьд хүчинтэй, үйл ажиллагааны хувьд ашигтай замаар хүрч байгаа эсэхийг үнэлдэг.

Бид LifeSciBench-ийг хараат бус мэргэжилтний үнэлгээгээр баталгаажуулсан. Санал хүсэлтийг даалгавар бичихэд оролцоогүй 453 үнэлэгчээс авсан. Эдгээр үнэлэгчдийн 97% нь Ph.D. эсвэл түүнтэй дүйцэх докторын зэрэгтэй, дунджаар 12 жилийн салбарын туршлагатай, 14 хянан магадлагдсан нийтлэлтэй байсан; 88% нь дор хаяж нэг шагнал эсвэл тэтгэлэг авсан гэж мэдээлсэн.

Үнэлэгчид даалгавар бүр хүчтэй бенчмарк асуултад шаардлагатай чанаруудыг тусгаж байгаа эсэхийг оноогоор үнэлсэн: бодит ертөнцийн судалгааны ажилтай нийцэх байдал, шинжлэх ухааны сэтгэн бодох болон салбарын мэргэшлийг зохистой шалгах байдал, нотолгоо эсвэл мэргэжилтний зөвшилцөлд тулгуурлах байдал, загварын гүйцэтгэлийг үнэлэхэд ерөнхийдөө ашигтай байдал. Ангилал бүрт санал нэгдэлт 96%-иас давсан.

Үнэлэгчдийн тайлбар тоон үнэлгээг бататгасан:

Бид харилцан нөхөх хоёр хэмжүүрийг тайлагнадаг. Тэнцэх хувь нь загвар даалгаврын түвшний 70%-ийн амжилтын босгыг хангаж буй даалгаврын хувь юм. Оноо нь дундаж рубрикийн урамшуулал бөгөөд бүх даалгавар шийдэгдээгүй байсан ч тус бүрийн шалгуурт хэсэгчилсэн кредит өгдөг. Шинжлэх ухааны даалгаврын хариулт бүрэн хариултын бүх шаардлагыг хангаагүй ч хэсэгчлэн зөв эсвэл ашигтай байж болох тул хоёулаа чухал.

Загварын гүйцэтгэл даалгаврын төрөл, ажлын урсгал, хариултын форматаас ихээхэн хамаарч өөрчлөгдөнө.

LifeSciBench нь хил хязгаар загварууд шинжлэх ухааны нэгтгэл, харилцаа болон бүтэцтэй тайлбар шаардсан даалгаварт харьцангуй хамгийн хүчтэйг харуулж байна. Абсолют тэнцэх хувь одоо ч даруухан тул эдгээр бенчмарк салбар ханалтдаа огт хүрээгүй боловч GPT‑Rosalind нь GPT‑5.5‑тай харьцуулахад утгатай ахиц үзүүлж, нийт яг тэнцэх хувийг 25.7%-аас 36.1% болгож сайжруулсан.

Загварын чадварын хамгийн хүчтэй ахицын чиглэлүүд Шинжлэх ухааны харилцаа болон Орчуулгад харагдаж байна. Жишээлбэл, Шинжлэх ухааны харилцааны тэнцэх хувь GPT‑5.5‑д 56.3% байснаас GPT‑Rosalind‑д 71.1% болж өссөн; энэ ангилал жижиг (n=9) тул болгоомжтой тайлбарлах хэрэгтэй, гэхдээ хил хязгаар загварууд нотолгоог зохион байгуулж, мэргэжилтэнд чиглэсэн үнэмшилтэй тайлбар гаргах чадвараа хурдан сайжруулж байгааг илтгэнэ. Орчуулга (эм хөгжүүлэлтийн «bench-to-bedside» үйл явц) мөн төстэй хэв шинж үзүүлж, GPT‑5.5‑д 36.8% байснаас GPT‑Rosalind‑д 57.7% болж өссөн нь загварууд клиникийн өмнөх нотолгоог клиникийн үр дагавартай холбох чадвараа хурдан сайжруулж байгааг харуулна.

Рубрикийн түвшний үр дүн ч ижил чиглэлийг зааж байна. Мэргэжилтэнд ашигтай эсвэл хэрэгжүүлж болох гаралт шаардсан даалгаварт GPT‑Rosalind 44.7% оноо авч, GPT‑5.5 29.1% авсан. Тодорхойгүй байдал болон анхааруулгыг зохицуулах шаардлагатай даалгаварт энэ нь 44.8% оноо авч, 29.3%-тай харьцуулагдсан. Энэ хэв шинж нь даалгавар тодорхой нотолгооны хил хязгаартай бөгөөд бүтэцтэй шинжлэх ухааны шүүлт шаарддаг үед загварууд хамгийн ашигтайг харуулж байна.

Артефакт ихтэй, дизайн ихтэй, үйл ажиллагааны хязгаарлалттай шинжлэх ухааны ажил дээр гүйцэтгэл нэлээд сул хэвээр байна. Тухайлбал, Дизайн, оновчлол ба таамаглал нь хамгийн хэцүү ажлын урсгалын нэг хэвээр бөгөөд GPT‑Rosalind‑ийн тэнцэх хувь 30.7%; Шинжилгээ мөн адил хэцүү, 30.3% байна.

Артефакт ашиглалт нь ялангуяа тодорхой зөрүү юм. GPT‑Rosalind артефакт ихтэй орчинд GPT‑5.5‑аас илүү сайн гүйцэтгэдэг ч тэнцэх хувь нь зөвхөн тексттэй даалгаварт 45.1% байснаас артефакт эсвэл URL-тэй даалгаварт 28.1% болж буурсаар байна. GPT‑5.5 мөн адил хэв шинж үзүүлж, 29.9%-аас 21.9% болж буурсан. Илүү дэлгэрэнгүй шинжилгээ нь хил хязгаар загварууд нарийн төвөгтэй зураг эсвэл том дарааллын файлаас мэдээлэл гарган авч, тэр мэдээллийг эцсийн хариултад нэгтгэхэд бэрхшээлтэйг баталж байна.

Хариултын формат ч мөн чухал. Яг дараалал, бүтэц эсвэл конструкцийн түвшний гаралт шаарддаг даалгавруудын тэнцэх хувь бага: GPT‑Rosalind тоон даалгаварт ердөө 14.8%, дараалал эсвэл бүтцийн гаралтад 24.0%-д хүрсэн. Конструкц үүсгэх даалгаврууд мөн хэврэг бөгөөд GPT‑Rosalind 27.3%-тай, GPT‑5.5‑аас багахан ахиц үзүүлсэн. Энэ зөрүүний нэг хэсэг нь яг хариулттай даалгаварт үнэлгээний гадаргуу илүү хатуу байдагтай холбоотой байж болно: тооцоо эсвэл формат дахь жижиг ялгаа хариултыг тэнцэх босгоос доош унагаж чадна. Гэсэн ч эдгээр алдаа шинжлэх ухааны хувьд утгатай, учир нь амьдралын шинжлэх ухааны олон ажлын урсгал CRISPR/HDR донорын дизайн эсвэл siRNA дизайн гэх мэт шууд ашиглахад хангалттай нарийн гаралт шаарддаг.

Загварууд мөн даалгаврыг бүрэн шийдэхгүйгээр нэлээд ахих нь олонтаа. Даалгаврын ойролцоогоор 14%-д загварууд яг тэнцэх босгыг даваагүй ч рубрикийн мэдэгдэхүйц кредит авсан. GPT‑Rosalind‑ийн хувьд 109 даалгаврын тэнцэх хувь 20%-иас доогуур байсан ч рубрикийн урамшууллын дор хаяж 50%-ийг авсан. Практикт энэ нь загварууд холбогдох нотолгоог тодорхойлох эсвэл боломжийн хэсэгчилсэн хариулт гаргаж болох ч гол хязгаарлалтыг алгасах, буруу нотолгоо ашиглах, дутуу тооцоо хийх эсвэл сэтгэн бодох үйл явцаа шинжлэх ухааны хувьд ашигтай эцсийн шийдвэртэй холбохгүйгээс болж бүтэлгүйтдэг гэсэн үг.

LifeSciBench нь AI системүүд амьдралын шинжлэх ухааны судалгаанд хэр ашигтай байж болохыг хэмжих нэг алхам боловч загваруудыг бодит судалгааны орчинд судлахыг орлохгүй. Бенчмарк нь үйлдвэрлэлийн давтагддаг ажлын урсгалыг тусгасан бие даасан даалгавруудад төвлөрдөг бөгөөд олон шинжлэх ухааны мэргэшил, даалгаврын төрлийг одоогийн хамрах хүрээнээс гадуур үлдээдэг. Бодит судалгаа давталттай байдаг: эрдэмтэд шинэ нотолгоо цуглуулж, таамаглалаа засаж, дараагийн туршилтуудыг зохиож, үр дүн гарахын хэрээр төлөвлөгөөгөө тохируулдаг.

Тиймээс LifeSciBench дээрх хүчтэй гүйцэтгэлийг доод шатны судалгааны нөлөөллийн шууд хэмжүүр бус, бодит даалгаврын түвшний чадварын нотолгоо гэж тайлбарлах ёстой. Бенчмарк нь үйлдвэрлэлийн ажлын урсгалд тулгуурласан боловч цаг хугацааны явцад өрнөдөг хүчин зүйлээс ахиц хамаардаг бодит судалгааны хөтөлбөрүүдийн бүрэн олон янз байдал, динамикийг барьж чаддаггүй.

Дараагийн алхам бол бенчмаркийн гүйцэтгэлийг бодит судалгааны ажлын урсгал дахь нэвтрүүлэлтийн судалгаатай холбох явдал юм. LifeSciBench-ийг ажиллаж буй эрдэмтэдтэй хамтран боловсруулсан ч AI системүүд нээлтийг хурдасгах эсвэл R&D үр дүнг сайжруулах эсэхийг хэмжихийн тулд бодит судалгааны орчинд, илүү урт хугацаанд, сэтгэн бодох, санал хүсэлт авах, туршилтаар дагах олон үе шат дамнан загварын хэрэглээ ба гүйцэтгэлийг судлах шаардлагатай.