Kynning á LifeSciBench
Viðmið skrifað og rýnt af sérfræðingum, byggt á raunverulegum lífvísindarannsóknum
Gervigreindarkerfi eru sífellt að verða færari um að framkvæma vísindaleg verkefni. Hins vegar fer gagnsemi þeirra fyrir lífvísindamenn eftir því hversu vel þeir takast á við flækjustig raunverulegra rannsókna. Sú vinna lítur sjaldan út eins og spurning um eina staðreynd eða hreint spáverkefni. Rannsakendur túlka ófullkomnar sannanir, sætta saman misvísandi niðurstöður, hanna erfiðar tilraunir, greina bilanagreiningu, meta þýðingaráhættu og ákveða hvað skuli gera næst í óvissu.
Núverandi viðmið ná ekki til fulls yfir þessa möguleika. Margar matsrannsóknir á lífvísindum einbeita sér að þröngum sviðum eða einangruðum færniþáttum, sem leiðir til spurninga með skipulögðu spurningaformi og skýrum tilvísunarsvörum. Þótt þau séu verðmæt, tekst þeim oft ekki að meta til fulls hvort líkan geti lagt sitt af mörkum til rannsókna á breiðara sviði.
Við hönnuðum LifeSciBench til að brúa þetta bil. Hvert verkefni byggir á mati starfandi lífvísindamanna með doktorsnám og beina reynslu af því að efla lyfjaþróunarverkefni í líftækni- og lyfjafræðiumhverfi.
LifeSciBench inniheldur 750 verkefni skrifuð af sérfræðingum sem spanna sjö vinnuflæði og sjö líffræðileg svið.
1,062
Verkefnafylgigögn
173
Vísindamenn sem leggja til efni
19,020
Viðmið matskvarða
453
Sérfræðirýnar
Hvað LifeSciBench mælir
LifeSciBench mælir hvort gervigreindarkerfi geti stutt raunhæf rannsóknarverkefni í lífvísindum, ekki bara svarað spurningum í líffræði. Til að skilgreina viðmiðunarflokkunina könnuðum við starfandi lífvísindamenn um þau vinnuflæði sem þeir nota oftast í hagnýtum rannsóknum. Síðan flokkuðum við svör þeirra í sjö endurtekna flokka: meðhöndlun sönnunargagna, greiningu, hönnun og bestun, vísindaleg rökfærsla, staðfesting og aðgerðir, þýðingu og vísindaleg miðlun.
Hvert verkefni er skipulagt eins og beiðni sem vísindamaður gæti sent til þekkingarmikils samstarfsmanns: vísindaleg fyrirmæli, viðeigandi samhengi eða gripir og frjálst svar. Sérfræðingar meta hvort líkan geti gefið rétta svarið við tilteknu vandamáli, með réttu smáatriði, rökstuðningi, fyrirvörum og sniði sem vísindamaður myndi búast við.
Smíði gagnasafns
LifeSciBench metur vísindalega rökhugsun ásamt minna skilgreindri, hagnýtri færni sem nauðsynleg er til raunverulegrar vísindalegrar notkunar. Verkefni þess fela í sér að líkön vinni úr raunhæfum rannsóknarvandamálum: túlka sönnunargögn, taka ákvarðanir sem byggja á sviðum og miðla niðurstöðum sem væru gagnlegar fyrir sérfræðinga í rannsóknum. Mörg verkefni krefjast einnig þess að líkön takist á við óvissu og rökstyðji stuðning gagnaskráa frekar en að reiða sig eingöngu á leiðbeiningartexta.
Viðmiðið er hannað til að endurspegla flækjustig lífvísindastarfa. Í heildina krefjast 79% verkefna margra skrefa í rökhugsun eða ákvarðanatöku, að meðaltali fjögur skref í hverju verkefni. LifeSciBench inniheldur 1.062 viðhengda gripi sem spanna myndir, PDF skjöl, töflur, raðskrár, uppbyggingar- eða efnaskrár og veftilvísanir. Meira en helmingur verkefna (53%) krefjast þess að líkön túlki eða setji saman upplýsingar úr að minnsta kosti einum grip.
Verkefnin voru búin til af 173 sérfræðingum í lífvísindum úr ólíkum lífvísindagreinum. Hver vísindamaður hafði doktorsgráðu og reynslu í líftækni eða lyfjaiðnaði. Verkefni gátu gengist undir eins margar endurskoðunarlotur og þörf var á áður en þau voru samþykkt, án fastrar hámarksfjölda umferða; samþykkt verkefni voru að meðaltali sex sjálfstýrðar sjálfvirkar endurskoðunarlotur og luku að minnsta kosti tveimur umferðum af sérfræðiúttektum. Umsagnir voru byggðar annað hvort á staðfestanlegu réttu svari eða sterkri samstöðu sérfræðinga, með að minnsta kosti 90% samstöðu meðal umsagnaraðila á viðkomandi sviði. Þetta ferli hjálpaði til við að tryggja að samþykkt verkefni væru vísindalega rökstudd, nógu skýr til að gefa einkunn og dæmigerð fyrir hagnýtar rannsóknir.
Einkunnagjöf og sundurliðun á rúbríkum
Verkefni í LifeSciBench eru metin með ítarlegri, verkefnisbundinni matsrubrik sem brýtur niður væntanlegt svar í sértækar vísindalegar fullyrðingar, útreikninga, ákvarðanir, réttlætingar og svo framvegis. Í viðmiðunarflokknum innihalda matsrúbríkur, sem sérfræðingar hafa þróað, 19.020 viðmið — að meðaltali 25 í hverju verkefni — til að meta bæði vísindalega réttmæti og notagildi fyrir rannsóknarákvarðanir.
Þessi hönnun endurspeglar hvernig vísindaleg vinna er metin í reynd: mörg lífvísindaverkefni er ekki hægt að meta með því að athuga eingöngu lokasvarið. Svar gæti komist að réttri niðurstöðu á háu stigi en samt verið metið ófullkomið ef það gleymir til dæmis lykiltakmörkun á prófinu eða kemur ekki með fyrirbyggjandi upplýsingar um mjög þýðingarmikla líffræðilega blæbrigði. Aftur á móti getur hlutasvar innihaldið vandaða röksemdafærslu jafnvel þótt það leysi ekki verkefnið að fullu.
Nákvæmu rúbríkurnar fanga þennan blæbrigði. LifeSciBench metur ekki aðeins nákvæmni lokasvars, heldur einnig hvort líkan kemst að svari sínu á vísindalega gildan og rekstrarlega gagnlegan hátt.
Útdráttur, samræming og úttekt á vísindalegum sönnunum úr greinum, myndum, töflum og tilraunaskrám.
Matsdæmi
We’re preparing for a Type B FDA meeting on AAV9-microDys-X, an AAV9-based micro-dystrophin gene therapy for Duchenne muscular dystrophy that expresses a 138 kDa construct from an MCK promoter, and we want a hard-nosed critique of whether our current package really supports accelerated approval on micro-dystrophin expression as a surrogate endpoint reasonably likely to predict clinical benefit.
Study context: open-label Phase 1b/2 in 12 ambulatory boys age 4–7 with confirmed DMD and out-of-frame rod-domain deletions. The package is:
- Pre-treatment vastus lateralis biopsies: 0–3% of healthy-control dystrophin by quantitative Western blot using MANEX1A against the N-terminal actin-binding domain.
- 12-week post-treatment contralateral vastus lateralis biopsies: mean micro-dystrophin 38% of healthy control (range 18–61%) by the same Western blot, normalized to total protein by Coomassie staining.
- Post-treatment immunofluorescence: sarcolemmal signal in 75–95% of fibers using a polyclonal anti-dystrophin C-terminal antibody.
- 48-week function: mean NSAA change +1.4 points from baseline versus −0.6 in an external published natural-history registry cohort (p = 0.03 by unpaired t-test).
- Safety: transient transaminitis in 8/12 patients managed with steroid taper; one resolved myocarditis; no deaths.
- Biodistribution/persistence: AAV9 vector genomes detectable in muscle at 12 weeks at a mean of 2.3 vector genomes per nucleus.
- Eligibility: no baseline anti-AAV9 neutralizing antibodies (titer <1:400) and no exon-44 deletions.
Please pressure-test this package item by item: where would FDA or a skeptical reviewer say the evidence, as presented, fails to support our conclusion, and what additional data, analyses, or design changes would be needed to close those gaps if possible? For anything not specified, assume what is known from other clinical-grade 138 kDa micro-dystrophin programs and relevant clinical trials through December 31, 2025 also applies.
Svar umsækjanda
Niðurstaða: Eins og þetta lyf er kynnt er það ekki nógu sterkt til að styðja við hraðaða samþykki á tjáningu ör-dýstrófíns sem staðgengilsendapunkt sem er líklegur til að spá fyrir um klínískan ávinning. Efinn matsmaður FDA myndi líklega líta á vísbendingar um lífmerki, virkni, endingu, öryggi og alhæfingarhæfni sem verulega vanstuddar.
Pakkihlutur | Lykilbilunarstilling | Það sem þyrfti |
|---|---|---|
Magngreining á Western blot | MANEX1A binst N-enda epitópi sem er sameiginlegt innrænu dystrofíni í fullri lengd og ör-dystrofín transgeninu, þannig að prófið greinir ekki skýrt á milli transgensins og leifar/afturkomandi dystrofíns. Það er einnig ógilt að magngreina 138 kDa ör-dýstrofín á móti heilbrigðum staðli fyrir fullan dystrofín. | Notið erfðabreyttan ör-dýstrófínstaðal og rétthyrnda aðferð sem greinir á milli erfðabreyttra gena og innræns dýstrófíns, svo sem markvissa massagreiningu eða erfðabreyttra/epitóp-sértækrar prófunar. |
Ónæmisflúrljómun | C-enda fjölklóna mótefnið hentar illa þar sem 138 kDa smygildið skortir C-enda lénið. Margir sjúklingar með DMD hafa afturhverfar þræðir og afturhverft dystrophin getur geymt C-enda epitópa. Afturhverfar þræðir geta stækkað klónalega með aldri, sem skekkir IF merki, sérstaklega hjá eldri drengjum. | Endurtakið IF með mótefni gegn epitóp sem er til staðar í erfðabreyttu geninu en ekki í afturkræfu dystrófíni. Magngreinið erfðabreyttar jákvæðar trefjar aðskildar frá afturhverfum trefjum. |
Gildi staðgengils endapunkts | Í umbúðunum er próteinmagn blandað saman við klíníska virkni. „38% af próteinmassa heilbrigðs samanburðarhóps“ þýðir ekki 38% af eðlilegri dystrofínvirkni vegna þess að ör-dystrofín er byggingarlega stytt. | Staðfestið reynslulega tengslin milli massaprósentu ör-dýstrófíns, staðsetningar sarkolemmals, endurreisn virkni niðurstreymis og klínísks ávinnings áður en tjáning er notuð sem staðgengilsendapunkt. |
Hönnun vefjasýna | Sýnatökur af gagnstæða vastus lateralis fyrir og eftir meðferð sýna breytileika í rúmfræði vinstri-hægri og vöðva. Sjúkdómsframgangur og uppskiptingu trefja- og fituefna geta einnig breytt eðlilegu merki um heildarprótein. | Staðla vefjasýnatökustað með því að nota samræmd kennileiti í líffærafræði, staðla miðað við vöðvasértæk prótein og mæla bandvefs- og fitusamsetningu samhliða. |
NSAA samanburðar-/tölfræði | Ytri náttúrusögulegur hópur er ekki slembiraðaður samtímis samanburðarhópur. Hæfi til rannsóknar, stuðningsmeðferð, áhrif þátttöku, NSAA við upphaf, sterameðferð, aldur og exon-flokkur geta allt skekkt samanburðinn. Óparað t-próf er ekki nægjanlegt. Einnig er breyting upp á +1,4 NSAA innan breytileika próf-endurprófunar fyrir þennan aldurshóp. | Framkvæmið slembiraðaða samtímis samanburðarrannsókn með lyfleysu, eða notið að lágmarki aðlagaðar greiningar sem taka tillit til grunnlínu NSAA, aldurs, sterameðferðar, exon-flokks og annarra ruglingsþátta. |
Ruglingslegt aldursglugga | Drengir á aldrinum 4–7 ára eru í þroskaferli þar sem ómeðhöndluð göngufær sjúklingar með DMD geta náð hreyfifærni áður en hnignun verður ríkjandi. 48 vikna breyting á NSAA blandar saman þroskahagnað, sjúkdómsframgang og möguleg meðferðaráhrif. | Notið samtímis slembiraðað samanburðarhóp með aldursskiptingu til að aðgreina þroskaferil frá meðferðaráhrifum. |
Fyrri klínísk fordæmi | Opnar rannsóknir á virkni ör-dýstrófíns hafa ekki spáð fyrir um áreiðanlegan staðfestandi ávinning; birt fordæmi fela í sér staðfestandi rannsóknir á genameðferð með ör-dýstrófíni sem ekki hafa náð að endurtaka árangur í opnum rannsóknum á NSAA. | Treystu ekki á opnar breytingar á NSAA sem afgerandi stuðning. Krefjast stýrðra virknisgagna. |
Byggingarmörk smíðinnar | 138 kDa smygildið eyðir litrófsendurtekningar R16/17, sem innihalda nNOS-bindistaði. Tap á nýliðun nNOS getur skert virkni sympatólýsu og blóðþurrðarvörn við áreynslu, sem skapar vélrænt þak á björgunaraðgerðir óháð tjáningarstigi. | Bætið við rannsóknum á vélrænum þáttum sem sýna hvort þessi tiltekna smygildi endurheimtir viðeigandi dystrophin-tengda fléttustarfsemi, staðsetningu nNOS, áreynslulífeðlisfræði og vöðvavernd. |
AAV endingartími | Erfðamengi vektora eftir 12 vikur mynda ekki varanlega tjáningu. Erfðamengi AAV9 eru að mestu leyti ósamþættingarhæf þáttur og geta minnkað með tímanum. Varanleiki erfðamengis vektors er ekki það sama og varanleg próteintjáning. | Mæla lengdar tjáningu erfðabreyttra próteina og endingu virkra lífmerkja eftir 12 vikur. |
Ónæmis-/öryggissnið | Transamínbólga hjá 8 af 12 sjúklingum er í samræmi við ónæmissvörun við AAV-erfiðleikum, en verkunarháttur er ekki þekktur. Eitt tilvik hjartavöðvabólgu varðar gefinn AAV9 hjartavöðvakvilla. | Veita ítarlegri eftirlit með ónæmiskerfinu, greiningu á öryggi lifrar-/hjartasjúkdóma og aukið eftirfylgni með hjartasjúkdómum. |
Val á sjúklingum/alhæfni | Að útiloka sjúklinga með jákvæða mótefni gegn AAV9 hlutleysandi mótefnum takmarkar alhæfingarmöguleika. Að undanskilja eyðingar í exon-44 takmarkar notagildi þess fyrir þann undirhóp af DMD. n=12 er of lítið til að lýsa öryggi og virkni hjá breiðari hópi einstaklinga með DMD. | Víkka skal út hæfisskilyrði þar sem það er mögulegt eða fyrirfram skilgreina lagskiptar greiningar eftir mótefnastöðu, arfgerð/exonflokki, aldri og upphafsvirkni áður en niðurstaðan er notuð til að styðja við víðtæka samþykki. |
Niðurstaða reglugerðar: Umbúðirnar kunna að sýna líffræðilega virkni, en þær staðfesta ekki enn að mæld ör-dýstrófín tjáning sé áreiðanleg staðgengill sem er líklegur til að spá fyrir um klínískan ávinning. Helstu eyðurnar eru sértækni prófunar, ógildir magngreiningarstaðlar, möguleg ruglingur vegna afturvirkra trefja, skortur á slembiraðaðri samanburðarhópi, aldurstengdur ruglingur vegna NSAA, óviss ending og óleyst öryggis-/alhæfingarvandamál.
Til að brúa bilið þyrfti verkefnið stýrða, aldursskipta klíníska hönnun með erfðabreyttum tjáningarprófum, magngreiningu á rétthyrndum próteinum, eftirliti með vefjasamsetningu, gögnum um langtíma endingu, prófunum á vélrænni virkni fyrir styttu smygildið og sterkara öryggiseftirlit, sérstaklega í lifur og hjarta.
Viðmið matskvarða og einkunnir
Staðfesting LifeSciBench
Við staðfestum LifeSciBench með óháðum sérfræðingum. Ábendingar bárust frá 453 umsagnaraðilum sem komu ekki að skrifum verkefnanna. Af þessum ritrýnendum höfðu 97% doktorsgráðu eða sambærilega doktorsgráðu, að meðaltali 12 ára reynslu á vettvangi og 14 ritrýndar ritrýndar greinar; 88% sögðust hafa hlotið að minnsta kosti eina viðurkenningu eða styrk.
Gagnrýnendur gáfu einkunn fyrir hvort hvert verkefni endurspeglaði þá eiginleika sem krafist er fyrir sterka viðmiðunarspurningu: samræmi við raunverulegar rannsóknir, viðeigandi prófanir á vísindalegri röksemdafærslu og sérþekkingu á sviðinu, grundvöllur fyrir sönnunargögnum eða samstöðu sérfræðinga og almennt notagildi við mat á frammistöðu líkansins. Samstaðan var yfir 96% í öllum flokkum.
Umsagnir gagnrýnenda styrktu megindlegu einkunnirnar:
Niðurstöður
Við birtum tvær mælikvarðar sem samræmast hvor öðrum. Árangurshlutfall er hlutfall verkefna þar sem líkan nær 70% árangursþröskuldi á verkefnisstigi. Einkunn er meðalumbun samkvæmt matsrubriknum, sem gefur hluta af einkunn fyrir einstök viðmið jafnvel þótt ekki sé allt verkefnið leyst. Báðir skipta máli vegna þess að svar við vísindalegu verkefni getur verið að hluta til rétt eða gagnlegt án þess að uppfylla allar kröfur um fullkomið svar.
Afköst líkansins eru mjög mismunandi eftir tegund verkefnis, vinnuflæði og svarsformi.
Þar sem gervigreindarkerfi sýna snemma styrk
LifeSciBench sýnir að jaðarlíkön eru tiltölulega sterkust í verkefnum sem fela í sér vísindalega samantekt, samskipti og skipulagða túlkun. Algjör árangurshlutfall er enn hóflegt, þannig að þessi viðmiðunarsvið eru langt frá því að vera mettuð, en GPT‑Rosalind sýnir verulegar framfarir frá GPT‑5.5 og hefur bætt heildarhlutfall nákvæms árangurs úr 25,7% í 36,1%.
Sterkustu framfarirnar í líkanahæfni birtast í vísindalegum samskiptum og þýðingum. Til dæmis eykst árangurshlutfallið í vísindasamskiptum úr 56,3% fyrir GPT‑5.5 í 71,1% fyrir GPT‑Rosalind; þessi flokkur er lítill (n=9), þannig að hann ætti að túlka með varúð, en hann bendir til þess að líkan á jaðarstigi séu að batna hratt í getu sinni til að skipuleggja sönnunargögn og framleiða sannfærandi skýringar sem snúa að sérfræðingum. Þýðing (þróunarferlið „frá rannsóknarstofu til rannsóknarstofu“) sýnir svipað mynstur og hækkar úr 36,8% fyrir GPT‑5.5 í 57,7% fyrir GPT‑Rosalind, sem bendir til þess að líkön séu ört að bæta getu sína til að tengja forklínískar niðurstöður við klínískar niðurstöður.
Niðurstöður á matsstigi benda í sömu átt. Í verkefnum sem krefjast gagnlegra eða aðgerðarhæfra niðurstaðna fyrir sérfræðinga, fær GPT‑Rosalind 44,7% stig, samanborið við 29,1% fyrir GPT‑5.5. Í verkefnum sem krefjast óvissu og meðhöndlunar á fyrirvörum fær það 44,8% einkunn, samanborið við 29,3%. Þetta mynstur bendir til þess að líkön séu gagnlegust þegar verkefnið hefur skýr sönnunargögn og kallar á skipulagða vísindalega matsgerð.
GPT‑Rosalind er fremst í frammistöðu á vísindalega verðmætum verkefnum sem sérfræðingar úr iðnaði og háskólasamfélagi greindu.
GPT‑Rosalind leiðir árangur í vísindalega verðmætum verkefnum sem sérfræðingar í iðnaði og háskólasamfélagi hafa skilgreint.
GPT‑Rosalind leiðir árangur í vísindalega verðmætum verkefnum sem sérfræðingar í iðnaði og háskólasamfélagi hafa skilgreint.
Þar sem gervigreindarkerfi eru enn undir væntingum
Afköstin eru enn mun veikari í vísindavinnu sem krefst mikilla gripa, hönnunar og rekstrarlegra takmarkana. Hönnun, hagræðing og spá eru enn eitt erfiðasta verkflæðið, með 30,7% árangurshlutfall GPT‑Rosalind; Greining er álíka erfið með 30,3%.
Notkun gripa er sérstaklega skýr galli. Þó að GPT‑Rosalind standi sig betur en GPT‑5.5 í stillingum þar sem mikið er af gripum, þá lækkar árangurshlutfallið samt úr 45,1% í verkefnum sem eingöngu innihalda texta í 28,1% í verkefnum með gripum eða vefslóðum. GPT‑5.5 sýnir sama mynstur og lækkar úr 29,9% í 21,9%. Ítarlegri greining staðfestir að jaðarlíkön eiga erfitt með að draga upplýsingar úr flóknum myndum eða stórum raðskrám og samþætta þær upplýsingar í lokaútkomuna.
Árangurshlutfall lækkar þegar verkefni krefjast heimildabyggðra raka eða vinnu með fylgigögn
Svarformið skiptir líka máli. Verkefni sem krefjast nákvæmrar röð, uppbyggingar eða úttaks á smíðastigi sýna lægri árangur: GPT‑Rosalind nær aðeins 14,8% í tölulegum verkefnum og 24,0% í röð- eða uppbyggingarúttaki. Verkefni sem tengjast smíðamyndun eru einnig brothætt, þar sem GPT‑Rosalind er 27,3% og sýnir litla framför samanborið við GPT‑5.5. Sumt af þessu bili gæti endurspeglað strangari einkunnagjöf fyrir verkefni með nákvæmum svörum, þar sem smáir munur á útreikningum eða sniði getur valdið því að svar fellur undir viðmiðunarmörk. Þessi mistök eru samt sem áður vísindalega mikilvæg þar sem mörg vinnuflæði í lífvísindum krefjast nógu nákvæmra niðurstaðna til að hægt sé að nota þau beint, eins og í CRISPR/HDR gjafahönnun eða siRNA hönnun.
Líkön komast oft líka hluta af leiðinni þangað án þess að leysa verkefnið að fullu. Í um það bil 14% verkefna fengu líkön verulegar einkunnir þrátt fyrir að ná ekki nákvæmri prófun. Fyrir GPT‑Rosalind voru 109 verkefni með undir 20% árangur en fengu samt að minnsta kosti 50% umbun samkvæmt matsflokknum. Í reynd þýðir þetta að líkön geta borið kennsl á viðeigandi sönnunargögn eða gefið trúverðugt hlutasvar, en samt mistekist vegna þess að þau missa af lykilþvingun, nota röng sönnunargögn, gera ófullkomna útreikninga eða tengja ekki rökstuðning sinn við vísindalega gagnlega lokaákvörðun.
Takmarkanir og hvað næst
LifeSciBench er skref í átt að því að mæla hversu gagnleg gervigreindarkerfi geta verið fyrir lífvísindarannsóknir, en það kemur ekki í staðinn fyrir að rannsaka líkön í raunverulegu rannsóknarumhverfi. Viðmiðið leggur áherslu á sjálfstæð verkefni sem endurspegla endurtekin vinnuflæði í atvinnugreininni, en skilur margar vísindalegar sérgreinar og gerðir verkefna utan núverandi umfangs. Raunverulegar rannsóknir eru endurteknar: vísindamenn safna nýjum gögnum, endurskoða tilgátur, hanna eftirfylgnitilraunir og aðlaga áætlanir sínar eftir því sem niðurstöður koma fram.
Því ætti að túlka góða frammistöðu á LifeSciBench sem vísbendingu um raunhæfa getu til að takast á við verkefni, ekki sem bein mælikvarða á áhrif rannsókna á síðari stigum. Viðmiðið byggir á vinnuflæði atvinnulífsins, en það nær ekki til allrar fjölbreytileika eða gangverks raunverulegra rannsóknarverkefna, þar sem framfarir eru háðar þáttum sem þróast með tímanum.
Næsta skref er að tengja viðmiðunarárangur við rannsóknir á dreifingu í raunverulegum rannsóknarferlum. Þótt LifeSciBench hafi verið þróað í samvinnu við starfandi vísindamenn, þá mun mæling á því hvort gervigreindarkerfi flýti fyrir uppgötvunum eða bæti niðurstöður rannsókna og þróunar krefjast þess að rannsaka notkun og frammistöðu líkana í raunverulegum rannsóknarumhverfi, yfir lengri sjóndeildarhring og í mörgum lotum röksemdafærslu, endurgjafar og tilraunakenndrar eftirfylgni.
