ወደ ዋና ይዘት እለፍ
OpenAI

GeneBench-Proን ማስተዋወቅ

በኮምፒውቴሽናል ባዮሎጂ AI ወኪሎች አሻሚነትን እንዴት እንደሚጓዙና ወሳኝ ፍርዶችን እንደሚያደርጉ የሚለካ የምርምር-ደረጃ መለኪያ።

በመጫን ላይ…

ሳይንሳዊ ውሂብ ከመመሪያ ጋር አይመጣም። ተመራማሪዎች ንድፍ ባዮሎጂን ወይስ ጫጫታን እንደሚያንጸባርቅ፣ ውሂቡ የተጠየቀውን ጥያቄ መደገፍ እንደሚችል፣ እና እያንዳንዱ ውጤት ቀጣዩን እርምጃ እንዴት መቀየር እንዳለበት መወሰን አለባቸው። የAI ወኪሎች ውስብስብ ትንተናዎችን ማከናወን እየቻሉ ነው፣ ግን እውነተኛ ሳይንሳዊ ምርምር እውነታዎችን በማስታወስ ወይም ቀድሞ የተዘጋጀ ፍሰት በመከተል ብቻ ሳይሆን እነዚህን ከፍተኛ የፍርድ ውሳኔዎች ማድረግንም ይጠይቃል።

ዛሬ GeneBench-Proን እናስተዋውቃለን፤ ይህ ሞዴሎች እውነተኛ የኮምፒውቴሽናል ባዮሎጂ የሚጠይቀውን በፍርድ የተሞላ ትንተና መቋቋም እንደሚችሉ የሚፈትን የምርምር-ደረጃ ፈታኝ መለኪያ ነው። ከ GeneBench(በአዲስ መስኮት ውስጥ ይክፈታል) በመስፋፋት፣ በጂኖሚክስ፣ በመጠናዊ ባዮሎጂና በትርጉማዊ ሕክምና ውስጥ ከባድና እውነታዊ ተግባሮችን ይሸፍናል፤ የኮምፒውቴሽናል ባዮሎጂ ሳይንሳዊ ምርምር ያለውን ውስብስብነት፣ ተደጋጋሚነትና አሻሚነት ይይዛል። 

እስካሁን እውነተኛ የኮምፒውቴሽናል ምርምርን አስቸጋሪ የሚያደርጉ የስርዓት-ደረጃ የፍርድ ውሳኔዎች አሳማኝ ግምገማዎች ጥቂት ነበሩ። እነዚህ አሻሚነትን መቋቋም፣ ግምቶችን መከለስ፣ ትክክለኛ የትንተና መንገድ መምረጥ፣ እና ውጤት ለውሳኔ መዘጋጀቱን መለየትን ያካትታሉ። እነዚህ ችሎታዎች ለመደበኛ ቅርጽ ማስገባት አስቸጋሪ ስለሆኑ፣ በጥብቅ ለመገምገምም አስቸጋሪ ናቸው፤ በእነሱ ያሉ ድክመቶች የAI አጠቃላይ አፈጻጸምን እየገደቡ ቢሆንም።

«በባዮሎጂ ያለው የመለኪያ ክፍተት» የሚል ርዕስ ያለው ዲያግራም፤ ባህላዊ የመለኪያ የሥራ ፍሰቶችን ከመጀመሪያ እስከ መጨረሻ ከሚደረግ ሳይንሳዊ ትንተና ጋር ያነጻጽራል፣ ወደ ሳይንሳዊ መደምደሚያ ከመድረስ በፊት እንደ ቅድመ-ማቀናበር፣ ሞዴሊንግ፣ ምርመራዎችና ተደጋጋሚ ማሻሻያ ያሉ ተጨማሪ ደረጃዎችን ያሳያል።

GeneBench-Pro እነዚህን ከፍተኛ-ደረጃ ችሎታዎች በትክክል ለመለካት ተነድፏል። በGeneBench-Pro ውስጥ «የምርምር ጣዕም» ማለት ትንተናን የሚቀርጹ የፍርድ ውሳኔዎች ሰንሰለት ነው፦ ውሂቡ የትኞቹን ጥያቄዎች መደገፍ እንደሚችል፣ የመጀመሪያ ምርመራዎች ሞዴሉን ወይም estimandን እንዴት መቀየር እንዳለባቸው፣ እና መጀመሪያዊ እቅድ መቼ መከለስ እንዳለበት። እያንዳንዱ የGeneBench-Pro ችግኝ ለሞዴሉ እውነታዊና የተዘበራረቀ የውሂብ ስብስብ፣ አጭር የሙከራ አውድ፣ እና ከቀጣይ ውሳኔ ጋር የተያያዘ ዒላማ estimand ይሰጣል። ትክክለኛ መልስ ለመስጠት ሞዴሉ ውሂቡን መመርመር፣ ተገቢ የትንተና አቀራረብ መምረጥ፣ በተደጋጋሚ ሙከራ ሂደት መሳተፍ፣ እና የመጨረሻ መልስ መስጠት አለበት።

የውሂብ ስብስብ ግንባታ

በባዮሎጂ ውስጥ የውሂብ ማመንጨት ወጪ (ለምሳሌ፣ ጂኖም ሲክዌንሲንግ) በእጅጉ ቀንሷል፣ እና አንዳንድ ተመራማሪዎች አሁን የሚገድበው(በአዲስ መስኮት ውስጥ ይክፈታል) የናሙና ስብስብ ሳይሆን ቀጣይ ኮምፒውቴሽንና ትንተና ነው ይላሉ። GeneBench-Pro ያንን እንቅፋት ለመፍታት ያለውን እድገት ለመገምገም ተገንብቷል፣ 129 ጥያቄዎችም ሰፊ የኮምፒውቴሽናል ባዮሎጂ አውዶችንና ዘዴዎችን ይሸፍናሉ።

የዶሜይን አትላስ፦ በ 10 ዶሜይኖች እና በ 21 ንዑስ-ዶሜይኖች ውስጥ 129 ችግሮች

በመለኪያ ችግሮች መካከል ለመዘዋወር የቀስት ቁልፎቹን ይጠቀሙ። የተመረጠው ችግር ዝርዝሮች ከዚህ በታች ይታያሉ።

ስለ የመለኪያ ችግር ለማወቅ ከላይ ባለው ነጥብ ላይ ጠቅ ያድርጉ።

ይህ አትላስ የGeneBench-Proን ስፋት ቅድመ እይታ ይሰጣል። 10 ተወካይ ጥያቄዎችን በበለጠ ዝርዝር ለመመርመር የጉዳይ ጥናቶች ገጽን ይጎብኙ።

GeneBench-Pro የተለመዱ የመለኪያ ውድቀቶችን ለማስወገድም ተነድፏል። ብዙ የረጅም-አድማስ የባዮሎጂ መለኪያዎች ብዙ-ደረጃ ጥያቄዎችን በተዘበራረቁ ታሪካዊ የውሂብ ስብስቦች ዙሪያ ይገነባሉ፣ በእነሱም በትንተናው ውስጥ አንድ ብቻ ትክክለኛ መንገድ ላይኖር ይችላል። አንድ ወኪል ሊጠበቅ የሚችል አንድ cutoff ሊመርጥ ይችላል፣ ሌላው ደግሞ የተለየ ግን እኩል የሚጠበቅ አማራጭ ሊመርጥ ይችላል፤ ይህም ከሞዴል አፈጻጸም መሠረታዊ ልዩነት ይልቅ የመለኪያው ፈጣሪ የወሰናቸውን የዘፈቀደ ምርጫዎች ያንጸባርቃል። ተቃራኒውም ሊሆን ይችላል፦ ችግኝ በቁጥር በጣም ስሜት አልባ ከሆነ፣ ወኪል በትንተና ውስጥ መሠረታዊ ስህተቶች ቢያደርግም የሚያልፍ ውጤት ሊያመነጭ ይችላል።

እነዚህን የውድቀት መንገዶች ለማስወገድ፣ እያንዳንዱ የGeneBench-Pro ችግኝ በሰው ሰራሽ መንገድ ይገነባል፦ ሙሉውን ምክንያታዊ መዋቅር እናውቃለን እና ውሂብ የሚያመነጨውን ሂደት በቀጥታ እንስላለን። ይህ የእያንዳንዱን ችግኝ ውስብስብነት ማስተካከል፣ በርዕሰ-ጉዳይ የትንተና ምርጫዎች ያሉ ተመጣጣኝ ልዩነቶች እንኳን ተቀባይነት ያላቸው ቁጥራዊ ውጤቶችን እንዲያመጡ ማረጋገጥ፣ እና ሊታመኑ የሚችሉ ግን የተሳሳቱ ትንተናዎች እንደሚወድቁ በablation ጥናቶች ማረጋገጥ ያስችለናል። ከዚያ የችግኝ ረቂቆችን በዝርዝር trace ትንተና እንመረምራለን፣ የመረጃ መፍሰስና ያልታሰቡ የመፍትሔ መንገዶች እንዳሉ ለማየት። ይህ ትክክለኛ መልስ ማግኘት አቋራጭ በመጠቀም ወይም የደራሲ የዘፈቀደ ምርጫን በማመሳሰል ሳይሆን ትክክለኛ የትንተና መንገድ በመምረጥ እንደሚመካ እምነት ይሰጠናል።

"የGeneBench-Pro ችግኝ ግንባታና ማረጋገጫ" የሚል ርዕስ ያለው ዲያግራም፤ ከሚሰራ ተግባር ግንባታ ጀምሮ ግምገማ፣ የጽናት ምርመራዎች፣ የወኪል ሙከራ፣ የባለሙያ ግምገማ፣ ማሻሻያ እና የተጠናቀቀ የመለኪያ ችግኝ ድረስ ያለውን የሥራ ፍሰት ያሳያል።

ከ129 የGeneBench-Pro ጥያቄዎች 82ቱን ለውጭ የመስክ ባለሙያዎች ላክን፤ እነሱም የድህረ ምረቃ ተማሪዎች፣ ድህረ-ዶክትሬት ተመራማሪዎች፣ የኢንዱስትሪ ሳይንቲስቶችና ፕሮፌሰሮችን ያካትታሉ። ገምጋሚዎች የእያንዳንዱን ችግኝ እውነታዊነት፣ ዒላማ መልሱ ሊለይ ይችል እንደሆነ፣ እና ዘዴዎቹና ገምጋሚዎቹ ተገቢ እንደሆኑ ገምግመዋል። ግብረመልስ ችግኞችን ለማሻሻል ተጠቅመናል።

1 ከ 2
የገመገምኳቸው ችግሮች ከተሞክሮ ያለው ተቆጣጣሪ ተደጋጋሚ ግብረመልስ ባይኖር ለድህረ ምረቃ ተማሪም ፈታኝ ይሆኑ ነበር። ውሂቡ በጥራት ቁጥጥርና በቴክኒክ ችግኞች የተሞላ ስለነበር፣ በተሳካ ሁኔታ ለማጠናቀቅ ሊኖሩ የሚችሉ ወጥመዶችን የሚገነዘብ ጥንቁቅና አስተዋይ የውሂብ ትንተና ያስፈልግ ነበር፤ ንጹህና በሚገባ በተዘጋጀ ውሂብ ላይ ዝግጁ ዘዴን መተግበር ብቻ አልነበረም።
አሌክሳንደር ስትራድዊክ ያንግ፣ በUCLA የሰው ጄኔቲክስ ረዳት ፕሮፌሰር

ግምገማና ውጤት መስጠት

እያንዳንዱ የGeneBench-Pro ችግኝ ራሱን የቻለ ሳይንሳዊ ትንተና ነው። ወኪሎች አጭር እርምጃ፣ የውሂብ ፋይሎች፣ እና Python፣ የሳይንሳዊ ኮምፒውቲንግ ቤተ-መጻሕፍትና እንደ PLINK 2.0 ያሉ መሠረታዊ የጂኖሚክስ ጥቅሎችን የሚያካትት መደበኛ የባዮኢንፎርማቲክስ ስታክ ያለው የተነጠለ የስራ ቦታ ያገኛሉ፤ ችግኞቹ ግን የመስክ-ተኮር መሣሪያዎችን አይጠይቁም።

በመዋቅራዊ ቫሪያንት የሚመራ የእጢ ሕክምና ጥቅም-አደጋ ውሳኔ

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"therapy_class_code": <int>,
4
"benefit_rd_pp": <float>,
5
"toxicity_dropout_risk_pp": <float>,
6
"net_clinical_utility_pp": <float>
7
},
8
"reasoning": "<description of method and QC>"
9
}

ሙሉውን የውሂብ-ማመንጨት ሂደት ስለምንቆጣጠር፣ በመደበኛ ሩብሪክ-ተመራ ግምገማ ውስጥ የሚገኙ የሞዴል-ምርጫ ተለዋዋጭነትና የቃላት ብዛት ተጽዕኖዎችን በማስወገድ፣ ከሚታወቁ ዒላማዎች ጋር በቁርጥ የሆነ መንገድ ትክክለኛነትን መመዘን እንችላለን።

እያንዳንዱ ችግኝ የታሰበውን የትንተና መዋቅር፣ የተያያዙ የውሂብ ፋይሎች፣ ዝርዝር ባለብዙ-ገጽ የጉዳይ ጥናት፣ እና የባለሙያ ግምገማ ውጤቶችን የሚያካትት ብዙ ሜታዳታም አለው። 10 ተወካይ የGeneBench-Pro ጥያቄዎችን በ Hugging Face(በአዲስ መስኮት ውስጥ ይክፈታል) ሙሉ በሙሉ ክፍት ምንጭ እናደርጋለን፣ እነሱን ለማሰስ ደግሞ በይነተገናኝ የድር በይነገጽ አለ። በመጨረሻም፣ በቅርብ ጊዜ ለነጻ የሶስተኛ-ወገን መለኪያ የ50 ጥያቄዎች ንዑስ ስብስብን ለ አርቴፊሻል ግምገማ(በአዲስ መስኮት ውስጥ ይክፈታል) እንሰጣለን።

ውጤቶች

በጣም ጠንካራው ሞዴላችን GPT‑5.6 Sol፣ በከፍተኛው የማመዛዘን ደረጃ 28.7% የማለፍ መጠን ያገኛል (Pro ሁነታ ሲነቃ 31.5%)። ይህ የመጀመሪያውን GeneBench መገንባት ከጀመርንበት ጊዜ አንጻር ትልቅ ጭማሪ ነው፤ በዚያን ጊዜ ምርጡ ግንባር ቀደም ሞዴላችን GPT‑5 ከ5% በታች አስመዝግቦ ነበር። በዚህ መለኪያ ያለው እድገት፣ ግንባር ቀደም ሞዴሎች በቀላሉ በማይታይ የስርዓት-ደረጃ ሳይንሳዊ ማመዛዘን ላይ እንኳን በፍጥነት እየተሻሻሉ እንደሆነ ይጠቁማል። በአሁኑ ፍጥነት፣ ይህ መለኪያ እስከ ዓመቱ መጨረሻ ሊጠግብ ይችላል።

ውጤቶቹ የሙከራ-ጊዜ ኮምፒዩት ማስፋፋት ተጽዕኖንም ያሳያሉ። በዝቅተኛው የማመዛዘን ደረጃ፣ GPT‑5.6 Sol አንድ-አሃዝ የማለፍ መጠን ብቻ ያገኛል። በከፍተኛው የማመዛዘን ደረጃ፣ GPT‑5.6 Sol ከGPT‑5.2 ጋር ሲነጻጸር በሁለት-ሶስተኛ ያህል ቶክን ብቻ ተጠቅሞ ወደ ስድስት እጥፍ የሚጠጉ ጥያቄዎችን ይፈታል።

በሞዴል ቤተሰቦች መካከል ያሉ ንጽጽሮች፣ GPT ሞዴሎች በመጠናዊ እርግጠኝነት እጥረት ስር በከፍተኛ-ደረጃ ሳይንሳዊ ማመዛዘን ከበለጡት ስርዓቶች መካከል እንደሆኑ ይጠቁማሉ። በGPT‑5.6፣ GPT‑5.5 እና እንደ GLM 5.2 ያሉ መሪ ክፍት-ምንጭ ሞዴሎች መካከል ያለው የአፈጻጸም ክፍተት፣ ከ የኮዲንግ መለኪያዎች(በአዲስ መስኮት ውስጥ ይክፈታል) በማስፋፋት ከምንጠብቀው በጣም ይበልጣል፤ ይህም ክፍት-ምንጭ ሞዴሎች ከሰፊ የማመዛዘን ችሎታ ይልቅ ለኮዲንግ የበለጠ የተለዩ መሆናቸውን ያመለክታል።

በልማት ወቅት ችግኞችን ለመገምገምና ለማጠንከር ግንባር ቀደም GPT ሞዴሎችን ተጠቅመናል። ስለዚህ GeneBench-Pro ከሌሎች የሞዴል ቤተሰቦች አንጻር በGPT ሞዴሎች ላይ አድልዎ ሊኖረው ይችላል ብለን ጠርጥረን ነበር። ነገር ግን ተወዳዳሪ ሞዴሎች ቢበዛ በመልቀቂያ ጊዜ የተዛማጁን GPT ሞዴል አፈጻጸም ብቻ አቻ አደረጉ፣ ብዙውን ጊዜም በእጅጉ ያንሱ ነበር።

እነዚህ የግምገማ ውጤቶች—በGPT‑5.6 Sol (Pro) እስከ 31.5%—የGeneBench-Pro ጥያቄዎች ከባድነትን ሲመለከቱ አስገራሚ ናቸው። በዳሰሳ ውስጥ፣ ገምጋሚዎቻችን አንድ የተለመደ የGeneBench-Pro ችግኝ ለሰው ባለሙያ ለማጠናቀቅ 20–40 ሰዓታት ያህል እንደሚወስድ ገመቱ። በሰዓት $200 በመጠንቀቅ ብንገምት፣ ይህ የአንድ ችግኝ የሰው ሥራ ወጪን በሺዎች ዶላር ያደርሰዋል። የአሁኑ የAI ወኪሎች የሰው ባለሙያዎችን ለመተካት ገና በጣም አስተማማኝ አይደሉም፣ ግን የወጪ ክፍተቱ ትልቅ ነው፤ የinference ወጪ በአንድ ችግኝ ጥቂት ዶላሮች ብቻ ነው። ስለዚህ አሁን ባሉ ችሎታዎች ከፊል አውቶሜሽን እንኳን ትርጉም ያለው ኢኮኖሚያዊና ሳይንሳዊ እሴት ሊፈጥር ይችላል።

1 ከ 2
መለኪያዎቹ በተለያዩ ባዮሎጂያዊ ጥያቄዎች የተነሳሱ ናቸው፣ ነገር ግን … እውነተኛው ፈተና ከግኝቶቹ ላይ በሚደረግ አሰሳዊ የውሂብ ትንተናና ማመዛዘን ይመጣል፦ ንድፎችንና የስህተት ቅርሶችን መለየት፣ ውሂቡ መወገድ ወይም መስተካከል እንዳለበት መወሰን። ይህ የእውነተኛ ባዮሎጂያዊ የውሂብ ስብስቦችን የተወሳሰበ ባህሪ ይመስላል። እነዚህን ግምገማዎች መመርመር፣ በወኪል-ተመራ ሳይንሳዊ ችግኝ መፍታት ውስጥ ግልጽ የፈቺ ውሎች ምን ያህል አስፈላጊ እንደሆኑ ያሳያል። የእርምጃ አጻጻፍ ወይም የተግባር መግለጫ መለያየት የትኞቹ ትንተናዎች እንደሚፈቀዱ በጣም ሊቀይር ይችላል።
ሲሪለስ ታን፣ በNew York Genome Center የድህረ-ዶክትሬት ምርምር ተባባሪ

ነገር ግን ግንባር ቀደም ሞዴሎች እነዚህን ችግኞች ከሶስተኛው በታች ብቻ መፍታታቸው፣ ለማሻሻል ብዙ ቦታ እንዳለ ያሳያል። ሞዴሎች በፈታኝ ችግኞች ላይ ከፊል እድገት ሊያደርጉ ይችላሉ፣ ግን የመደምደሚያ ዑደቱን ለመዝጋት ይቸገራሉ። ይህ የውድቀት ንድፍ በሰው ባለሙያዎችና ጀማሪዎች መካከል ያለውን ንጽጽር ያንጸባርቃል። ባለሙያዎች ልምዳቸውን ተጠቅመው ችግኙን ይቀርጻሉና አቀራረባቸውን ያስማማሉ፤ ጀማሪዎች ግን ምልከታዎችን ያደርጋሉ ነገር ግን በችግኙ ሰፊ አውድ ውስጥ ለማዋሃድ ይቸገራሉ።

ችግኝ፦ ከጊዜ ጋር በሚለዋወጥ ሕክምና የፋርማኮጂኖሚክ እስከ-ኩነት-ድረስ ያለው ጊዜ ምላሽ

ሕክምና መጀመር፣ በጂኖታይፕ የተለየ ምላሽ፣ የዘገየ ፋርማኮዳይናሚክስ፣ የተለመዱ-ተጠቃሚ ምልክቶችና ተከታታይ ባዮማርከሮች የምክንያታዊ የመትረፍ ተገማች ግብን በጋራ ይወስናሉ።

የGPT-5.5 ንድፍ

Handles treatment timing with a conventional Cox outcome model but does not address treatment-confounder feedback.

Fit a counting-process Cox model with treatment as a time-varying exposure, effective only after treat_start+90 days ... The model included G, treatment×G, baseline severity, age, and sex.

የGPT-5.6 Sol ንድፍ

Uses a more appropriate causal inference method to properly account for treatment-confounder feedback.

Used a new-user marginal structural Cox model: excluded 818 flagged prevalent users, modeled treatment initiation with stabilized inverse-probability weights using baseline covariates and current biomarker, and treated exposure as time-varying with a 90-day efficacy lag.

ወደ ፍጹም የቀረበ አፈጻጸም ለማግኘት፣ እድገትን በአስተማማኝ ሁኔታ የሚለኩና ሞዴሎች ገና የሚወድቁበትን የሚለዩ ግምገማዎች ያስፈልጋሉ። እንደ GeneBench-Pro ያሉ መለኪያዎች ደብዛዛ የችሎታ እጥረትን ልንመረምረውና ልናሻሽለው የምንችለው ነገር ለማድረግ ይረዳሉ። 

ወኪሎች ይህን የትንተና ክፍል በአስተማማኝ ሁኔታ አውቶሜት ማድረግ ከቻሉ፣ ሳይንሳዊ ግኝትን በእጅጉ ሊያፋጥኑ ይችላሉ። የሰው ጄኔቲክ ማስረጃ ቀድሞውኑ ለኢላማ ቅድሚያ መስጠትና ለትርጉማዊ ክትትል ማዕከላዊ ነው፣ ምክንያቱም ጄኔቲክ ድጋፍ ያላቸው ሜካኒዝሞች ወደ ተፈቀዱ ሕክምናዎች የመድረስ እድላቸው በጣም ከፍ ነው።

በዚሁ ጊዜ የሲክዌንሲንግ ወጪዎች በእጅጉ ቀንሰዋል፣ እና የbiobank-መጠን የውሂብ ስብስቦች ሞሌኪውላዊ፣ ፊኖታይፒክ እና የጤንነት-መዝገብ መረጃን በማይታወቅ ስፋት አገናኝተዋል። የሚገድበው ነገር ከውሂብ ማመንጨት ወደ መረጃውን ወደ ተግባራዊ ግንዛቤዎች መቀየር እየተሸጋገረ ነው። አሁን በሰው ባለሙያ ቡድኖች የሚደረጉ ትንተናዎችን በተከታታይ ማከናወን የሚችሉ ሞዴሎች፣ የመላምት ማጣራትን፣ የኢላማ ክትትልን፣ እና በውሂብ ማመንጨትና ውሳኔ መስጠት መካከል ያለውን የመደጋገም ዑደት በማፋጠን የኢንዱስትሪ ምርምርን ሊለውጡ ይችላሉ።

GeneBench-Pro በልምድ ባላቸው ሰዎች ያለ ጥሩ ሳይንሳዊ ፍርድ የሚጠይቃቸውን የበለጠ ረቂቅ ችሎታዎች ለመገምገም የመጀመሪያ ጥረት ነው። እነዚህ ችሎታዎች ተስፋ የሚሰጡ መጀመሪያዊ ትንተናዎችን በስሜት ለመገመትና ለመለየት፣ ውሂብ መጀመሪያዊ ግምቶችን ሲቃረን አስተሳሰባቸውን ለመደጋገምና ለመከለስ፣ እና ቀጣይ ክሊኒካዊ፣ አካዳሚክ ወይም የንግድ ውሳኔዎች ሊመኩባቸው የሚችሉ መደምደሚያዎች ላይ ለመድረስ ያስችላሉ። 

የሞዴል ችሎታዎች ሲያድጉ፣ የመጽሐፍ እውቀትን ወይም መደበኛ ትንተናዎችን ማከናወን ብቻ ከሚፈትኑ መለኪያዎች ባሻገር፣ በእነዚህ ከፍተኛ የረቂቅነት ደረጃዎች የሞዴል ችሎታዎችን የሚመረምሩ መለኪያዎች እየጨመረ ጠቃሚ እንደሚሆኑ እንጠብቃለን።

ደራሲ

OpenAI