Переход к основному контенту
OpenAI

30 июня 2026 г.

Genebench-Pro изнутри

Подробный обзор бенчмарка, его вопросов и сопроводительных материалов.

Примеры

В этих 10 примерах представлены типичные вопросы из GeneBench-Pro. Каждый пример включает исходный промпт, наборы данных и сопроводительные материалы. Обзор бенчмарка и основные выводы см. в анонсе в блоге.

Примечание: в предварительном просмотре файлов отображаются фрагменты полных наборов данных.


Пример исследования 1

Соматическая онкология: принятие решения о соотношении пользы и риска противоопухолевой терапии на основе структурных вариантов

Оценить, обладает ли синтетический ингибитор, направленный против TXR1, положительной клинической полезностью в опухолях, в которых активация мишени обусловлена структурным вариантом. Метки TXR1, TXR1i, DLR1 и star-аллелей являются синтетическими метками бенчмарка. 

Целевая подгруппа должна быть определена на основании данных длинночтенного секвенирования, экспрессионных данных, данных о качестве опухоли и фармакогеномных данных, прежде чем польза и токсичность могут быть интерпретированы как основание для принятия решения о лечении.

Опубликованный промпт, показанный модели

A molecular tumor board registry contains trial-eligible advanced solid-tumor cases considered for a TXR1-directed inhibitor. Estimate, for tumors with SV-driven TXR1 target-mediated activation at time zero, the marginal effect of TXR1i versus non-TXR1 systemic therapy on week-16 clinical benefit as if all patients had an assessable week-16 visit. Also estimate the 8-week treatment-limiting toxicity/discontinuation risk under TXR1i in the same target population. Report net clinical utility = benefit risk difference (percentage points) - 0.35 * toxicity risk (percentage points), and choose therapy_class_code 1 if TXR1i has positive net utility and 0 otherwise. 

Use percentage-point units for all non-code quantities. Positive benefit means TXR1i improves week-16 clinical benefit relative to non-TXR1 systemic therapy.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"therapy_class_code": <int>,
4
"benefit_rd_pp": <float>,
5
"toxicity_dropout_risk_pp": <float>,
6
"net_clinical_utility_pp": <float>
7
},
8
"reasoning": "<description of method and QC>"
9
}

Файлы, предоставленные модели

patient_idanalysis_setagesexsitecalendar_periodecogtumor_burdenprior_linesprior_resistancelineage_classtherapy_classassessed16benefit16tox_stop_8wktime_zero_day
MTB0001173.8MS1P220.78731ATXR1i010
MTB0002155.2MS3P112.63701ATXR1i1000
MTB0003168.8FS4P200.89121ATXR1i1110
MTB0004182.8FS2P224.10100BTXR1i1000
MTB0005165.5FS1P317.011ATXR1i1000

Ковариаты реестра, терапия, оценка на 16-й неделе, польза и ранняя токсичность.


Пример исследования 2

Функциональная геномика: валидация мишени CRISPR: транскрипт lncRNA или геномный локус?

Определите, является ли кажущаяся зависимость от lncRNA специфичной для транскрипта или обусловлена эффектами близлежащего локуса и соседних генов.

Доказательства, указывающие на транскрипт-зависимый эффект, должны выдерживать контроль на локальное возмущение ДНК-локуса, репрессию соседних генов, замену направляющих, GC-токсичность и эффекты планшетов.

Опубликованный промпт, показанный модели

You are given pooled CRISPRi screening data, guide-level local expression measurements, transcript-targeting CasRx follow-up data, and single-guide follow-up growth measurements for a nominated lncRNA program (LINC473) and a nearby coding gene (KIN1). The identifiers LINC473, KIN1, and ANKRD42 are synthetic benchmark labels; any resemblance to real human genes is coincidental.

Estimate the requested quantities.

Definitions:

  • lncrna_specific_lfc: the pooled-screen matched-control day-10 log2 growth effect expected at 100% effective knockdown of the dominant LINC473 transcript, not local DNA-locus effects.
  • neighbor_mediated_lfc: the pooled-screen matched-control day-10 log2 growth effect expected at 100% KIN1 repression in the local LINC473-locus model after accounting for concomitant LINC473 transcript knockdown.
  • advance_target: 1 if the evidence supports advancing LINC473 as a transcript-directed target, else 0.

Conventions:

  • all growth effects are log2(day10/day0) competitive-growth effects relative to matched controls;
  • more negative numbers indicate stronger loss of fitness;
  • set advance_target to 1 only if lncrna_specific_lfc <= -0.08 and neighbor_mediated_lfc > -0.25; otherwise 0.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"advance_target": <int>,
4
"lncrna_specific_lfc": <float>,
5
"neighbor_mediated_lfc": <float>
6
},
7
"reasoning": "<description of method and QC>"
8
}

Файлы, предоставленные модели

guide_idnominal_targetchrcoordstranddist_lnc_tss_bpdist_neighbor_tss_bpguide_gc_frac
g001LINC473chr7100014+14300.624
g002LINC473chr7100035-43670.584
g003LINC473chr7100051+116560.622
g004LINC473chr7100066-59660.617
g005LINC473chr7100088+74770.715

Координаты guide RNA, мишени, расстояния и GC-признаки.


Пример исследования 3

Статистическая генетика: приоритизация белковых лекарственных мишеней в сцепленном генетическом локусе

Оцените прямое влияние двух близко расположенных белков на заболевание с помощью cis-многовариантной менделевской рандомизации (cis-MVMR), учитывая шкалу анализа, ориентацию аллелей, «проклятие победителя», LD и остаточную локальную плейотропию.

У двух белков общий коррелированный локус. Анализ должен перейти от маргинальных ассоциаций к условным, учитывающим LD эффектам на заболевание на общей белковой шкале.

Опубликованный промпт, показанный модели

You are given association summary statistics and metadata for two nearby proteins (PROTA and PROTB), a binary disease outcome, a locus correlation reference, and protein measurement records.

Goal: estimate the direct log-odds effect of each protein on the disease outcome per +1 SD increase in log10 concentration, conditional on the other protein.

Interpretation: theta_PROTA and theta_PROTB use the same log-odds per-SD scale defined in the goal.

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"theta_PROTA": <float>,
4
"theta_PROTB": <float>
5
},
6
"reasoning": "<description of method and QC>"
7
}

Файлы, предоставленные модели

snppos_bpeffect_alleleother_allelemafbetasepval
rs20000050000000AC0.422150.0064386683107068080.0032673300912034120.04876727714241972
rs20000150010126AC0.057090.0110089933375813010.0069552392087504070.11345916603941006
rs20000250020253GT0.090210.0099220147571163190.0056330230270155180.07817048492026045
rs20000350030379GT0.483990.0105692156141645730.00322914197402374450.0010638520681901973
rs20000450040506AG0.377030.0070365513782386540.00332975923212698020.034580976884336506

Сводки по ассоциациям белков на этапе скрининга для PROTA.


Пример исследования 4

Клиническая геномика / скрининг носительства: остаточный риск носительства DRX1 после скрининга с калибровкой по CNV и псевдогенам

Оцените частоты носительства по группам происхождения, остаточный риск после отрицательного результата скрининга, частоту носительства у партнёра и риск зачатия ребёнка с заболеванием по данным анализа скрининга носительства.

Оценка остаточного риска зависит от определений носительства с учётом псевдогенов, схлопывания основательских гаплотипов, калибровки анализа с учётом происхождения и стандартизации результатов от протестированных партнёров относительно полного списка партнёров.

Опубликованный промпт, показанный модели

Using cohort_roster.tsv.gz, partner_roster.tsv.gz, calibration_controls.tsv.gz, target_metadata.tsv.gz, and assay_observations.tsv.gz, estimate residual reproductive risk for an autosomal recessive DRX1 condition. Report all quantities on the probability scale, not as percentages: carrier_frequency_afr and carrier_frequency_eur among screening-roster adults; residual_carrier_risk_afr_negative for an AFR screening-roster adult with a negative DRX1 screen; partner_carrier_frequency_full_roster for a uniformly sampled partner_roster.tsv.gz row; and couple_reproductive_risk for an affected conceptus when the index person is AFR and screen-negative and the partner is drawn from partner_roster.tsv.gz. Assume autosomal recessive inheritance with a 1/4 affected-conceptus risk conditional on both biological parents being carriers. 

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"carrier_frequency_afr": <float>,
4
"carrier_frequency_eur": <float>,
5
"residual_carrier_risk_afr_negative": <float>,
6
"partner_carrier_frequency_full_roster": <float>,
7
"couple_reproductive_risk": <float>
8
},
9
"reasoning": "<description of method and QC>"
10
}

Файлы, предоставленные модели

sample_idcollectionancestryfamily_history_tier
S_EUR_0001screeningEUR0
S_EUR_0002screeningEUR0
S_EUR_0003screeningEUR0
S_EUR_0004screeningEUR0
S_EUR_0005screeningEUR1

Взрослые из списка скрининга с данными о происхождении и контекстом скрининга.


Пример исследования 5

Одноклеточная геномика: eQTL активированных моноцитов после коррекции фоновой РНК

Оцените эффект генотипа на экспрессию активированных моноцитов после удаления фоновой РНК и технической контаминации из данных RNA-seq одиночных клеток.

Фоновая РНК влияет как на экспрессию целевого гена, так и на панель маркеров, используемую для определения состояния активации, поэтому коррекцию необходимо выполнить до применения модели eQTL.

Опубликованный промпт, показанный модели

Estimate the per-allele log rate ratio for CXCL10 expression in the activated monocyte subpopulation from the provided single-cell RNA-seq data. 

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"beta_activated": <float>
4
},
5
"reasoning": "<description of method and QC>"
6
}

Файлы, предоставленные модели

cell_iddonortotal_umiHBBIFI6ISG15LST1CXCL10
D01_C001D011113734835
D01_C002D01110363311210
D01_C003D0111419812639
D01_C004D01125076043217
D01_C005D0110459125115

Количество UMI на клетку для маркерных генов, маркеров контаминации и целевого гена.


Пример исследования 6

Структурная генетика: вложенный структурный вариант: экспрессионная поддержка и клиническая ассоциация

Необходимо оценить, имеет ли вложенный структурный субгаплотип внутри анонимного инверсионноподобного локуса калиброванную клиническую ассоциацию и достоверное подтверждение на уровне экспрессии.

Вложенный сигнал дозировки копий может быть искажен влиянием более широкой ориентации инверсии, поэтому калибровка дозировки, подтверждение на уровне экспрессии и клиническое моделирование должны оставаться разграниченными.

Опубликованный промпт, показанный модели

Analyze the released files for anonymous Locus Q. Estimate the full-cohort source-population clinical association and molecular expression support for the calibrated nested segment-B structural copy dosage, separating the nested segment-B dosage from the broader outer-orientation dosage. Report subhap_log_or as the natural-log source-population total-effect odds ratio for case status per additional calibrated segment-B copy. Report expression_log_fc as the natural-log expression fold-change per calibrated segment-B copy for the expression-supported gene. Report target_support_code as 1 if the supported gene has a positive expression_log_fc and the clinical association is protective (subhap_log_or < 0), otherwise 0. Report n_calibrated_carriers as the number of reliable breakpoint-panel samples carrying at least one segment-B copy. 

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"n_calibrated_carriers": <int>,
4
"target_support_code": <int>,
5
"expression_log_fc": <float>,
6
"subhap_log_or": <float>
7
},
8
"reasoning": "<description of method and QC>"
9
}

Файлы, предоставленные модели

идентификатор образцаслучайвозраствозрастная группаполpc1pc2pc3группа происхожденияклинический стратпоток набора
Q000121504550_640-101514-021032-008849EURтретичныйклиника
Q000280573950_640-125987-01249802344EURрегиональныйреестр
Q00029168465 и старше0091598062177001891AFRтретичныйклиника
Q000301740765 и старше1021125-059634-008197EASсообществореестр
Q000321828265 и старше0-112034-024372014665EURсообществоклиника

Клинические данные и данные о ковариатах для всей когорты.


Пример исследования 7

Регуляторная геномика: измерение силы хроматиновых петель после маскирования структурных вариантов и артефактов картирования

Количественно оцените локальное различие в силе петли Hi-C между группой случаев и контрольной группой после удаления артефактов низкой картируемости и артефактов, связанных со структурными вариантами, из фона ожидаемых контактов.

Целевая петля задана с разрешением 20 kb, но модель ожидаемых контактов искажается, если предварительно не замаскировать контакты с низкой картируемостью и SV-полосу, характерную только для случаев.

Опубликованный промпт, показанный модели

You are given Hi-C contact matrices at 20 kb and 40 kb resolution plus bin annotations. Estimate the loop enrichment at the 20 kb interaction between `bin_id = 8` and `bin_id = 17` in `bins_20kb.tsv.gz`. Report three quantities: `case_loop_strength` (mean log2(observed/expected) across case replicates), `control_loop_strength` (mean log2(observed/expected) across control replicates), and `delta_loop_strength` (case minus control).

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"case_loop_strength": <float>,
4
"control_loop_strength": <float>,
5
"delta_loop_strength": <float>
6
},
7
"reasoning": "<description of method and QC>"
8
}

Файлы, предоставленные модели

bin_idchromstartendgc_contentmappabilityre_sites
0chr84000004200000.461990338215725940.97875742147042735
1chr84200004400000.50441242085346770.89010849434983975
2chr84400004600000.432184515849381940.90568792893267123
3chr84600004800000.47331972826812180.93765298406647893
4chr84800005000000.44449560621507480.86825655179818774

Аннотации бинов целевого разрешения


Пример исследования 8

Статистическая генетика: многородительское QTL-картирование с реконструкцией основателей

Картируйте локус количественного признака на хромосоме 1 в рекомбинантной популяции с восемью основателями, реконструировав происхождение основателей перед проверкой ассоциации с фенотипом.

Наблюдаемые данные маркеров являются биаллельными, однако биологический сигнал отражает происхождение от основателей. Поэтому обоснованный анализ должен реконструировать состояние основателя, проверить ориентацию маркеров и отделить QTL от мешающего пика, выровненного по партии.

Опубликованный промпт, показанный модели

Map the chromosome 1 QTL in an 8-founder multi-parent population. Report the position (cM) and which founder carries the high-effect allele.

Report high_founder as "F1".."F8".

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"high_founder": "<string>",
4
"qtl_pos_cM": <float>
5
},
6
"reasoning": "<description of method and QC>"
7
}

Data files:

  • markers.tsv.gz: marker metadata
  • founders.tsv.gz: founder alleles at each marker
  • ril_genotypes.npz: observed RIL genotypes (biallelic)
  • phenotypes.tsv.gz: phenotype and covariates

Файлы, предоставленные модели

marker_idchrpos_cM
m2_065259.762431265596575
m2_103294.52656615104739
m2_107298.18761427503033
m2_079272.20130244108847
m1_054149.907510212292195

Идентификаторы маркеров, хромосомы и позиции на генетической карте.


Пример исследования 9

Популяционная генетика: происхождение, специфичное для каждого родителя, и время недавней генетической примеси

Определите доли родитель-специфичного происхождения и время недавней генетической примеси по фазированным участкам локального происхождения после исправления реципрокных артефактов и хромосомно-специфичной инверсии меток.

Доли предкового происхождения и времена импульсов изменяются, если артефакты реципрокных участков, локальная для хромосомы инверсия меток или знаменатели карты обрабатываются некорректно.

Опубликованный промпт, показанный модели

You are given phased local-ancestry tracts for one admixed individual. Estimate, for each transmitted parental haplotype, the fraction of ancestry A across the called tract span and the number of generations since a single recent admixture pulse. Label parent1 as the haplotype with the smaller ancestry-A fraction and parent2 as the haplotype with the larger ancestry-A fraction. 

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"parent1_A_fraction": <float>,
4
"parent1_t": <float>,
5
"parent2_A_fraction": <float>,
6
"parent2_t": <float>
7
},
8
"reasoning": "<description of method and QC>"
9
}

Файлы, предоставленные модели

chromhapstart_morganend_morganancposteriorlow_complexity_frac
chr1h10.030.505A0.9850.08
chr1h10.5050.535B0.620.92
chr1h10.5351.478849A0.9850.08
chr1h11.5037271.852681B0.9850.08
chr1h11.8526812.422373A0.9850.08

Остаточный риск носительства DRX1 после скрининга с учётом CNV и калибровки псевдогена


Пример исследования 10

Популяционная генетика: оценка отбора по зашумленным временным рядам древней ДНК

Определите, какой из двух гаплоидных локусов находится под более сильным положительным отбором, используя древние временные ряды частот аллелей с учётом ориентации аллелей, направленной ошибки, генетического дрейфа и изменяющегося размера популяции.

Зашумленные древние траектории нельзя напрямую сравнивать до тех пор, пока оба локуса не будут приведены к единой шкале производного аллеля, а предоставленные значения ошибок секвенирования на уровне образцов не будут напрямую учтены в модели.

You are given allele-frequency time series data from two haploid loci sampled over multiple generations.

One locus is under stronger positive selection than the other. Estimate the selection coefficient s for the more strongly selected locus, where s > 0 means the derived allele is favored.

Assume instrument-driven sequencing error is ~1%. The seq_error column is the average of the two directional allele-miscall rates for that locus and sample.

The selected_locus value must be "A" or "B".

These data came from a real experiment; you will be graded not just on numerical correctness but the quality of analytical reasoning you exhibit; do not attempt to take any shortcuts.

Return your final answer as exactly one JSON object.
Do not wrap the JSON in markdown.
Do not add prose before or after the JSON.
Do not omit any keys shown in the example.
Return the JSON object in your final answer:

JSON

1
{
2
"answer": {
3
"selected_locus": "<string>",
4
"s": <float>
5
},
6
"reasoning": "<description of method and QC>"
7
}

Файлы, предоставленные модели

generationalt_readstotal_readsseq_errorsample_year
636400.16-4500
1234450.16-4278
1841550.16-4056
2438700.16-3833
3036900.16-3611

Временной ряд количества прочтений для локуса A.