GeneBench-Pro 소개

과학 데이터에는 정답이나 분석 절차가 함께 주어지는 경우가 거의 없습니다. 연구자는 관찰된 패턴이 실제 생물학적 현상인지 단순한 잡음인지, 데이터가 연구 질문에 답할 수 있는지, 그리고 분석 결과를 바탕으로 다음에 무엇을 해야 하는지를 스스로 판단해야 합니다. AI 에이전트는 점점 더 복잡한 분석을 수행할 수 있게 되었지만, 실제 과학 연구에서는 단순히 지식을 기억하거나 정해진 절차를 따르는 것만으로는 충분하지 않습니다. 이러한 고차원적인 판단 능력 역시 필수적입니다.

오늘 OpenAI는 GeneBench-Pro를 소개합니다. GeneBench-Pro는 실제 계산생물학 연구에서 요구되는 높은 수준의 판단이 필요한 분석을 모델이 수행할 수 있는지를 평가하기 위해 개발된 연구 수준의 고난도 벤치마크입니다. 기존 GeneBench⁠(새 창에서 열기)를 확장해 유전체학, 정량생물학, 중개의학 전반에 걸친 더욱 어렵고 현실적인 과제를 포함했으며, 계산생물학 연구의 복잡성, 반복적인 탐구 과정, 그리고 본질적인 불확실성을 반영하도록 설계되었습니다. 

지금까지 실제 계산 연구를 어렵게 만드는 시스템 수준의 판단 능력을 설득력 있게 평가한 사례는 거의 없었습니다. 여기에는 모호한 상황에 대응하는 능력, 가정을 수정하는 능력, 적절한 분석 경로를 선택하는 능력, 그리고 결과가 의사결정에 활용 가능한 수준에 도달했는지를 판단하는 능력이 포함됩니다. 이러한 능력은 명확하게 정형화하기 어렵기 때문에 엄밀하게 평가하기도 쉽지 않습니다. 하지만 이러한 역량의 부족은 AI의 전반적인 성능을 점점 더 제한하는 요인이 되고 있습니다.

GeneBench-Pro는 이러한 고차원적인 역량을 정밀하게 측정하도록 설계되었습니다. GeneBench-Pro에서는 '연구 감각'을 분석의 방향을 결정하는 일련의 판단 과정으로 정의합니다. 여기에는 데이터가 어떤 연구 질문까지 뒷받침할 수 있는지, 초기 진단 결과에 따라 모델이나 추정 대상을 어떻게 수정해야 하는지, 그리고 언제 기존 계획을 재검토해야 하는지가 포함됩니다. 각 GeneBench-Pro 문제는 실제 연구 환경을 반영한 복잡한 데이터세트와 간략한 실험 맥락, 그리고 후속 의사결정과 연결된 목표 추정량을 모델에 제공합니다. 정답에 도달하려면 모델은 데이터를 탐색하고, 적절한 분석 방법을 선택하며, 반복적인 실험 과정을 거친 뒤 최종 결론을 제시해야 합니다.

생물학 분야에서는 유전체 시퀀싱과 같은 데이터 생성 비용이 크게 낮아졌으며, 이제는 표본 수집보다 이후 단계의 계산과 데이터 분석이 더 큰 병목이라는 견해도 나오고 있습니다⁠(새 창에서 열기). GeneBench-Pro는 이러한 병목을 얼마나 해결하고 있는지를 평가하기 위해 개발되었으며, 계산생물학의 다양한 연구 환경과 분석 기법을 아우르는 129개의 문제로 구성되어 있습니다.

GeneBench-Pro는 기존 벤치마크에서 흔히 나타나는 한계도 피할 수 있도록 설계되었습니다. 많은 장기 과제형 생물학 벤치마크는 복잡한 과거 데이터세트를 기반으로 여러 단계의 문제를 구성하는데, 이런 경우에는 분석 과정에 하나의 정답만 존재하지 않는 경우가 많습니다. 어떤 에이전트는 하나의 타당한 임곗값을 선택하고, 다른 에이전트는 그와 마찬가지로 타당한 다른 기준을 선택할 수 있습니다. 이 차이는 모델 성능의 본질적인 차이보다 벤치마크 설계자의 임의적인 선택을 반영하는 경우가 많습니다. 반대로 문제가 수치 변화에 지나치게 둔감하면, 분석 과정에서 근본적인 오류를 범하고도 정답으로 인정되는 결과를 얻을 수도 있습니다.

이러한 문제를 방지하기 위해 GeneBench-Pro의 모든 문제는 합성 데이터 기반으로 구축되었습니다. 데이터 생성 과정과 전체 인과 구조를 모두 알고 있기 때문에 각 문제의 복잡도를 조정하고, 분석 과정에서 발생할 수 있는 합리적인 주관적 판단의 차이가 있어도 동일한 정답 범위에 도달하도록 설계할 수 있습니다. 또한 제거 실험을 통해 그럴듯하지만 잘못된 분석은 실제로 실패하는지 검증했습니다. 이후에는 상세한 추적 분석을 수행해 정보 유출이나 의도하지 않은 풀이 경로가 없는지도 점검했습니다. 이를 통해 올바른 정답은 임의적인 지름길이나 출제자의 선호를 맞히는 것이 아니라, 적절한 분석 경로를 선택했을 때만 도출된다는 점을 확인했습니다.

129개 문제 가운데 82개는 대학원생, 박사후연구원, 산업계 연구원, 교수 등 외부 분야 전문가에게 검토를 의뢰했습니다. 검토자는 각 문제가 실제 연구 상황을 얼마나 잘 반영하는지, 목표 정답을 식별할 수 있는지, 그리고 사용된 분석 방법과 추정 기법이 적절한지를 평가했으며, 그 피드백을 바탕으로 문제를 개선했습니다.

GeneBench-Pro의 각 문제는 독립적으로 수행할 수 있는 하나의 과학 분석 과제로 구성되어 있습니다. 에이전트에는 간단한 프롬프트와 데이터 파일, Python, 과학 계산 라이브러리, PLINK 2.0과 같은 기본 유전체 분석 패키지를 포함한 표준 생물정보학 환경이 제공됩니다(다만 문제 해결에 특정 분야 전용 도구가 반드시 필요한 것은 아닙니다).

데이터 생성 과정을 모두 통제하기 때문에 알려진 정답을 기준으로 결정론적인 채점이 가능합니다. 이를 통해 일반적인 루브릭 기반 평가에서 발생하는 모델 선택의 차이나 응답 길이에 따른 편향을 배제할 수 있습니다.

각 문제에는 의도된 분석 구조, 첨부 데이터 파일, 여러 페이지로 구성된 상세 사례 연구, 전문가 검토 결과 등 풍부한 메타데이터도 함께 제공됩니다. 대표적인 GeneBench-Pro 문제 10개는 Hugging Face⁠(새 창에서 열기)에서 전체를 오픈소스로 공개하며, 웹에서 탐색할 수 있는 인터랙티브 웹 인터페이스도 제공합니다. 또한 가까운 시일 내에 50개 문제로 구성된 하위 집합을 Artificial Analysis⁠(새 창에서 열기)에 제공해 독립적인 제3자 벤치마크 평가가 이루어질 수 있도록 할 예정입니다.

OpenAI의 최고 성능 모델인 GPT‑5.6 Sol은 최고 추론 수준에서 28.7%의 통과율을 기록했으며(Pro 모드에서는 31.5%), 이는 초기 GeneBench를 개발하던 당시와 비교하면 큰 폭의 향상입니다. 당시 최고 수준의 프런티어 모델이었던 GPT‑5의 통과율은 5%에도 미치지 못했습니다. 이러한 결과는 시스템 수준의 과학적 추론처럼 정량화하기 어려운 영역에서도 프런티어 모델이 빠르게 발전하고 있음을 보여줍니다. 현재와 같은 발전 속도가 이어진다면 이 벤치마크도 올해 말에는 포화 상태에 이를 가능성이 있습니다.

평가 결과는 테스트 시점의 연산량을 늘리는 것이 얼마나 큰 영향을 미치는지도 보여줍니다. 가장 낮은 추론 수준에서는 GPT‑5.6 Sol의 통과율이 한 자릿수에 그쳤습니다. 반면 최고 추론 수준에서는 GPT‑5.2보다 약 3분의 2 수준의 토큰만 사용하면서도 거의 6배 많은 문제를 해결했습니다.

모델 계열 간 비교 결과를 보면, GPT 모델은 정량적 불확실성이 존재하는 상황에서도 고차원적인 과학적 추론 능력에서 가장 뛰어난 모델군 가운데 하나로 나타났습니다. 또한 GPT‑5.6 및 GPT‑5.5와 GLM 5.2 같은 대표적인 오픈소스 모델 간의 성능 격차는 코딩 벤치마크⁠(새 창에서 열기) 결과를 바탕으로 예상한 것보다 훨씬 크게 나타났습니다. 이는 오픈소스 모델이 범용적인 추론 능력보다 코딩 작업에 더욱 특화되어 있음을 시사합니다.

개발 과정에서는 프런티어 GPT 모델을 활용해 문제를 평가하고 완성도를 높였습니다. 그 때문에 GeneBench-Pro가 다른 모델 계열보다 GPT 모델에 더 불리하게 작동할 가능성도 염두에 두었습니다. 그러나 경쟁 모델은 최고 성능을 기록한 경우에도 해당 GPT 모델이 출시 당시 보인 성능과 비슷한 수준에 머물렀으며, 대부분은 그보다 훨씬 낮은 성능을 보였습니다.

GeneBench-Pro 문제의 난이도를 고려하면 GPT‑5.6 Sol(Pro)이 기록한 최고 31.5%의 통과율은 매우 의미 있는 결과입니다. 검토자 설문에 따르면 일반적인 GeneBench-Pro 문제 하나를 해결하는 데에는 전문가도 약 20~40시간이 걸릴 것으로 추정했습니다. 시간당 비용을 보수적으로 200달러로 계산해도 문제 하나를 해결하는 인건비는 수천 달러에 이릅니다. 현재 AI 에이전트는 아직 인간 전문가를 대체할 만큼 충분히 신뢰할 수 있는 수준은 아니지만, 문제당 추론 비용은 몇 달러에 불과해 비용 차이는 매우 큽니다. 따라서 현재 수준의 부분적인 자동화만으로도 상당한 경제적 및 과학적 가치를 창출할 수 있습니다.

그럼에도 프런티어 모델이 해결하는 문제는 아직 전체의 3분의 1에도 미치지 못하며, 이는 개선의 여지가 매우 크다는 점을 보여줍니다. 모델은 어려운 문제를 어느 정도 해결할 수는 있지만, 추론 과정을 끝까지 완결하는 데에는 여전히 어려움을 겪습니다. 이러한 한계는 전문가와 초보자의 차이와도 닮아 있습니다. 전문가는 경험을 바탕으로 문제를 올바르게 정의하고 상황에 맞게 접근 방식을 조정하는 반면, 초보자는 개별적인 관찰은 할 수 있어도 이를 문제 전체의 맥락 속에서 종합적으로 해석하는 데 어려움을 겪습니다.

거의 완벽한 수준의 성능에 도달하려면 모델의 발전 정도를 신뢰성 있게 측정하는 동시에, 아직 어떤 부분에서 한계를 보이는지도 정확하게 밝혀낼 수 있는 평가 체계가 필요합니다. GeneBench-Pro와 같은 벤치마크는 막연했던 모델의 역량 부족을 구체적으로 진단하고 개선할 수 있는 과제로 바꾸는 데 도움이 됩니다. 

에이전트가 이러한 유형의 분석을 안정적으로 자동화할 수 있다면 과학적 발견의 속도를 크게 높일 수 있습니다. 이미 인간 유전학 근거는 약물 표적의 우선순위를 결정하고 후속 중개 연구를 수행하는 데 핵심적인 역할을 하고 있습니다. 유전학적 근거가 있는 작용 기전일수록 실제로 승인된 치료법으로 이어질 가능성이 훨씬 높기 때문입니다.

한편 시퀀싱 비용은 급격히 낮아졌고, 바이오뱅크 규모의 데이터세트는 분자 정보와 표현형, 의료 기록을 전례 없는 수준으로 폭넓게 연결하고 있습니다. 이제 병목은 데이터를 생성하는 과정이 아니라, 그 데이터를 실제로 활용 가능한 인사이트로 전환하는 과정으로 옮겨가고 있습니다. 현재는 전문가 팀이 수행하는 분석을 모델이 안정적으로 수행할 수 있게 된다면, 가설의 우선순위 결정과 표적 검증, 데이터 생성부터 의사결정에 이르는 반복 과정을 크게 단축해 산업 연구의 방식을 바꿀 수 있을 것입니다.

GeneBench-Pro는 숙련된 연구자가 갖춘 뛰어난 과학적 판단력의 보다 추상적인 역량을 평가하기 위한 첫 번째 시도입니다. 이러한 역량에는 가장 유망한 초기 분석 방향을 직관적으로 찾아내는 능력, 데이터가 초기 가정과 어긋날 때 사고를 반복적으로 수정하는 능력, 그리고 이후의 임상, 학술, 비즈니스 의사결정의 기반이 되는 결론에 도달하는 능력이 포함됩니다. 

앞으로 모델의 성능이 발전할수록 단순한 지식이나 정형화된 분석 수행 능력을 평가하는 것을 넘어, 더 높은 수준의 사고력과 판단 능력을 평가하는 벤치마크의 중요성이 더욱 커질 것으로 기대합니다.