OpenAI의 최신 모델은 COBOL, Fortran, Visual Basic처럼 학습 자료가 부족한 프로그래밍 언어에서 소프트웨어를 개발하고 마이그레이션하는 역량이 한층 강화되었습니다. 이러한 언어는 Python이나 JavaScript에 비해 모델이 학습할 수 있는 코드와 문서가 적지만, 전 세계 주요 인프라와 필수 서비스를 뒷받침하고 있습니다. COBOL은 온라인 뱅킹 시스템의 40% 이상, 대면 신용카드 거래의 80%, ATM 거래의 95%를 지원하며(새 창에서 열기), Fortran은 일기 예보(새 창에서 열기)와 원자로 안전성 분석(새 창에서 열기)에 사용됩니다. 이러한 언어를 다루는 AI의 역량을 높이면, 필수 서비스의 기반이 되는 소프트웨어를 유지보수하고 현대화하는 팀에 도움이 될 수 있습니다.
이 작업은 코딩 모델이 이러한 언어를 다룰 때 어려움을 겪는 경우가 많다는 개발자와 기업 고객의 피드백을 바탕으로 진행하고 있습니다. 이런 소프트웨어는 유지보수와 현대화가 쉽지 않을 수 있습니다. 문서가 불완전하거나, 처음 개발한 사람이 회사를 떠났거나, 중요한 비즈니스 규칙이 코드에만 남아 있을 수 있기 때문입니다. 버그를 수정하든 다른 언어로 마이그레이션하든, 팀은 시스템이 의존하는 기존 동작을 보존해야 합니다.
개선 정도를 측정하기 위해 두 가지 평가를 개발했습니다. MultiLangBench는 모델이 20가지 프로그래밍 언어 각각으로 SQLite 호환 데이터베이스 엔진을 처음부터 구축할 수 있는지 테스트합니다. COBOL 마이그레이션 평가는 모델이 기존 프로그램의 동작을 보존하면서 다른 언어로 마이그레이션할 수 있는지 테스트합니다. 두 평가는 새 소프트웨어를 구축하는 능력과 기존 소프트웨어의 동작을 보존하는 능력이라는 상호 보완적인 두 가지 역량을 살펴봅니다.
최신 모델은 두 평가 모두에서 크게 개선되어, 더 낮은 비용으로 훨씬 높은 정확도를 달성했습니다.
MultiLangBench에서 GPT‑6 Astra는 20개 프로그래밍 언어의 평균 테스트 통과율 87.4%를 달성했습니다. GPT‑5.6 Sol의 26.8%에서 크게 높아진 수치로, 테스트한 모든 언어에서 개선을 보였습니다. GPT‑6 Luna 역시 GPT‑5.6 Sol보다 우수한 성능을 보이며, 추정 API 비용은 약 78% 낮으면서도 통과율 40.3%를 달성했습니다.
COBOL 마이그레이션 평가에서 GPT‑6.1 Sol은 낮은 추론 노력 설정으로 86.6%의 정확도를 달성했습니다. GPT‑5.6 Sol의 정확도는 5.4%에 그쳤으며, 비용은 GPT‑6.1 Sol이 39% 더 낮았습니다. 추론 노력을 높이면 정확도는 97.9%에 이르러, 평가에서 측정 가능한 성능의 상한에 거의 도달합니다.
이 결과는 OpenAI 모델이 다양한 프로그래밍 언어를 다루는 능력과 비용 효율성 모두에서 크게 발전하고 있음을 보여줍니다.
MultiLangBench는 모델에 지정된 프로그래밍 언어로 SQLite 호환 데이터베이스 엔진을 구축하도록 요청합니다. 모델은 코드베이스를 구성하고, 상태를 관리하고, 오류를 처리하며, 기존 기능을 유지하면서 새 기능을 추가해야 합니다.
언어별 구현을 비교하기 위해 데이터베이스 파일을 공통 인터페이스로 사용합니다. 평가 대상 프로그램은 초기 데이터베이스와 SQL 쿼리를 입력받아 수정된 데이터베이스를 생성합니다. 그런 다음 기준이 되는 SQLite 구현을 사용해 결과 데이터베이스에 예상한 내용이 담겨 있는지 확인합니다. 이 방식으로 엔진 구축에 사용된 언어와 관계없이 동일한 테스트를 적용할 수 있습니다.
SQLite의 기존 테스트 모음에 있는 테스트를 이 형식에 맞게 수정했습니다. 이 평가는 모델이 장시간의 코딩 세션 동안 정상 작동하는 기능을 얼마나 많이 구축할 수 있는지 측정하고, 테스트 통과율과 API 비용을 함께 보고합니다.
추론 노력을 최대로 설정했을 때 GPT‑6 Astra는 20개 언어에서 평균 테스트 통과율 87.4%를 달성했습니다. 이는 GPT‑5.6 Sol의 26.8%에서 크게 높아진 수치입니다. COBOL(10.9% → 72.1%), OCaml(25.6% → 85.8%), Fortran(21.4% → 83.5%), Visual Basic(27.5% → 89.4%)을 비롯해 테스트한 모든 언어에서 성능이 개선되었습니다. Astra는 20개 언어 중 19개에서 83%가 넘는 통과율을 기록했으며, 가장 어려운 언어인 COBOL에서는 72%를 기록했습니다.
GPT‑6 Luna는 더 저렴한 대안으로, 이 모델 역시 테스트한 모든 언어에서 GPT‑5.6 Sol보다 나은 성능을 보입니다. 추론 노력을 최대로 설정하면 평균 테스트 통과율이 40.3%에 이릅니다. COBOL(10.9% → 17.1%), OCaml(25.6% → 34.1%), Fortran(21.4% → 31.4%), Visual Basic(27.5% → 41.6%) 등에서 통과율이 높아졌습니다. 이러한 성능 개선을 달성하는 데 드는 샘플당 평균 API 비용은 추정치 기준 0.77달러로, GPT‑5.6 Sol의 3.48달러보다 약 78% 낮습니다.
MultiLangBench의 평가 환경과 테스트 모음, 각 언어별 결과를 GitHub(새 창에서 열기)에 공개합니다. 개발자는 평가가 어떤 항목을 테스트하는지 살펴보고, 자신이 사용하는 언어의 성능을 검토하며, 업무에 중요한 부분에서 어떤 한계가 있는지 파악할 수 있습니다.
두 번째 평가는 모델에 각 프로그램의 동작을 보존하면서 COBOL 프로그램을 C++, Java, Kotlin, Python 또는 Rust로 마이그레이션하도록 요청합니다.
성공적인 마이그레이션을 위해서는 프로그램의 비즈니스 로직과 COBOL 언어 고유의 동작 방식을 모두 이해해야 합니다. COBOL 프로그램은 금융 거래와 업무 기록을 처리하는 데 자주 사용되며, 이때 반올림 규칙이나 누락된 레코드 처리 방식 같은 세부 사항에는 비즈니스 요구사항이 반영되어 있습니다. 예를 들어, COBOL의 고정소수점 연산은 반올림을 명시적으로 요청하지 않으면 소수점 이하의 초과 자릿수를 버립니다. 코드를 다시 작성하면서 이 값을 반올림하도록 바꾸면, 오류 없이 실행되더라도 재무 계산 결과는 달라질 수 있습니다.
이러한 동작이 보존되는지 확인하기 위해, 관찰 가능한 출력이 바이트 단위까지 일치해야 하는 비공개 테스트로 모델을 평가합니다. 모든 테스트를 통과해야만 마이그레이션이 성공한 것으로 간주합니다. 이처럼 동작을 보존하는 역량은 오래된 시스템을 유지보수하고 현대화하는 팀에 유용합니다. 다만 실제 운영 소프트웨어에 적용하려면 여전히 전문가의 검토와 시스템의 비즈니스 규칙 및 종속성을 고려한 테스트가 필요합니다.
이 평가에서 GPT‑6.1 Sol은 낮은 추론 노력 설정으로 86.6%의 정확도를 달성했습니다. 같은 설정에서 GPT‑5.6 Sol의 정확도는 5.4%였으며, GPT‑6.1 Sol의 API 비용은 GPT‑5.6 Sol의 61%에 불과했습니다. 추론 노력을 높이면 정확도가 97.9%에 이르며, 평가 성능이 거의 한계에 도달합니다. 이 평가 결과는 비즈니스의 기반이 되는 소프트웨어를 현대화하는 팀이 더 정확하고 저렴하게 코드를 마이그레이션할 수 있도록 진전이 이루어지고 있음을 보여줍니다.
이러한 평가와 개발자 및 기업 고객이 직접 전하는 피드백은 모델이 어떤 부분에서 개선되고 있으며, 어디에서 여전히 부족한지 파악하는 데 도움이 됩니다.
목표는 모델이 더 많은 언어에서 소프트웨어 엔지니어링 역량을 발휘하도록 돕는 것입니다. 여기에는 익숙하지 않은 리포지터리 이해, 변경 계획 수립, 빌드 도구 사용, 테스트 실행, 오류 디버깅 등이 포함됩니다.
API를 통해 최신 모델을 사용해 보고, 팀에서 사용하는 언어의 코딩 작업에 적용해 볼 수 있습니다. 어떤 작업이 잘되는지, 모델이 어디서 어려움을 겪는지, 앞으로 어떤 언어나 워크플로에 집중해야 할지 의견을 보내주세요. 여러분이 의존하는 소프트웨어를 더 잘 지원할 수 있도록 모델을 학습시키고 평가하는 방향을 정하는 데 도움이 됩니다.
