我們最新的模型進展，強化了使用 COBOL、Fortran 和 Visual Basic 等低資源程式語言開發與遷移軟體的能力。相較於 Python 和 JavaScript 等語言，這些語言可供模型學習的程式碼與文件較少，卻支撐著全球各地的關鍵基礎設施與必要服務。COBOL 支撐(在新視窗中開啟)超過 40% 的網路銀行系統、80% 的實體信用卡交易，以及 95% 的 ATM 交易；Fortran 則用於天氣預報(在新視窗中開啟)和核反應爐安全分析(在新視窗中開啟)。提升 AI 使用這些語言的能力，可望協助團隊維護必要服務所依賴的軟體，並推動軟體現代化。
這項工作的方向來自開發者與企業客戶的回饋：他們告訴我們，程式設計模型往往難以駕馭這些語言。維護這類軟體並推動現代化並不容易：文件可能不完整、原開發者可能已經離職，而重要的業務規則可能只存在於程式碼中。無論是修正錯誤，還是遷移至另一種語言，團隊都必須保留系統賴以運作的程式行為。
為了衡量進展，我們開發了兩項評測。MultiLangBench 測試模型能否分別以 20 種不同的程式語言，從零打造相容於 SQLite 的資料庫引擎。我們的 COBOL 遷移評測則測試模型能否將現有程式遷移至另一種語言，同時保留原有行為。這兩項評測共同檢驗兩種互補的技能：開發新軟體，以及保留現有軟體的功能。
我們最新的模型在兩項評測中都有大幅進步，以更低的成本達到高出許多的準確率。
在 MultiLangBench 上，GPT‑6 Astra 在 20 種程式語言中的平均測試通過率達到 87.4%，高於 GPT‑5.6 Sol 的 26.8%，且每一種受測語言都有進步。GPT‑6 Luna 也優於 GPT‑5.6 Sol，測試通過率達到 40.3%，而預估 API 費用約低了 78%。
在我們的 COBOL 遷移評測中，GPT‑6.1 Sol 在低推理強度下的準確率達到 86.6%，相較之下，GPT‑5.6 Sol 僅有 5.4%，而前者的費用還低了 39%。提高推理強度後，準確率達到 97.9%，幾乎已達這項評測的上限。
整體而言，這些結果顯示，我們的模型在運用各種程式語言方面已有顯著進步，同時也更具成本效益。
MultiLangBench 要求模型以指定的程式語言，打造相容於 SQLite 的資料庫引擎。模型必須組織程式碼、管理狀態、處理錯誤，並在保留現有功能的同時新增功能。
為了比較不同語言的實作，我們以資料庫檔案作為共通介面。受測程式接收初始資料庫與一項 SQL 查詢，接著產生修改後的資料庫。我們使用 SQLite 的參考實作，檢查產生的資料庫內容是否符合預期。如此一來，無論引擎以哪種語言開發，都能採用相同的測試。
我們將 SQLite 現有測試套件中的測試調整為這種格式。這項評測衡量模型在長時間的程式開發過程中，能建構多少可正常運作的功能，並同時呈現測試通過率與 API 費用。
在最高推理強度下，GPT‑6 Astra 在 20 種語言中的平均測試通過率達到 87.4%，高於 GPT‑5.6 Sol 的 26.8%。所有受測語言都有進步，包括 COBOL（從 10.9% 升至 72.1%）、OCaml（從 25.6% 升至 85.8%）、Fortran（從 21.4% 升至 83.5%）和 Visual Basic（從 27.5% 升至 89.4%）。Astra 在 20 種語言中的 19 種得分超過 83%；COBOL 仍最具挑戰性，得分為 72%。
GPT‑6 Luna 提供了成本更低的選擇，且在每一種受測語言中的表現也都優於 GPT‑5.6 Sol。在最高推理強度下，其平均測試通過率達到 40.3%。進步的語言包括 COBOL（從 10.9% 升至 17.1%）、OCaml（從 25.6% 升至 34.1%）、Fortran（從 21.4% 升至 31.4%）和 Visual Basic（從 27.5% 升至 41.6%）。在取得這些進步的同時，每個樣本的預估平均 API 費用為 0.77 美元，相較於 GPT‑5.6 Sol 的 3.48 美元，約降低了 78%。
我們將在 GitHub(在新視窗中開啟) 上公開 MultiLangBench 的評測設定與測試套件，以及各語言的結果。開發者可以檢視評測的測試內容、查看模型在自己使用的語言中的表現，並找出對自身工作至關重要的能力缺口。
我們的第二項評測要求模型將 COBOL 程式遷移至 C++、Java、Kotlin、Python 或 Rust，同時保留各程式的功能。
要成功遷移，必須同時理解程式的業務邏輯與 COBOL 特有的語言行為。COBOL 程式經常用於處理金融交易和業務紀錄，其中的捨入規則、紀錄缺漏時的處理方式等細節，都反映了業務需求。例如，除非明確要求捨入，否則 COBOL 的定點運算會直接捨去多餘的小數位數。如果改寫後的程式改為對這些數值進行捨入，即使執行時沒有報錯，也可能產生不同的財務結果。
為了檢驗這些行為是否保留下來，我們以隱藏測試評估模型，要求可觀察到的輸出逐位元組完全一致。只有通過所有測試，才算遷移成功。這類保留程式行為的能力，對維護舊系統並推動現代化的團隊很有幫助。不過，若要將其應用於正式環境的軟體，仍須由專家審查，並依據系統的業務規則與相依項目進行測試。
在這項評測中，GPT‑6.1 Sol 在低推理強度下的準確率達到 86.6%，相較之下，GPT‑5.6 Sol 在相同設定下僅有 5.4%，而前者的 API 費用僅為後者的 61%。提高推理強度後，準確率達到 97.9%，接近這項評測的上限。這些評測結果顯示，程式碼遷移正朝著更準確、更經濟實惠的方向邁進，有助於團隊推動企業所依賴的軟體現代化。
這些評測搭配開發者與企業客戶的直接回饋，協助我們了解模型在哪些方面有所進步，以及哪些地方仍有不足。
我們的目標是協助模型將軟體工程技能應用於更多語言，包括理解陌生的程式碼庫、規劃變更、使用建置工具、執行測試，以及除錯。
你可以透過 API 試用我們最新的模型，讓它們以團隊使用的語言執行程式開發任務。哪些方面表現良好、模型在哪裡遇到困難，以及我們接下來應著重哪些語言或工作流程——你提供的這些回饋，將協助我們調整模型的訓練與評測方式，以更好地支援你所依賴的軟體。
