პროგრამირების განვითარება მწირი რესურსების მქონე ენებში
ჩვენი მოდელების უახლესი გაუმჯობესებები აძლიერებს პროგრამული უზრუნველყოფის შექმნისა და მიგრაციის შესაძლებლობებს მწირი რესურსების მქონე პროგრამირების ენებში, როგორიცაა COBOL, Fortran და Visual Basic. ამ ენებისთვის მოდელების სასწავლად ნაკლები კოდი და დოკუმენტაციაა ხელმისაწვდომი, ვიდრე Python-ისა და JavaScript-ის მსგავსი ენებისთვის. მიუხედავად ამისა, მათზეა დამყარებული კრიტიკული ინფრასტრუქტურა და სასიცოცხლოდ მნიშვნელოვანი სერვისები მთელ მსოფლიოში. COBOL უზრუნველყოფს(იხსნება ახალ ფანჯარაში) ონლაინ საბანკო სისტემების 40%-ზე მეტის, საკრედიტო ბარათით ადგილზე შესრულებული ტრანზაქციების 80%-ისა და ბანკომატით შესრულებული ტრანზაქციების 95%-ის მუშაობას, ხოლო Fortran გამოიყენება ამინდის პროგნოზირებისა(იხსნება ახალ ფანჯარაში) და ბირთვული რეაქტორების უსაფრთხოების ანალიზისთვის(იხსნება ახალ ფანჯარაში). ამ ენებში ხელოვნური ინტელექტის მუშაობის უნარის გაუმჯობესება გუნდებს შეიძლება დაეხმაროს იმ პროგრამული უზრუნველყოფის მხარდაჭერასა და მოდერნიზაციაში, რომელზეც უმნიშვნელოვანესი სერვისებია დამოკიდებული.
ამ მუშაობაში ვხელმძღვანელობთ დეველოპერებისა და კორპორაციული მომხმარებლების უკუკავშირით: მათი თქმით, პროგრამირებისთვის განკუთვნილ მოდელებს ხშირად უჭირთ ამ ენებთან მუშაობა. ამ პროგრამული უზრუნველყოფის მხარდაჭერა და მოდერნიზაცია შეიძლება რთული იყოს: დოკუმენტაცია შესაძლოა არასრული იყოს, თავდაპირველ დეველოპერებს კომპანია დატოვებული ჰქონდეთ, ხოლო მნიშვნელოვანი ბიზნესწესები მხოლოდ კოდში იყოს ასახული. შეცდომების გასწორებისას თუ სხვა ენაზე მიგრაციისას გუნდებმა უნდა შეინარჩუნონ პროგრამის მუშაობის ის თავისებურებები, რომლებზეც მათი სისტემებია დამოკიდებული.
პროგრესის გასაზომად ორი შეფასება შევიმუშავეთ. MultiLangBench ამოწმებს, შეუძლია თუ არა მოდელს SQLite-თან თავსებადი მონაცემთა ბაზის ძრავის ნულიდან შექმნა პროგრამირების 20 სხვადასხვა ენაში. COBOL-იდან მიგრაციის ჩვენი შეფასება ამოწმებს, შეუძლია თუ არა მოდელს არსებული პროგრამების სხვა ენაზე გადატანა ისე, რომ მათი მუშაობა უცვლელი დარჩეს. ერთად ისინი ორ ურთიერთშემავსებელ უნარს ამოწმებს: ახალი პროგრამული უზრუნველყოფის შექმნასა და არსებულის ფუნქციონირების შენარჩუნებას.
ჩვენი უახლესი მოდელები ორივე შეფასებაში მნიშვნელოვან გაუმჯობესებას აჩვენებს და გაცილებით მაღალ სიზუსტეს უფრო დაბალ ფასად აღწევს.
MultiLangBench-ში GPT‑6 Astra-ს მიერ ტესტების წარმატებით გავლის საშუალო მაჩვენებელი პროგრამირების 20 ენაში 87.4%-ს აღწევს, GPT‑5.6 Sol-ის 26.8%-თან შედარებით. გაუმჯობესება შეინიშნება ყველა შემოწმებულ ენაში. GPT‑6 Luna-ც აჭარბებს GPT‑5.6 Sol-ის შედეგს: ის 40.3%-ს აღწევს, API-ის სავარაუდო ღირებულება კი დაახლოებით 78%-ით დაბალია.
COBOL-იდან მიგრაციის ჩვენს შეფასებაში GPT‑6.1 Sol მსჯელობის დაბალი ინტენსივობისას 86.6%-იან სიზუსტეს აღწევს, GPT‑5.6 Sol-ის მხოლოდ 5.4%-თან შედარებით, ხოლო ღირებულება 39%-ით ნაკლებია. მსჯელობის უფრო მაღალი ინტენსივობისას სიზუსტე 97.9%-ს აღწევს და შეფასების მაქსიმალურ შესაძლო შედეგს უახლოვდება.
ერთად ეს შედეგები აჩვენებს, რომ ჩვენი მოდელები მნიშვნელოვნად უკეთ მუშაობს პროგრამირების მრავალ სხვადასხვა ენასთან და ამავდროულად უფრო ხარჯეფექტიანი ხდება.
MultiLangBench მოდელს ავალებს, პროგრამირების მითითებულ ენაზე შექმნას SQLite-თან თავსებადი მონაცემთა ბაზის ძრავა. მოდელმა უნდა მოაწესრიგოს კოდის ბაზა, მართოს მდგომარეობა, დაამუშაოს შეცდომები და დაამატოს ახალი ფუნქციები არსებულის შენარჩუნებით.
სხვადასხვა ენაზე შესრულებული რეალიზაციების შესადარებლად საერთო ინტერფეისად მონაცემთა ბაზის ფაილებს ვიყენებთ. შესამოწმებელი პროგრამა იღებს საწყის მონაცემთა ბაზასა და SQL-მოთხოვნას, შემდეგ კი შეცვლილ მონაცემთა ბაზას ქმნის. SQLite-ის ეტალონური რეალიზაციით ვამოწმებთ, შეიცავს თუ არა მიღებული მონაცემთა ბაზა მოსალოდნელ შიგთავსს. ეს საშუალებას გვაძლევს, ერთი და იგივე ტესტები გამოვიყენოთ იმის მიუხედავად, თუ რომელ ენაზეა ძრავა შექმნილი.
ამ ფორმატს მოვარგეთ ტესტები SQLite-ის არსებული სატესტო ნაკრებიდან. შეფასება ზომავს, რამდენი გამართული ფუნქციის შექმნა შეუძლია მოდელს პროგრამირების ხანგრძლივი სესიის განმავლობაში და აჩვენებს როგორც ტესტების წარმატებით გავლის მაჩვენებელს, ისე API-ის ღირებულებას.
მსჯელობის მაქსიმალური ინტენსივობისას GPT‑6 Astra-ს მიერ ტესტების წარმატებით გავლის საშუალო მაჩვენებელი 20 ენაში 87.4%-ს აღწევს, GPT‑5.6 Sol-ის 26.8%-თან შედარებით. გაუმჯობესება შეინიშნება ყველა შემოწმებულ ენაში, მათ შორისაა COBOL (10.9%-დან 72.1%-მდე), OCaml (25.6%-დან 85.8%-მდე), Fortran (21.4%-დან 83.5%-მდე) და Visual Basic (27.5%-დან 89.4%-მდე). 20 ენიდან 19-ში Astra-ს მაჩვენებელი 83%-ს აღემატება, ხოლო ყველაზე რთულად კვლავ COBOL რჩება 72%-იანი შედეგით.
GPT‑6 Luna უფრო იაფი ალტერნატივაა, რომელიც ასევე აუმჯობესებს GPT‑5.6 Sol-ის შედეგებს ყველა შემოწმებულ ენაში. მსჯელობის მაქსიმალური ინტენსივობისას მისი ტესტების წარმატებით გავლის საშუალო მაჩვენებელი 40.3%-ს აღწევს. შედეგები გაუმჯობესდა, მათ შორის, შემდეგ ენებში: COBOL (10.9%-დან 17.1%-მდე), OCaml (25.6%-დან 34.1%-მდე), Fortran (21.4%-დან 31.4%-მდე) და Visual Basic (27.5%-დან 41.6%-მდე). ამ გაუმჯობესებებთან ერთად, API-ის სავარაუდო საშუალო ღირებულება თითო ნიმუშზე $0.77-ია, GPT‑5.6 Sol-ის $3.48-თან შედარებით — დაახლოებით 78%-ით ნაკლები.
MultiLangBench-ის შეფასების გარემოსა და ტესტების ნაკრებს ვაქვეყნებთ GitHub(იხსნება ახალ ფანჯარაში)-ზე, თითოეული ენის შედეგებთან ერთად. დეველოპერებს შეუძლიათ გაეცნონ, რას ამოწმებს შეფასება, განიხილონ შედეგები იმ ენებში, რომლებსაც იყენებენ, და გამოავლინონ თავიანთი სამუშაოსთვის მნიშვნელოვანი ხარვეზები.
ჩვენი მეორე შეფასება მოდელებს ავალებს COBOL-ის პროგრამების C++-ზე, Java-ზე, Kotlin-ზე, Python-ზე ან Rust-ზე გადატანას ისე, რომ თითოეული პროგრამის მუშაობა უცვლელი დარჩეს.
წარმატებული მიგრაციისთვის საჭიროა როგორც პროგრამის ბიზნესლოგიკის, ისე COBOL-ის ენობრივი თავისებურებების გაგება. COBOL-ის პროგრამები ხშირად ამუშავებს ფინანსურ ტრანზაქციებსა და ბიზნესჩანაწერებს, რომლებშიც ისეთი დეტალები, როგორიცაა დამრგვალების წესები და გამოტოვებული ჩანაწერების დამუშავება, ბიზნესის მოთხოვნებს ასახავს. მაგალითად, COBOL-ის ფიქსირებულწერტილიანი არითმეტიკა წილადი ნაწილის ზედმეტ ციფრებს ჩამოაჭრის, თუ დამრგვალება ცალსახად არ არის მოთხოვნილი. გადაწერილი პროგრამა, რომელიც ამის ნაცვლად ამ მნიშვნელობებს ამრგვალებს, შეიძლება შეცდომების გარეშე მუშაობდეს, მაგრამ განსხვავებულ ფინანსურ შედეგებს იძლეოდეს.
იმის შესამოწმებლად, შენარჩუნებულია თუ არა მუშაობის ეს თავისებურებები, ჩვენს მოდელებს ვაფასებთ დაფარული ტესტებით, რომლებიც ხილული შედეგების ბაიტობრივ სიზუსტით თანხვედრას მოითხოვს. მიგრაცია წარმატებულად ითვლება მხოლოდ მაშინ, თუ ყველა ტესტი წარმატებით სრულდება. მუშაობის უცვლელად შენარჩუნების ასეთი შესაძლებლობები სასარგებლოა გუნდებისთვის, რომლებიც ძველი სისტემების მხარდაჭერასა და მოდერნიზაციაზე მუშაობენ. თუმცა, მოქმედ პროგრამულ უზრუნველყოფაში მათ გამოყენებას მაინც სჭირდება ექსპერტის შემოწმება და ტესტირება სისტემის ბიზნესწესებისა და დამოკიდებულებების გათვალისწინებით.
ამ შეფასებაში GPT‑6.1 Sol მსჯელობის დაბალი ინტენსივობისას 86.6%-იან სიზუსტეს აღწევს, GPT‑5.6 Sol-ის 5.4%-თან შედარებით იმავე პარამეტრზე, ხოლო API-ის ღირებულება ამ უკანასკნელის მხოლოდ 61%-ს შეადგენს. მსჯელობის უფრო მაღალი ინტენსივობისას სიზუსტე 97.9%-ს აღწევს და შეფასების მაქსიმალურ შესაძლო შედეგს უახლოვდება. შეფასების ეს შედეგები აჩვენებს პროგრესს კოდის უფრო ზუსტი და ხელმისაწვდომი მიგრაციისკენ იმ გუნდებისთვის, რომლებიც თავიანთი ბიზნესისთვის აუცილებელი პროგრამული უზრუნველყოფის მოდერნიზაციაზე მუშაობენ.
ეს შეფასებები, დეველოპერებისა და კორპორაციული მომხმარებლების უშუალო უკუკავშირთან ერთად, გვეხმარება დავინახოთ, რა მხრივ უმჯობესდება ჩვენი მოდელები და სად აქვთ ჯერ კიდევ ნაკლოვანებები.
ჩვენი მიზანია, დავეხმაროთ მოდელებს პროგრამული ინჟინერიის უნარების მეტ ენაში გამოყენებაში: უცნობი რეპოზიტორიუმების გაგებაში, ცვლილებების დაგეგმვაში, აწყობის ხელსაწყოების გამოყენებაში, ტესტების გაშვებასა და შეცდომების გამართვაში.
შეგიძლიათ ჩვენი უახლესი მოდელები API-ის მეშვეობით გამოსცადოთ პროგრამირების ამოცანებზე იმ ენებში, რომლებსაც თქვენი გუნდი იყენებს. თქვენი უკუკავშირი — რა მუშაობს, რა უჭირთ მოდელებს და რომელ ენებსა თუ სამუშაო პროცესებზე უნდა გავამახვილოთ ყურადღება შემდეგ — გვეხმარება მოდელების სწავლებისა და შეფასების გაუმჯობესებაში, რათა უკეთ ვუზრუნველყოთ იმ პროგრამული უზრუნველყოფის მხარდაჭერა, რომელზეც ხართ დამოკიდებული.
