GPT-6.1Sol

Esittelemme GPT-6.1 Solin, GPT-6 Solin päivitetyn version, joka yltää agenttipohjaisessa koodauksessa, tietokoneen käytössä ja asiantuntijatyössä lähes GPT-6 Astran älykkyystasolle viidesosalla Astran syöte- ja tulostokenien normaalihinnoista. Välimuistissa oleva syöte maksaa vain 0,10 dollaria miljoonaa tokenia kohden– 95 % vähemmän kuin syöte normaalisti ja 50 % vähemmän kuin GPT-6 Solin välimuistissa oleva syöte – joten kehittäjät voivat rakentaa ja käyttää laajemmin kyvykkäitä agentteja, jotka hyödyntävät samaa kontekstia useissa pyynnöissä.

Kyvykkäämpi Sol eri tehtäviin

GPT-6.1 Sol tarjoaa uuden tasapainon kyvykkyyden ja kustannusten välillä tärkeisiin arjen töihin. Se on huomattava parannus GPT-6 Soliin verrattuna vaativissa asiantuntijatehtävissä aina koodin kirjoittamisesta ja virheenkorjauksesta asiakirjojen ymmärtämiseen ja monivaiheisten liiketoimintaprosessien suorittamiseen. Useissa näistä arvioinneista se lähestyy GPT-6 Astran suorituskykyä huomattavasti pienemmin kustannuksin.

Koodaus

DeepSWE v1.1 arvioi monimutkaisia ohjelmistokehitystehtäviä todellisissa koodikannoissa. Siinä GPT-6.1 Sol yltää GPT-6 Astran tasolle noin viidesosalla kustannuksista ja ylittää GPT-6 Solin parhaan tuloksen 6,4 prosenttiyksiköllä matalammalla päättelyn tasolla ja pienemmin kustannuksin.

Ammattityö

GDP.pdf mittaa, miten tarkasti mallit vastaavat ammatillisiin kysymyksiin monimutkaisten PDF-asiakirjojen pohjalta. Asiakirjoissa on taulukoita, kaavioita, kuvioita ja pienellä painettuja yksityiskohtia. GPT-6.1 Sol saa siinä paremmat pisteet kuin Opus 5.5 varamalleineen, ja sen tehtäväkohtainen kustannus on alle puolet kaikilla testatuilla päättelyn asetuksilla. Se myös lähestyy GPT-6 Astran huipputason suorituskykyä noin viidesosalla tehtäväkohtaisesta kustannuksesta.

AutomationBench mittaa, suorittavatko agentit monivaiheiset liiketoimintaprosessit oikein. Siinä GPT-6.1 Sol saa päättelyn keskitasolla 2,2 prosenttiyksikköä paremmat pisteet kuin Opus 5.5 noin kolmanneksella kustannuksista. Tulos on myös 4,8 prosenttiyksikköä parempi kuin GPT-6 Solin samalla asetuksella.

Tietokoneen käyttö

GPT-6.1 Sol edistyy huomattavasti myös tehtävissä, jotka edellyttävät tietokonesovellusten käyttöä. OSWorld 2.0 arvioi agentteja vaativissa tietokoneen käyttöön liittyvissä työnkuluissa. Sen offline-aineistossa GPT-6.1 Sol ylittää GPT-6 Solin tuloksen seitsemällä prosenttiyksiköllä päättelyn enimmäistasolla alle puolella kustannuksista. Päättelyn enimmäistasolla se jää vain 2,1 prosenttiyksikön päähän Astran tuloksesta noin seitsemäsosalla tehtäväkohtaisesta kustannuksesta.

Tieteellinen tutkimus

Terminal-Bench Science 0.1 arvioi tieteellisiä työnkulkuja, kuten data-analyysiä, simulointia ja lauseiden todistamista. Siinä GPT-6.1 Sol saa päättelyn enimmäistasolla yli kaksinkertaiset pisteet GPT-6 Soliin verrattuna alle puolella tehtäväkohtaisesta kustannuksesta. Päättelyn enimmäistasolla GPT-6.1 Sol maksaa keskimäärin 5,47 dollaria tehtävää kohden, kun Opus 5.5 maksaa 23,21 dollaria ja Astra 23,80 dollaria. Se tarjoaa vahvaa tieteellistä osaamista yli 75 % pienemmin kustannuksin kuin kumpikaan näistä malleista.

GPT-6 Astra saavuttaa edelleen testattujen mallien parhaan tuloksen, 68,1 %, ja sitä kannattaa käyttää kaikkein vaikeimpiin tieteellisiin tutkimustehtäviin.

Asiatarkkuus

GPT-6.1 Sol parantaa myös asiatarkkuutta vaikeissa kehotteissa. Sen suurin parannus asiatarkkuudessa GPT-6 Soliin verrattuna saavutetaan matalalla päättelyn tasolla, jolloin asiavirheen sisältävien vastausten osuus pienenee 11,4 %:sta 7,7 %:iin – eli noin 32 %. Testatuilla päättelyasetuksilla sen virheiden osuus pysyy enintään 1,9 prosenttiyksikön päässä GPT-6 Astrasta, vaikka tehtäväkohtainen kustannus on alle viidesosa.

Tässä arvioinnissa mitataan vähintään yhden asiavirheen sisältävien vastausten osuutta keskusteluissa, joista on poistettu tunnistetiedot ja joissa käyttäjät ovat ilmoittaneet aiemman mallin virheestä. Nämä tarkoituksella vaikeat kehotteet eivät edusta tavanomaista käyttöä.

GPT-6.1 Solin turvallinen käyttöönotto

GPT-6.1 Sol parantaa huomattavasti GPT-6 Solin tuloksia arvioinneissamme, jotka mittaavat mallien toimintaa ihmisten tavoitteiden mukaisesti. Näin se lähestyy GPT-6 Astraa.

GPT-6.1 Sol kertoo rajoituksistaan avoimemmin ja noudattaa käyttäjän tarkoitusta ja turvallisuusrajoitteita luotettavammin. Haastavissa arvioinneissa se epäonnistuu GPT-6 Solia harvemmin toimimattomista hakutyökaluista kertomisessa, nimenomaisten rajoitusten noudattamisessa ja luvattomien lopputulosten välttämisessä agenttitehtävien aikana. Emme havainneet yrityksiä ohittaa automaattista turvallisuustarkistusta, kuten emme myöskään GPT-6 Astran tai GPT-6 Solin kohdalla. Täydelliset tiedot ovat saatavilla GPT-6.1 Solin järjestelmäkortin lisäyksessä⁠(avautuu uudessa ikkunassa).

Alla olevat arvioinnit testaavat tarkoituksella haastavia tilanteita eivätkä mittaa epäonnistumisten osuutta tavanomaisessa käytössä.

Hinnoittelu ja saatavuus

GPT-6.1 Sol on tästä päivästä alkaen kaikkien Plus-, Pro-, Business-, Enterprise- ja Edu-käyttäjien saatavilla ChatGPT Workissa ja Codexissa. GPT-6.1 Sol ei ole vielä saatavilla Chat-tilassa. Kehittäjät voivat käyttää sitä myös OpenAI API -rajapinnan kautta tunnuksella gpt-6.1-sol. Sen API-käytön normaalihinnat ovat 2 dollaria miljoonalta syötetokenilta, 0,10 dollaria miljoonalta välimuistissa olevalta syötetokenilta ja 10 dollaria miljoonalta tulostokenilta. Tarjoamme lähipäivinä myös GPT-6.1 Sol Ultrafast⁠ -mallin, jonka tokenien luonti Codexissa on jopa 8 kertaa nopeampaa kuin sen normaalinopeudella.