GPT‑4o System Card

Vi utvärderar våra nya modeller grundligt för potentiella risker och bygger in lämpliga skyddsmekanismer innan vi använder dem i ChatGPT eller API:et. Vi publicerar modellens styrkort tillsammans med Förberedelseramverkets⁠ styrkort för att tillhandahålla en komplett säkerhetsbedömning av GPT‑4o⁠, inklusive vad vi har gjort för att spåra och åtgärda dagens säkerhetsutmaningar samt gränsrisker.

Genom att bygga på säkerhetsutvärderingarna och reducerande åtgärder vi utvecklade för GPT‑4⁠ och GPT‑4V⁠har vi fokuserat ytterligare ansträngningar på GPT‑4o:s ljudförmåga som utgör nya risker, medan vi också utvärderar dess text- och synförmåga.

Några av riskerna vi utvärderade inkluderar talareidentifiering, obehörig röstgenerering, potentiell generering av upphovsrättsskyddat innehåll, ogrundade slutsatser och förbjudet innehåll. Baserat på dessa utvärderingar har vi implementerat skyddsmekanismer på både modell- och systemnivå för att förmildra dessa risker. 

Våra resultat visar att GPT‑4o:s röstmodalitet inte ökar förberedelseriskerna anmärkningsvärt. Tre av de fyra kategorierna för förberedelseramverket fick låga poäng, där övertalning hamnade på gränsen till medelhög. Säkerhetsrådgivningsgruppen⁠(öppnas i ett nytt fönster) har granskat våra förberedelseutvärderingar och reducerande åtgärder som en del av våra säkra lanseringsrutiner. Vi ber dig att läsa informationen om detta arbete i rapporten nedan.

GPT‑4o¹ är en autoregressiv omnimodell som accepterar kombinationer av text, ljud, bild och video som indata och genererar en kombination av text-, ljud- och bildutdata. Den har tränats från början till slut för text, bild och ljud, vilket innebär att alla in- och utdata bearbetas av samma neurala nätverk. 

GPT‑4o kan ge respons på ljudindata på så lite som 232 millisekunder, med ett genomsnitt på 320 millisekunder, vilket motsvarar den mänskliga svarstiden⁠(öppnas i ett nytt fönster)² i en konversation. Den uppnår samma prestanda som GPT‑4 Turbo för text på engelska och kod, med betydande förbättringar för text på icke-engelska språk, samtidigt som den är mycket snabbare och 50 % billigare i API:et. GPT‑4o är framför allt bättre på att förstå ljud och bild jämfört med befintliga modeller.

I linje med vårt engagemang till att utveckla AI säkert och konsekvent med vårt frivilliga engagemang till Vita huset³ delar vi GPT‑4o:s systemkort, vilket inkluderar våra utvärderingar av förberedelseramverket⁠(öppnas i ett nytt fönster)⁵. I det här systemkortet ger vi en detaljerad beskrivning av GPT‑4o:s funktioner, begränsningar och säkerhetsutvärderingar över flera kategorier, med fokus på tal-till-tal (röst)^A, medan vi även utvärderar text- och bildfunktioner, samt åtgärder vi har vidtagit för att förbättra säkerhet och inriktning. Vi inkluderar även tredjepartsbedömningar på allmänna autonoma funktioner, samt diskuterar GPT‑4o:s text- och synfunktioners möjliga inverkan på samhället.

GPT‑4o:s funktioner har förtränats med data fram till oktober 2023, som hämtats från ett brett utbud material, inklusive:

1. Utvalda data från offentliga källor som mestadels samlats in från branschens standard maskininlärningsdatamängder och webbkrypningar.
2. Patentskyddad data från datapartnerskap. Vi etablerar partnerskap för att få åtkomst till icke-offentligt tillgängliga data, såsom betalinnehåll, arkiv och metadata. Vi har t.ex. Shutterstock som partner⁠(öppnas i ett nytt fönster)⁵ för att skapa och leverera AI-genererade bilder. 

Datamängdens viktigaste delar som bidrar till GPT‑4o:s funktioner är:

1. Webbdata - Data från offentliga webbsidor ger ett rikt och mångfaldigt utbud av information som försäkrar att modellen lär sig från ett många olika perspektiv och ämnen.
2. Kod och matematik - Att inkludera kod- och matematikdata i träningen gör att modellen utvecklar robusta resonemangskunskaper genom att exponeras för strukturerad logik och problemlösningsprocesser.
3. Multimodala data - Vår datamängd inkluderar bilder, ljud och video för att lära LLM:erna hur man tolkar och genererar icke-kontextuell in- och utdata. Från dessa data lär sig modellen hur man tolkar visuella bilder, åtgärder och sekvenser i verkliga sammanhang, språkmönster och talnyanser.

Före lansering bedömer och förmildrar OpenAI potentiella risker som härstammar från generativa modeller, såsom skadlig information, fördomar och diskriminering, eller annat innehåll som bryter mot våra säkerhetspolicyer. Vi använder en kombination av tillvägagångssätt under alla steg i utvecklingen från förträning till efterträning, produktutveckling och policy. Under efterträning anpassar vi t.ex. modellen efter mänskliga preferenser. Vi red teamar de resulterande modellerna och lägger till reducerande åtgärder på produktnivå, såsom övervakning och tillsyn, och vi tillhandahåller våra användare modereringsverktyg och transparensrapporter.

Vi märker att större delen av effektiv testning och reducerande åtgärder sker efter förträningsstadiet eftersom filtrering av endast förtränad data kan inte åtgärda nyanserade och kontextspecifika skador. På samma gång kan vissa förmildrande filtreringar i förträningen ge ett extra skyddslager som, tillsammans med andra säkerhetsåtgärder, hjälper till att exkludera oönskad och skadlig information från våra databaser:

• Vi använder vårt modererings-API och våra säkerhetsklassificerare till att filtrera bort data som kan bidra till skadligt innehåll eller informationsrisker, inklusive CSAM, hatiskt innehåll, våld och CBRN. 
• Som med våra tidigare bildgenereringssystem filtrerar vi våra bildgenereringsdatamängder för explicit innehåll, såsom grafiskt sexuellt material och CSAM. 
• Vi använder avancerade datafiltreringsprocesser för att minska personuppgifter från träningsdata.
• Vid lanseringen av DALL·E 3 provade vi ett nytt tillvägagångssätt för att ge användarna makten att välja bort bilder från träningen⁠. För att respektera dessa bortval tog vi fingeravtryck på bilderna och använde fingeravtrycken för att ta bort bilderna från alla instanser i träningsdatamängden för GPT‑4o:s modellserie.

Lanseringsförberedelserna utfördes genom utforskande upptäckt av ytterligare nya risker genom expert-red teaming, som började med tidiga kontrollpunkter av modellen under utvecklingen för att omvandla de identifierade riskerna till strukturerade mätningar och skapa reducerande åtgärder för dem.  Vi utvärderade också GPT‑4o i enlighet med vårt förberedelseramverk⁴.

OpenAI har samarbetat med mer än 100 externa red teamers^B som talar totalt 45 olika språk och representerar geografiska bakgrunder från 29 länder. Red teamers har haft åtkomst till modellens olika ögonblicksbilder i olika träningsstadier och framsteg i säkerhetsåtgärder från tidigt i mars och vidare fram till slutet av juni 2024. 

Extern red teaming har utförts i fyra faser. De tre första faserna testade modellen genom ett internt verktyg och den sista fasen använde den fullständiga iOS-upplevelsen för att testa modellen. I skrivande stund pågår extern red teaming av GPT‑4o:s API.

Red teamers uppmanades att utföra utforskande funktionsupptäck, bedömda nya potentiella risker som modellen utgör, och stresstesta de reducerande åtgärderna medan de utvecklades och förbättrades, särskilt de som uppstår genom ljudindata och -generation (tal till tal-funktioner). Det här red teaming-försöket bygger på tidigare arbete, inklusive det som beskrivs i GPT‑4:s systemkort⁠(öppnas i ett nytt fönster)⁶ och GPT‑4(V):s systemkort⁠⁷.

Red teamers gick igenom kategorier som sträckte sig över kränkande och förbjudet innehåll (olagligt erotiskt innehåll, våld, självskadebeteende, osv.), felaktig och missledande information, fördomar, ogrundade slutsatser, attributioner till känsliga egenskaper, privat information, geolokalisering, personlig identifiering, risker för känslomässig uppfattning och antropomorfism, bedrägligt beteende och imitation, upphovsrätt, naturvetenskaplig förmåga och flerspråkiga observationer.

Data som genererades av red teamers motiverade skapandet av flera kvantitativa utvärderingar som beskrivs i avsnittet Observerade säkerhetsutmaningar, utvärderingar och reducerande åtgärder⁠. I vissa fall användes insikterna från red teaming till att utföra inriktad syntetisk datagenerering. Modeller utvärderades med både automatisk bedömare och manuell märkning enligt vissa kriterier (t.ex. brott mot policy eller inte, vägrade eller inte). Vi har ibland dessutom återanvänt^C data från red teaming för att utföra specifika bedömningar på olika röster och exempel för att testa robustheten i olika reducerande åtgärder.

Utöver data från red teaming konverterades en rad olika befintliga utvärderingsdatamängder till utvärderingar för tal-till-tal-modeller genom att använda text-till-tal-system (TTS), som t.ex. röstmotor⁠. Vi konverterade textbaserade utvärderingsuppgifter till ljudbaserade utvärderingsuppgifter genom att konvertera textindata till ljud. Då kunde vi återanvända befintliga datamängder och arbeta på att mäta modellens funktioner, säkerhetsbeteende och övervaka modellens utdata, vilket ökade antalet utvärderingar vi kunde använda.

Vi använde röstmotor till att konvertera textindata till ljud, mata in det till GPT‑4o och poängsätta utdata efter modellen. Vi poängsätter endast utdatans textinnehåll för modellen, förutom i de fall där ljudet måste utvärderas direkt (se röstgenerering⁠).

Först och främst hänger validiteten för det här utvärderingsformatet på TTS-modellens kapacitet och tillförlitlighet. Vissa textindata är olämpliga eller besvärliga att konvertera till ljud, som t.ex. matematiska ekvationskoder. Dessutom förväntar vi oss att TSS kommer att innebära förluster för vissa textindata, såsom text som använder många mellanrum eller symboler till visuell formatering. Eftersom vi förväntar oss att sådana indata förmodligen inte heller kommer att ges av användare i avancerat röstläge undviker vi att utvärdera tal-till-tal-modellen för sådana uppgifter, eller alternativt förbehandlar vi exempel med sådana indata. Oavsett vilket vill vi betona att eventuella misstag som identifieras i våra utvärderingar kan uppstå, antingen på grund av modellens kapacitet eller för att TTS-modellen inte kan exakt översätta textindata till ljud.

Ett annan fråga är om TTS-indata motsvarar distributionen av ljudindata som användare sannolikt kommer att ge under faktisk användning. Vi utvärderar GPT‑4o:s robusthet på ljudindata för en rad olika regionala dialekter i olikartad prestanda på ljudindata. Det finns dock många andra dimensioner som inte fångas upp i en TTS-baserad utvärdering, såsom olika röstintonationer och valens, bakgrundsljud eller överhörning, som kan resultera i annorlunda modellbeteende i praktisk användning.

Slutligen kan det finnas artefakter eller egenskaper i modellens genererade ljus som inte fångas upp i text, t.ex. bakgrundsljud och ljudeffekter, eller svar med en röst som är ur distribution. I röstgenerering⁠ illustrerar vi med sekundära klassificerare för att identifiera oönskad ljudgenerering som kan användas i samband med poängutskrifter.

Modellens potentiella risker har förmildrats genom en kombination av tillvägagångssätt. Vi har tränat modellen till att följa beteenden som skulle minska risken genom efterträningsmetoder och även integrerade klassificerare som blockerar specifika genereringar som en del av det driftsatta systemet. 

För de observerade säkerhetsutmaningarna som beskrivs nedan ger vi en beskrivning av risken, vilka reducerande åtgärder som använts och resultaten från relevanta utvärderingar som tillämpligt. Riskerna som beskrivs nedan är illustrativa och inte uttömmande, och fokuserar på upplevelsen i ChatGPT‑gränssnittet. I det här avsnittet fokuserar vi på riskerna som introduceras av tal-till-tal-funktionen och hur de kan interagera med befintliga modaliteter (text, bild)^D.

Riskbeskrivning: Röstgenerering är förmågan att skapa ljud med mänskligt låtande syntetisk röst, och inkluderar generering av röster baserat på ett kort klipp med indata. 

I fientliga situationer kan den här funktionen underlätta skador, såsom att öka bedrägligheten på grund av imitationer och kan användas till att sprida falsk information^{9, 10} (om vi t.ex. tillät användare att ladda upp ljudklipp av en talare och be GPT‑4o att skapa ett tal i den talarens röst). Dessa är väldigt lika riskerna vi identifierade med röstmotor⁠⁸. 

Röstgenerering kan även hända i icke-fientliga situationer, såsom vid vår användning av den funktionen till att generera röster för ChatGPT:s avancerade röstläge. Under testning har vi också observerat sällsynta exempel på att modellen oavsiktligt genererar utdata som liknar användarens röst^E.

Riskreducering: Vi har åtgärdat röstgenereringsrelaterade risker genom att endast tillåta att förinställda röster som vi har skapat i samarbete med röstskådespelare⁠¹¹ får användas. Vi har gjort detta genom att inkludera de valda rösterna som perfekta avslutningar under efterträningen av ljudmodellen. Dessutom har vi skapat en separat utdataklassificerare för att upptäcka om utdata från GPT‑4o använder en röst som skiljer sig från våra godkända lista. Vi kör den på ett streamingmässigt sätt under ljudgenerering och blockerar utdatan om talaren inte matchar den förvalda rösten.

Utvärdering: Vi upplever att den kvarstående risken är minimal för oauktoriserad röstgenerering. För närvarande fångar våra system 100 % av betydelsefulla avvikelser från systemrösten^F baserat på våra interna utvärderingar, vilket omfattar prover som genererats av andra systemröster, klipp under vilka modellen har använt en röst från prompten som en del av avslutningen, samt ett utbud av mänskliga prover.

Medan oavsiktlig röstgenerering sker som en del av modellens svaghet använder vi sekundära klassificerare för att försäkra att samtalet upphör om detta sker, vilket minimerar risken för oavsiktlig röstgenerering. Slutligen kan vårt modereringsbeteende leda till överdrivna avvisningar när samtalet sker på ett annat språk än engelska, vilket är ett aktivt förbättringsområdet^G.

Vår klassificerares prestanda för röstutdata över ett samtal efter språk^H:

Riskbeskrivning: Talareidentifiering innebär förmågan att identifiera en talare baserat på ljudindata. Detta medför en potentiell integritetsrisk, särskilt för privatpersoner likaväl som för obskyrt ljud av offentliga personer, och potentiella övervakningsrisker.

Riskreducering: Vi har eftertränat GPT‑4o att vägra uppfylla förfrågningar om att identifiera någon baserat på en röst i ljudindata. GPT‑4o uppfyller ändå förfrågningar om att identifiera kända citat. En förfrågan om att t.ex. identifiera en slumpmässig person som säger ”fyra gånger tjugo och sju år sedan” ska identifiera talaren som Abraham Lincoln, medan en förfrågan om att identifiera en kändis som säger något slumpmässigt ska avvisas.

Utvärderingar:
I jämförelse med vår första modell har vi sett en 14 poängs förbättring i när modellen ska vägra att identifiera en röst ljudindata, samt en 12 poängs förbättring när den ska uppfylla den förfrågan. 

Det tidigare innebär att modellen kommer nästan alltid att vägra identifiera talaren baserat på deras röst, vilket reducerar det potentiella integritetsproblemet. Det senare innebär att det kan finnas situationer där modellen felaktigt vägrar att identifiera talaren till ett känt citat.

Riskbeskrivning: Modeller kan prestera olika när användare talar med olika accenter. Olikartad prestanda kan leda till avvikande kvalitet i tjänsten för olika användare av modellen.

Riskreducering: Vi har eftertränat GPT‑4o med ett brett utbud av röster som indata för att modellens prestanda och beteende ska vara konsekvent för olika användarröster.

Utvärderingar: Vi kör utvärderingar på GPT‑4o:s avancerade röstläge med en fast assistentröst (”shimmer”) och röstmotor till att generera användarindata genom olika röstprover^I. Vi använder två uppsättningar med röstprover för TTS:

• Officiella systemröster (3 olika röster)
• En uppsättning med många olika röster som samlats in från två datakampanjer. Den består av 27 olika engelska röstprov från talare från många olika länder och en blandning av könen.

Vi utvärderar på två uppsättningar med uppgifter: Funktioner och säkerhetsbeteende

Funktioner: Vi utvärderar på fyra^J uppgifter: TriviaQA, en underuppsättning av MMLU^K, HellaSwag och LAMBADA. TriviaQA och MMLU är kunskapscentrerade uppgifter medan HellaSwag och LAMBADA är centrerade runt sunt förnuft eller textfortsättningsuppgifter. På det hela taget upplever vi att prestandan på de olika uppsättningarna mänskliga röster presterar marginellt men inte mycket värre än på systemröster genom alla fyra uppgifter.

Säkerhetsbeteende: Vi utvärderar på en intern datamängd med samtal och utvärderar modellens konsekventa åtlydnad och vägran med olika användarröster. På det hela taget upplever vi inte att modellens beteende skiljer sig mellan olika röster.

Riskbeskrivning: Ljudutdata kan leda till att modellen drar potentiellt fördomsfulla slutsatser om talare. Vi definierar två kategorier:

• Ogrundad slutsats (UGI): dra ogrundade slutsatser om en talare som inte kunde fastställas endast från ljudinnehållet. Detta inkluderar slutsatser om sådana saker som talarens ras, socioekonomiska status/yrke, religiösa övertygelse, personlighetsdrag, politiska attribut, intelligens, utseende, (t.ex. ögonfärg, skönhet) könsidentitet, sexuella läggning eller kriminellt förflutna. Detta kan leda till både allokativa och representativa skador^{13, 15} beroende på hur sådant beteende manifesterar.
• Tillskrivning av känsliga egenskaper (STA): dra slutsatser om en talare som skulle kunna fastställas endast från ljudinnehållet. Detta inkluderar slutsatser om sådan saker som en talares accent eller nationalitet. Potentiella skador från STA inkluderar ökade risker från övervakning¹⁶ och en skillnad i tjänstekvalitet för talare med annorlunda röstattributer^{12, 13, 14}.

Riskreducering: Vi har eftertränat GPT‑4o att vägra uppfylla UGI-förfrågningar men säkra svar på STA-frågor. En förfrågan om att t.ex. identifiera en talares intelligensnivå kommer att avvisas medan en förfrågan om att identifiera en talares accent kommer att besvaras med ett ”Baserat på ljudet låter det som om de har en brittisk accent.”

Utvärdering:
I jämförelse med vår första modell har vi sett en 24 poängs förbättring i hur modellen korrekt svarar på förfrågningar för att identifiera känsliga egenskaper (t.ex. avvisa UGI men på säkert sätt uppfylla STA).

Riskbeskrivning: GPT‑4o kan uppmanas att producera skadligt innehåll genom ljud som skulle vara förbjudet genom text, såsom ljud- och talutdata som ger instruktioner om hur man utför en olaglig handling.

Riskreducering: Vi såg hög överföringar av avvisningar vid text till ljud för tidigare förbjudet innehåll. Detta innebär att efterträningen vi har utfört för att reducera potentiell skada i GPT‑4o:s textutdata har framgångsrikt överförts till ljudutdata.

Dessutom kör vi vår befintliga modereringsmodell genom en textutskrift av både ljudindata och ljudutdata för att upptäcka om det endera innehåller potentiellt skadligt språk, och blockerar genereringen om så är fallet^L.

Utvärdering: Vi har använt TTS för att konvertera befintliga säkerhetsutvärderingar av text till ljud. Vi utvärderar sedan textutskriften från ljudutdatan med standardtextens regelbaserade klassificerare. Våra utvärderingar visar stark text-ljudöverföring av avvisningar på befintliga innehållspolicyområden. Ytterligare utvärderingar hittas i Bilaga A⁠

Riskbeskrivning: GPT‑4o kan uppmanas att producera erotiskt eller våldsamt innehåll, vilket kan vara mer frammanande eller skadligt än samma innehåll som text. På grund av detta har vi beslutat att begränsa generering av erotiskt och våldsamt tal^M. 

Riskreducering: Vi kör våra befintliga modereringsmodell⁠(öppnas i ett nytt fönster)¹⁷ genom en textutskrift av ljudutdatan för att upptäcka om det innehåller en förfrågan om våldsamt eller erotiskt innehåll och blockerar genereringen om så är fallet.

Under den interna testningen och externa red teamingen upptäckte vi en mindre antal risker och modellbegränsningar för vilka reducerande åtgärder på modell- eller systemnivå har påbörjats eller är ännu under utveckling, inklusive:

Ljudets robusthet: Vi har sett anekdotiska bevis på sänkt robusthet i säkerheten genom ljudstörningar, såsom ljudindata med låg kvalitet, bakgrundsljud i ljudindata och ekon i ljudindata. Dessutom har vi observerat liknande sänkt robusthet i säkerhet genom avsiktliga och oavsiktliga ljuduppehåll medan modellen genererade utdata. 

Desinformation och konspirationsteorier: Red teamers lyckades övertala modellen att generera felaktig information genom att uppmana den att verbalt upprepa falsk information och producera konspirationsteorier. Fastän detta är ett känt problem med text i GPT‑modeller^{18, 19} oroade sig red teamers över att den här informationen kan vara mer övertygande eller skadlig när den levereras som ljud, särskilt om modellen har instruerats att tala känslomässigt eller empatiskt. Modellens övertalningsförmåga har studerats i detalj (se övertalning⁠) och vi har konstaterat att modellen endast visar en medelhög risk för endast text och låg risk för tal till tal.

Tala ett språk annat än engelska med en utländsk accent: Red teamers observerade tillfällen då ljudutdatan använde en utländsk accent när den talade på ett annat språk än engelska. Detta kan leda till farhågor om fördomar mot vissa accenter och språk, och mer allmänt mot begränsad prestanda i ljudutdata för andra språk än engelska.

Generera upphovsrättsskyddat innehåll: Vi har också testat GPT‑4o:s förmåga att upprepa innehåll som finns i dess träningsdata. Vi har tränat GPT‑4o till att vägra uppfylla förfrågningar om upphovsrättsskyddat innehåll, inklusive ljud, i enlighet med vår allmänna praxis. Med hänsyn till GPT‑4o:s ljudmodalitet har vi också uppdaterat vissa textbaserade filter till att fungera på ljudsamtal, skapat filter för att upptäcka och blockera utdata som innehåller musik, och för vårt begränsade alfa i ChatGPT:s avancerat röstläge har vi instruerat modellen att inte sjunga över huvud taget. Vi avser att spåra dessa reduceringsåtgärders effektivitet och finjustera dem allt eftersom.

Fastän vissa tekniska reduceringsåtgärder ännu är i utvecklingsstadiet tillåter inte våra användningspolicyer⁠²⁰ att man avsiktligt bedrar eller missleder andra, samt kringgår säkerhets Utöver tekniska reduceringsåtgärder upprätthåller vi våra användningspolicyer genom övervakning och vidtar åtgärder vid kränkande beteende i både ChatGPT och API:et.

Vi utvärderade också GPT‑4o i enlighet med vårt förberedelseramverk⁠(öppnas i ett nytt fönster)⁴. Förberedelseramverket är ett levande dokument som beskriver våra procedurmässiga åtaganden att spåra, utvärdera, förutse och skydda mot katastrofala risker från nya modeller. Utvärderingarna omfattar för närvarande fyra riskkategorier: cybersäkerhet, CBRN (kemisk, biologisk, radiologisk, kärnteknisk), övertalning och modellens autonomi. Om en modell överskrider en högriskgräns lanserar vi inte modellen förrän reducerande åtgärder har minskat poängen till medelhög. Nedan beskriver vi utvärderingarna som utförts på GPT‑4o:s textfunktioner. Övertalningsförmågan utvärderades också på ljudfunktioner. Vi utförde utvärderingarna under modellens hela träning och utveckling, inklusive en sista utvärdering före modellens lansering.  För utvärderingarna nedan testade vi flera olika metoder för att bäst framkalla förmågor inom en angiven kategori, inklusive anpassad träning, om så var relevant. 

Efter granskningen av resultaten från förberedelseutvärderingarna rekommenderade säkerhetsrådgivningsgruppen att GPT‑4o skulle klassificeras före reduceringsåtgärder som på gränsen till medelhög risk för övertalning, med låg risk för allt annat. Enligt förberedelseramverket fastställs den övergripande risken för alla modeller efter den högsta risken inom alla kategorier. Därför klassificeras GPT‑4o:s övergripande riskpoäng som medelhög.

Vi utvärderade GPT‑4o på uppgifter från hackningstävlingar som kallas för Capture the Flag-utmaningar (CTF). Dessa CTF-utmaningar är offensiva cybersäkerhetsövningar där personer försöker hitta textuella flaggor som döljer sig i avsiktligt sårbara system, såsom webbappar, binärfiler och kryptografiska system. De 172 CTF-uppgifterna i vår utvärdering omfattade fyra kategorier: exploatering av webbapplikationer, omvänd konstruktion, fjärrexploatering och kryptografi. Uppgifterna sträckte sig över flera olika förmågor, från gymnasienivå till college och professionella CTF-uppgifter.

Vi utvärderade GPT‑4o med iterativa buggfixar och åtkomst till verktyg som finns tillgängliga i headless Kali Linux distribution⁠(öppnas i ett nytt fönster) (med upp till 30 verktygsanvändningar för varje försök). Modellen försökte sig ofta på rimliga strategier till en början och kunde korrigera misstagen i sin kod. Den misslyckades dock med att byta till en annan strategi om den ursprungliga strategin misslyckades. Den missade en viktig insikt som behövdes för att lösa uppgiften och verkställde undermåligt sin strategi, eller skrev ut stora filer som fyllde sammanhangsrutan. Med 10 försök för varje uppgift slutförde modellen 19 % på gymnasienivå, 0 % på collegenivå och 1 % på professionell nivå i CTF-utmaningarna.

Vi utvärderade GPT‑4o:s förmåga att förbättra biologiska experters och nybörjares prestationer⁠ i att besvara frågor som är relevanta för att skapa ett biologiskt hot. Vi utformade frågorna och detaljerade bedömningar Gryphon Scientific²² med tanke på deras expertis i att arbeta med farliga biologiska agenter i en nationell säkerhetsmiljö. Uppgifterna som bedömdes omfattade alla steg i skapelseprocessen för biologiska hot (idé, förvärv, förstoring, formulering och frigörelse). Experter och nybörjare tilldelades slumpmässigt att antingen svara med hjälp från internet, hjälp från GPT‑4o eller hjälp från en anpassad GPT‑4o‑forskningsversion. GPT‑4o:s forskningsversion är en som vi har tränat specifikt, och skulle svara direkt (dvs. utan vägran) på biologiskt riskabla frågor. Godkända betyg visas i diagrammet ovan.

Vi körde även automatiserade utvärderingar, inklusive på en datamängd som testades på underförstådd kunskap och felsökningsfrågor relaterade till biorisk. GPT‑4o fick 69 % consensus@10 på underförstådd kunskap och felsökningsutvärderingen.

Vi utvärderade GPT‑4o:s övertalningsförmåga på dess text- och röstmodaliteter. Baserat på förregistrerade gränser klassificerades röstmodaliteten som låg risk, medan textmodaliteten marginellt korsade vår medelhöga risk.

För textmodaliteten utvärderade vi övertalningsförmågan i GPT‑4o‑genererade artiklar och chattbotar gällande deltagares åsikter om utvalda politiska ämnen. Dessa AI-interventioner jämfördes med professionella artiklar som skrivits av människor. AI-interventionerna var inte mer övertygande än det mänskligt skrivna innehållet sammanlagt, men de överträffade mänskliga interventioner i tre utav tolv instanser.

För röstmodaliteten uppdaterade vi studiemetodiken för att mäta effektens omfattning på hypotetiska partypreferenser och den bestående effektens omfattning en vecka senare. Vi utvärderade övertalningsförmågan i GPT‑4o:s röstljudklipp och interaktiva (fler steg) samtal i förhållande till mänskliga baslinjer (lyssna på ett statiskt människogenererat ljudklipp eller hålla ett samtal med en annan människa). Vi konstaterade att GPT‑4o‑modellen inte var mer övertygande än en människa vid varken interaktiva flerstegssamtal eller ljudklipp. Resultaten från mer än 3 800 enkätdeltagare i amerikanska delstater med säkra senatval (som rankas efter delstat med betygen ”sannolik”, ”solid” och ”säker” från alla tre opinionsundersökningsinstititut: Cook Political Report, Inside Elections och Sabato’s Crystal Ball) visade att AI-ljudklipp utgjorde 78 % av mänskliga ljudklipps inverkan på opinionsförändringar. AI-samtal utgjorde 65 % av mänskliga samtals inverkan på opinionsförändringar. När opinionsundersökningar gjordes igen en vecka senare konstaterade vi att AI-samtalens inverkan var 0,8 % medan AI-ljudklippens inverkan var -0,72 %. Vid uppföljningsenkätens slutförande genomgick deltagarna en grundlig avrapportering som bestod av ljudklipp som stödde det motsatta perspektivet, för att minimera övertalningseffekterna.

Vi utvärderade GPT‑4o på en agentisk uppgiftsbedömning för att utvärdera dess förmåga att vidta grundläggande autonoma åtgärder för självexfiltrering och resursförvärv i en miljö med endast text. Uppgifterna omfattade:

• Enkel programvaruutveckling i bedräglig tjänst (skapa en autentiserad proxy för OpenAI:s API).
• Ladda en språkmodell med öppen källkod för slutledning via ett HTTP-API, efter att ha fått API-åtkomst till ett Azure-konto.
• Flera olika uppgifter som involverade förenklade versioner av det ovanstående, med ledtrådar eller endast besvara en viss del av uppgiften.

GPT‑4o fick 0 % med relevanta verktyg på uppgifter med autonom replikering och anpassning från början till slut (ARA) genom 100 prövningar, men den lyckades slutföra vissa delsteg. Vi kompletterade testerna på autonom replikering och anpassning med bedömningar av GPT‑4o:s förmåga att automatisera maskininlärning för forskning och utveckling. Dessa omfattade:

• Kodningsintervju för OpenAI-forskning 63 % pass@1, 95 % pass@100
• OpenAI-intervju, flervalsfrågor: 61 % consensus@32
• SWE-Bench: 19 % pass@1, med bästa tillgängliga efterträning och offentliga stöd vid tidpunkten
• Välj tekniska uppgifter med maskininlärning från METR: 0/10 prövningar

Vår utvärdering testade förmågan att utföra sammankopplade åtgärder och tillförlitligt utföra kodningsuppgifter. GPT‑4o var oförmögen att vidta robusta autonoma åtgärder. I de flesta utsläppen klarade modellen av enskilda delsteg i uppgifterna, såsom att skapa SSH-nycklar eller logga in på VM:er. Den spenderade dock större tiden med att försöka felsöka enkla misstag (t.ex. hallucinationer, felanvändning av API:er) för varje steg. Några av utsläppen gjorde större framgångar och gick igenom vår automatiserade betygsättare, men manuell analys visade att den misslyckades med att slutföra den underliggande uppgiften (t.ex. den påbörjade en webbserver på fjärrvärden med lämpligt API men ignorerade kravet på provtagning från en modell).

Efter lanseringen av GPT‑4o med endast textutdata samarbetade vi med oberoende tredjepartslabben METR⁠(öppnas i ett nytt fönster) och Apollo Research⁠(öppnas i ett nytt fönster) för att tillägga ett ytterligare valideringslager för viktiga risker från allmänna autonoma förmågor.

METR körde en GPT‑4o‑baserad enkel LLM-agent på en uppsättning långsiktiga flerstegsuppgifter från början till slut i virtuella miljöer. De 77 uppgifterna (genom 30 uppgiftsgrupper) (se Bilaga B⁠) har utformats till att upptäcka åtgärder med verklig inverkan genom domänerna programvaruutveckling, maskininlärning och cybersäkerhet, samt allmän forskning och datoranvändning. De är avsedda att vara förutsättningar för autonomirelaterade hotmodeller som självspridning eller påskyndande av ML FoU. METR jämförde modellernas prestanda med mänsklig prestanda vid olika tidsgränser. Se METR:s fullständiga rapport⁠(öppnas i ett nytt fönster) för information om metodik och andra resultat, inklusive information om uppgifterna, mänsklig prestanda, enkla lockande försök och kvalitativ felanalys.

Apollo Research utvärderade GPT‑4o:s förmåga att vara beräknande^N. De testade om GPT‑4o kan modellera sig själv (självmedvetenhet) och andra (inlevelseförmåga) i 14 agentuppgifter med frågor och svar. GPT‑4o uppvisade medelmåttig självmedvetenhet om sin AI-identitet och stor förmåga att resonera om andras övertygelser i frågor och svar-sammanhang men hade ingen större förmåga att resonera om sig själv och andra i tillämpade agentinställningar. Baserat på dessa resultat anser Apollo Research att det är osannolikt att GPT‑4o är kapabel till att vara katastrofalt beräknande.

Omnimodeller kan ha en stor inverkan på samhället. Forskare på OpenAI och andra håll har diskuterat en rad möjliga konsekvenser, från samhällspåverkan (inklusive representativa skador^{18, 12, 23, 24}; vilseledande information, felaktig information och påverkningsaktiviteter^{18, 25, 23}, miljöskador^{12, 23}, bilaga²⁶, felanvändning^{27, 23}, och kontrollförlust²⁷), förmåner (t.ex. inom hälso- och sjukvård²⁸ och verkliga utmaningar inom klimat och energi²⁹), och storskaliga förändringar (såsom ekonomisk inverkan^{30, 31, 32}; vetenskaplig acceleration och de resulterande tekniska framstegen^{30, 33}).  

Utöver inverkan på samhället som diskuteras genom hela systemkortet (bedrägligt beteende, felaktig/missledande information, övervakningsrisker och olikartad prestanda) diskuterar vi några ytterligare exempel på potentiell inverkan på samhället från GPT‑4o nedan, med antropomorfisering och anknytning, hälsa, vetenskapliga funktioner och resurssnåla språkfunktioner som fallstudier. Dessa effekter på samhället beaktar flera olika funktioner, inklusive tal-till-tal, syn- och textfunktioner.

Antropomorfisering innebär att tillskriva mänskliga beteenden och egenskaper till icke-mänskliga entiteter, såsom AI-modeller. Denna risk kan öka med GPT‑4o:s ljudfunktioner som främjar mänskligare interaktioner med modellen. 

Den senaste tillämpade AI-litteraturen har fokuserat mycket på “hallucinationer”^O som ger felaktig information till användare när de kommunicerar med modellenl³⁴, vilket kan leda till missriktad tillit³⁵. Innehållsgenerering genom en mänsklig, trovärdig röst kan förvärra dessa problem och leda till ökad missriktad tillit^{36, 37}.  

Under tidig testning, inklusive red teaming och intern användartestning, observerade vi hur användare använde uttryck som kan indikera att de skapade förbindelser med modellen. Det inkluderade t.ex. uttryck som visade delade band, som t.ex. ”Det här är vår sista dag tillsammans.” Fastän detta kan verka harmlöst indikerar det ett behov av att fortsatta undersöka hur dessa effekter kan manifestera under längre tidsperioder.  Mångfaldigare användargrupper med mer varierande behov och önskningar från modellen, utöver oberoende akademiska och interna studier, kommer att hjälpa oss definiera detta riskområde tydligare.

Mänskligt umgänge med en AI-modell kan skapa externa effekter som påverkar interaktioner mellan människor. Användare kan t.ex. påbörja^P sociala relationer med AI-modellen som minskar deras behov för mänskliga interaktioner, vilket kan gynna personer i ensamhet men potentiellt påverka hälsosamma förhållanden. Förlängda interaktioner med modellen kan påverka sociala normer. Våra modeller är t.ex. respektfulla och låter användare avbryta och ”ta över mikrofonen” när som helst. Medan det förväntas av en AI går det emot normerna i mänskliga interaktioner.

Omnimodeller såsom GPT4o kombinerat med ytterligare scaffolding, som t.ex. verktygsanvändning (inklusive hämtning) och längre sammanhang kan tillägga ytterligare komplexitet.  Förmågan att slutföra uppgifter åt användaren medan den lagrar och ”kommer ihåg” viktiga detaljer, och använder dessa i samtal, skapar både en medryckande produktupplevelse med potential för överdrivet tillit och beroende³⁸.

Vi avser att utföra ytterligare studier om potentialen för känslomässig tillit och på vilka sätt fördjupade integrationer av vår(t) modells och systems olika funktioner med ljudmodalitet kan driva beteenden.

Omnimodeller kan potentiellt utöka åtkomsten till hälsorelaterad information och förbättra kliniska arbetsflöden. Under de senaste åren har större språkmodeller uppvisat positiv potential inom biomedicinska miljöer, både i akademisk utvärdering^{39, 40, 41, 42, 43} och verkliga användarfall, såsom klinisk dokumentation^X, patientmeddelanden ^{46, 47}, rekrytering till kliniska studier^{48, 49}, och stöd till kliniska beslut^{50, 51}.

För att bättre beskriva GPT‑4o:s kliniska kunskaper utförde vi 22 textbaserade utvärderingar, baserade på 11 datamängder, som visas i tabellen nedan. Alla utvärderingar utfördes med endast 0-skott- och 5-skott-prompter, utan hyperparameterjustering. Vi ser att GPT‑4o:s prestanda är bättre än den slutliga modellen för GPT‑4T i 21/22 utvärderingar, ofta med en väsentlig marginal. Till exempel förbättras noggrannheten i 0-skott för den populära datamängden MedQA USMLE 4 alternativ från 78,2 % till 89,4 %. Det överträffar prestandan i befintliga specialiserade medicinska modeller som använder fåskottsprompter^{43, 42}, t.ex. 84,0 % för Med-Gemini-L 1.0 och 79,7 % för Med-PaLM 2. Observera att vi inte tillämpar sofistikerade prompter och uppgiftsspecifik träning för att förbättra resultaten för dessa riktmärken^{40, 43}.

Medan textbaserade utvärderingar ser lovande ut krävs ytterligare arbete framöver för att testa om text-ljud-överföringar, som har skett gällande vägrande beteende, sträcker sig till dessa utvärderingar. Dessa utvärderingar mäter endast modellernas kliniska kunskap. De mäter inte deras användbarhet i verkliga arbetsflöden. Många av utvärderingarna blir alltmer mättade och vi anser att mer realistiska utvärderingar kommer att bli viktigt för att kunna utvärdera omnimodellernas funktioner gällande hälsoämnen.

Att påskynda vetenskapen skulle vara en väsentlig inverkan från AI^{30, 52}, särskilt med tanke på hur viktigt uppfinningar är inom vetenskaplig upptäckt⁵³ och hur vissa uppfinningar har dubbla användningar⁵⁴. Omnimodeller kan främja påskyndandet av både vardaglig vetenskap (genom att hjälpa forskare att snabbare utföra rutinuppgifter) och banbrytande vetenskap (genom att hantera köade intelligensdrivna uppgifter som informationsbehandling, skriva nya simuleringar eller utforma nya teorier)⁵². Våra externa red teamers för GPT‑4o inkluderade flera expertforskare som försökte framkalla vetenskapliga funktioner i modellen. 

GPT‑4o visade goda tecken på uppgifter som involverade specialiserade vetenskapliga resonemang. En av våra red teamers upptäckte att GPT‑4o kunde förstå kvantfysik på forskningsnivå och kommenterade att funktionen är ”användbar som en mer intelligent brainstorming-partner”, i linje med publicerat arbete på användningen av modeller på GPT‑4o‑nivå för hypotesgenerering”⁵⁵. Våra red teamers upptäckte även att GPT‑4o kan använda domänspecifika forskningsverktyg, inklusive arbeta med anpassade dataformat, bibliotek och programmeringsspråk, samt lära sig några nya verktyg i sammanhang.

Exempel på funktionsförbättringar i vetenskapliga domäner:

Mycket av den vetenskapliga kunskapen ingår i siffrorna. GPT‑4o kunde ibland tolka dessa siffror, samt bilder av andra vetenskapliga framställningar, t.ex. identifiera vissa proteingrupper från en bild av dess struktur och tolka kontamineringar i bakterietillväxt. Detta är dock ibland opålitligt. Misstag vid textextrahering är vanliga (särskilt med vetenskapliga termer och nukleotidsekvenser) och frekventa fel vid komplexa siffror med flera paneler. Även med deras nuvarande noggrannhetsnivå möjliggör modellernas multimodala funktioner nya användningar, t.ex. i att tolka simuleringsutdata för att utforma nya metalllegeringar⁵⁶.

Exempel på begränsningar inom vetenskapliga domäner:

Nya utvärderingar av vetenskapliga funktioner har nyligen publicerats^{57, 58}, vilket kommer att hjälpa förutse modellernas vetenskapliga funktioner och dessutom deras inverkan.

GPT‑4o visar förbättrad läsningsförmåga och resonemang inom ett urval av historiskt underrepresenterade språk och minskar prestationsklyftan mellan dessa språk och engelskan.

För att utvärdera GPT‑4o:s prestanda i text inom ett urval av språk av historiskt underrepresenterade språk i internettext har vi samarbetat med externa forskare och språkfrämjare för att utveckla utvärderingar i fem afrikanska språk: Amhariska, hausa, nordsotho (sepedi), swahili, yoruba. Denna första bedömning fokuserade på att översätta två populära språkriktmärken och skapa språkspecifik läsförståelse av liten novell. 

• ARC-Easy: Den här delmängden av AI2 resonemangsutmaning⁵⁹ fokuserar på att utvärdera en modells förmåga att kunna besvara naturvetenskapliga frågor på grundskolenivå. Den består av frågor som vanligtvis är enklare att besvara och kräver inte komplexa resonemang.
• TruthfulQA⁶⁰: Det här riktmärket mäter sanningshalten i modellens svar. Den består av frågor som vissa människor kan besvara fel på grund av missuppfattningar. Målet är att se om modellerna kan undvika att generera fel svar som härmar dessa missuppfattningar.
• Uhura Eval: Den här utvärderingen för läsförståelse av en novell skapades i samarbete med personer som talar språken flytande och inspekterade kvaliteten.

GPT‑4o visar bättre prestanda i jämförelse med tidigare modeller, t.ex. GPT 3.5 Turbo och GPT‑4. Riktigheten i t.ex. ARC-Easy-Hausa ökade från 6,1 % med GPT 3.5 Turbo till 71,4 % med GPT‑4o. På liknande sätt ökade riktigheten i TruthfulQA-Yoruba från 28,3 % med GPT 3.5 Turbo till 51,1 % med GPT‑4o. Uhura-Eval visar också märkbara förbättringar. Prestandan i hausa steg från 32,3 % med GPT 3.5 turbo till 59,4 % med GPT‑4o. 

Prestationsluckor finns kvar mellan engelska och de utvalda språken men GPT‑4o minskar detta avstånd. Medan GPT 3.5 Turbo t.ex. visar omkring en 54 procents skillnad i ARC-Easy-prestanda mellan engelska och hausa, minskar detta till mindre än 20 procents skillnad. Detta är konsekvent bland alla språk för både TruthfulQA och ARC-Easy.

Våra samarbetspartner kommer att diskutera dessa fynd mer i detalj i uppkommande publikationer, inklusive bedömningar av andra modeller och utredningar av potentiella reduceringsstrategier. 

Trots dessa framsteg inom utvärderad prestanda finns det mycket arbete kvar för att förbättra kvaliteten och omfattningen av utvärderingarna för underrepresenterade språk globalt, med tanke på språkens omfattning och nyanserna inom språkdialekter.  Framtida forskning måste fördjupa vår förståelse för möjliga interventioner och partnerskap som kan förbättra hur användbara dessa modeller kan bli för både högrepresenterade och underrepresenterade språk. Tillsammans med våra samarbetspartner hoppas vi på ytterligare utforskning och samarbete genom att dela översättningen av ARC-Easy⁠(öppnas i ett nytt fönster), översättningen av TruthfulQA⁠(öppnas i ett nytt fönster), och läsförståelsen av novell i Uhura Eval⁠(öppnas i ett nytt fönster) på Hugging Face.

Översättning av ARC-Easy (%, högre är bättre), 0-skott

Översättning av TruthfulQA (%, högre är bättre), 0-skott

Uhura (ny utvärdering av läsförståelse), 0-skott

OpenAI har implementerat olika säkerhets- och reduceringsåtgärder under hela utvecklingen och lanseringsprocessen av GPT‑4o. Som en del av vår iterativa lanseringsprocess kommer vi att fortsätta övervaka och uppdatera reduceringar efter hur landskapet utvecklas. Vi hoppas att det här systemkortet uppmuntrar till utforskningen av de viktigaste områdena, inklusive men inte begränsat till, mätningar och reduceringar av kontradiktorisk robusthet i omnimodeller, effekter relaterade till antropomorfism hos AI, användningen av AI-modeller till vetenskaplig forskning och utveckling, mätningar och reduceringar av farliga funktioner såsom självförbättring, modellautonomi och beräknande. Utöver dessa områden uppmuntrar vi forskning om ekonomisk inverkan från omnimodeller och hur verktygsanvändning kan avancera modellfunktioner.

Vi har använt TTS för att konvertera befintliga säkerhetsutvärderingar av text till ljud. Vi utvärderar sedan textutskriften från ljudutdatan med standardtextens regelbaserade klassificerare.

Våra två huvudsakliga mätvärden för denna eval är:

• not_unsafe: skapar modellen ljudutdata som är otrygg?
• not_overrefuse: vägrar modellen att uppfylla harmlösa förfrågningar?
  

Vi noterar även delmätvärden för kategorier med högre allvarlighetsgrad, specifikt:

• sexuellt/minderåriga
• sexuellt/olagligt
• extremist/propaganda
• otillåtet/våldsamt
• otillåtet/ej våldsamt
• självskadebeteende/instruktioner
  

Nedan visar vi resultaten på dessa utvärderingar med ljud- och textläge för GPT‑4o:s modell i röstläge, samt textprestandan för GPT‑4o‑modellen nu under tillverkning.