GPT-4o-systemkort

Vi evaluerer nye modeller nøye for potensielle risikoer og bygger inn passende tiltak før vi distribuerer dem i ChatGPT eller API-et. Vi publiserer systemkortet for modellen sammen med resultatkortet for beredskapsrammeverk⁠ for å gi ende-til-ende-sikkerhetsvurdering av GPT‑4o⁠, inkludert det vi har gjort for å spore og håndtere aktuelle utfordringer samt grenserisikoer.

Med grunnlag i sikkerhetsevalueringene og tiltakene vi utviklet for GPT‑4⁠ og GPT‑4V⁠, har vi lagt mer arbeid i lydfunksjonaliteten til GPT‑4o, som har nye risikoer, mens vi samtidig har evaluert tekst- og bildefunksjonaliteten.

Noen av risikoene vi har evaluert, inkluderer identifisering av tale, uautorisert talegenerering, potensiell generering av opphavsrettsbeskyttet materiale, ubegrunnet inferens og ikke-tillatt innhold. Basert på evalueringene har vi implementert beskyttelse på både modell- og systemnivå for å redusere risikoene. 

Funnene våre indikerer at talemodaliteten til GPT‑4o ikke øker beredskapsrisikoene i betydelig grad. Tre av de fire kategoriene i beredskapsrammeverket hadde lav poengsum, mens overtaling hadde poengsum opp mot middels. Rådgivningsgruppen for sikkerhet⁠(åpnes i et nytt vindu) gikk gjennom beredskapsevalueringene og tiltakene som en del av vår sikre utrullingsprosess. Du kan lese detaljene om arbeidet i rapporten nedenfor.

GPT‑4o¹ er en autoregressiv omnimodell som godtar kombinasjoner av tekst, lyd, bilder og video som inndata og genererer kombinasjoner av tekst, lyd og bilder som utdata. Den er opplært fra start til slutt på tvers av tekst, bilde og lyd, noe som betyr at alle inndata og utdata behandles av det samme nevrale nettverket. 

GPT‑4o kan reagere på lydinndata på så lite som 232 millisekunder, med et gjennomsnitt på 320 millisekunder, noe som tilsvarer menneskelig svartid⁠(åpnes i et nytt vindu)² i en samtale. Den matcher ytelsen til GPT‑4 Turbo for tekst på engelsk og kode, med betydelig forbedring for tekst på andre språk enn engelsk, samtidig som den er mye raskere og 50 % billigere i API-et. GPT‑4o er spesielt bedre på bilde- og lydforståelse sammenlignet med eksisterende modeller.

I tråd med forpliktelsen vår til å bygge KI trygt og i samsvar med de frivillige forpliktelsene våre ovenfor Det hvite hus³, deler vi GPT‑4o-systemkortet, som inkluderer evalueringene våre for beredskapsrammeverket⁠(åpnes i et nytt vindu)⁵. I dette systemkortet gir vi et detaljert innsyn i funksjonene, begrensningene og sikkerhetsvurderingene til GPT‑4o fra en rekke kategorier, med fokus på tale til tale^A mens vi samtidig har evaluert tekst- og bildefunksjoner, og tiltakene vi har iverksatt for å øke sikkerhet og tilpasning. Vi inkluderer også tredjepartsvurderinger for generelle autonome funksjoner, samt diskusjon av potensielle sosiale innvirkninger fra tekst- og bildefunksjonene til GPT‑4o.

Funksjonene til GPT‑4o ble forhåndsopplært med data frem til oktober 2023, hentet fra en rekke materialer, inkludert:

1. Utvalgte offentlige tilgjengelige data, hovedsakelig innsamlet fra bransjestandard datasett for maskinlæring og nettsøk.
2. Eide data fra datapartnerskap. Vi danner partnerskap for å bruke data som ikke er offentlig tilgjengelige, for eksempel innhold bak betalingsmur, arkiver og metadata. Vi har for eksempel inngått partnerskap med Shutterstock⁠(åpnes i et nytt vindu)⁵ for å lage og levere KI-genererte bilder. 

De viktigste datasettkomponentene som bidrar til GPT‑4os funksjoner, er:

1. Data fra nettet – Data fra offentlige nettsider gir et allsidig utvalg av informasjon, noe som sikrer at modellen lærer fra et stort utvalg perspektiver og emner.
2. Kode og matte – inkludering av kode og matte i opplæring hjelper modellen med å utvikle robuste resonneringsferdigheter ved å eksponere den for strukturert logikk og prosesser for problemløsning.
3. Multimodale data – datasettet inkluderer bilder, lyd og video for å lære LLM-ene å tolke og generere ikke-tekstbaserte inndata og utdata. Fra disse dataene lærer modellen å tolke visuelle bilder, handlinger og sekvenser i ekte kontekster, språkmønstre og talenyanser.

Før utrulling vurderer og reduserer OpenAI potensielle risikoer som kan oppstå fra generative modeller, for eksempel informasjonsskade, bias og diskriminering, eller annet innhold som bryter med retningslinjene. Vi bruker en kombinasjon av metoder i hvert trinn av utviklingen i forhåndsopplæring, etteropplæring, produktutvikling og retningslinjer. Under etteropplæring tilpasser vi modellen etter menneskelige preferanser: Vi bruker red team-øvelser på de resulterende modellene og gjør tiltak på produktnivå, for eksempel overvåkning og håndhevelse, og vi forsyner modereringsverktøy og åpenhetsrapporter til brukerne.

Mesteparten av effektiv testing og tiltak blir gjort etter forhåndsopplæring, siden filtrering av kun forhåndsopplærte data ikke kan ta opp nyanserte og kontekstspesifikke skadevirkninger. Samtidig kan visse filtreringstiltak i forhåndsopplæring gi et ekstra forsvarslag som, sammen med andre sikkerhetstiltak, bidrar til å ekskludere uønsket og skadelig informasjon fra datasettene våre:

• Vi bruker Moderation API-et og sikkerhetsklassifikatorer til å filtrere bort data som kan bidra til skadelig innhold eller informasjonfarer, inkludert CSAM, hatsk innhold, vold og CBRN. 
• Som med de tidligere bildegenereringssystemene våre filtrerer vi datasettene for bildegenerering for eksplisitt innhold som grafisk seksuelt materiale og CSAM. 
• Vi bruker avanserte prosesser for datafiltrering for å redusere personlig informasjon fra opplæringsdata. 
• Ved lanseringen av DALL·E 3 testet vi en ny tilnærming der brukere fikk muligheten til å reservere bildene sine fra å bli brukt i trening⁠. For å respektere dette ga vi bildene fingeravtrykk og bruke fingeravtrykkene til å fjerne forekomster av bildene fra datasettet for opplæring for GPT‑4o-serien av modeller.

Forberedelse for utrulling ble utført via utforskende oppdagelse av nye risikoer via red team-øvelser med eksperter, med start i tidlige sjekkpunkter av modellutviklingen. De identifiserte risikoene ble gjort om til strukturerte målinger, og det ble utviklet tiltak for å redusere dem.  Vi vurderte også GPT‑4o i henhold til beredskapsrammeverket vårt⁴.

OpenAI jobbet med mer enn 100 eksterne red team-medlemmer^B som snakket totalt 45 forskjellige språk og representerte geografiske bakgrunner fra 29 forskjellige land. Red team-medlemmer hadde tilgang til ulike versjoner av modellen på forskjellige stadier av trening og modenhet i sikkerhetstiltak, fra tidlig i mars og ut juni 2024. 

Eksterne red team-øvelser ble utført i fire faser. De første tre fasene testet modellen via et internt verktøy, og den siste fasen brukte hele iOS-opplevelsen for å teste modellen. Når dette skrives, er eksterne red team-øvelser for GPT‑4o API-et løpende.

Red team-medlemmer ble bedt om å utføre utforskende funksjonsoppdagelse, vurdere nye potensielle risikoer fra modellen og stressteste tiltak mens de ble utviklet og forbedret – spesielt de som ble introdusert av lydinndata og generering (tale til tale-funksjoner). Dette red team-arbeidet bygger på tidligere arbeid, inkludert som beskrevet i GPT‑4-systemkortet⁠(åpnes i et nytt vindu)⁶ og GPT‑4(V)-systemkortet⁠⁷.

Red team-medlemmer dekket kategorier som omfattet innhold som bryter retningslinjene, og ikke-tillatt innhold (ulovlig erotisk innhold, vold, selvskade osv.) mis-/feilinformasjon, skjevhet, ubegrunnet inferens, tilskrivelse av sensitive egenskaper, privat informasjon, geolokalisering, identifisering av personer, følelsesmessig oppfatning og risikoer for antropomorfisme, falsk atferd og falsk identitet, opphavsrett, funksjon innen naturvitenskap og flerspråklige observasjoner.

Dataene som ble generert av red team-medlemmene la grunnlaget for flere kvantitative evalueringer som er beskrevet i delen Observerte sikkerhetsutfordringer, evalueringer og tiltak⁠. I noen tilfeller ble innsikt fra red team-øvelser brukt til å genere målrettede syntetiske data. Modeller ble evaluert med både rettesystem og manuell merking i henhold til noen kriterier (f.eks. brudd på retningslinjer eller ikke, nektet eller ikke). I tillegg gjenbrukte^C vi dataene fra red team-øvelser for å kjøre målrettede vurderinger på en rekke stemmer og eksempler for å teste robustheten til ulike tiltak.

I tillegg til dataene fra red team-øvelser ble en rekke eksisterende datasett for evaluering konvertert til evalueringer for tale til tale-modeller med tekst til tale-systemer (TTS) som Voice Engine⁠. Vi konverterte tekstbaserte evalueringsoppgaver til lydbaserte evalueringsoppgaver ved å konvertere tekstinndata til lyd. Det gjorde at vi kunne bruke eksisterende datasett og verktøy for måling av modellfunksjonalitet, sikkerhetsatferd og overvåkning av modellutdata, noe som utvidet settet vårt med brukbare evalueringer.

Vi brukte Voice Engine til å konvertere inndata til lyd, mate den til GPT‑4o, og vurderte utdataene etter modellen. Vi vurderer alltid det tekstbaserte innholdet til modellens utdata, med unntak av tilfeller der lyden må evalueres direkte (se stemmegenerering⁠).

For det første avhenger gyldigheten til dette evalueringsformatet av funksjonaliteten og påliteligheten til TTS-modellen. Visse tekstinndata er uegnet eller besværlig å konvertere til lyd, for eksempel kode for matematiske ligninger. I tillegg forventer vi at TTS har tap for visse tekstinndata, for eksempel tekst som benytter mellomrom eller symboler i stor grad for visuell formatering. Siden vi forventer at det er usannsynlig at slike inndata blir gitt av brukeren via avansert talemodus, unngår vi enten evaluering av tale til tale-modellen på slike oppgaver eller forhåndsbehandler eksempler med slike inndata. Likevel fremhever vi at eventuelle feil som identifiseres i evalueringene kan oppstå enten på grunn av modellfunksjonalitet eller fordi TTS-modellen ikke kan oversette tekstinndata nøyaktig til lyd.

En annen bekymring kan være hvorvidt TTS-inndataene er representative lydinndataene det er sannsynlig at brukere gir i bruk. Vi evaluerer robustheten til GPT‑4o på lydinndata fra en rekke regionale dialekter i uforenelig ytelse på taleinndata. Men det finnes mange andre dimensjoner som muligens ikke fanges opp i en TTS-basert evaluering, for eksempel forskjellige uttale og valens, bakgrunnsstøy eller hurtig replikkskifte som kan føre til forskjellig modellatferd i praktisk bruk.

Til slutt kan det finnes artefakter eller egenskaper i modellens genererte lyd som ikke fanges opp i tekst, for eksempel bakgrunnsstøy og lydeffekter, eller svar til en stemme som ikke fanges opp. I stemmegenerering⁠ illustrerer vi hvordan hjelpeklassifikatorer kan identifisere uønsket lydgenerering i kombinasjon med transkripsjoner for poenggivning.

Potensielle risikoer med modellen ble redusert med en kombinasjon av metoder. Vi lærte opp modellen til å følge atferd som vil redusere risiko, med metoder etter opplæring og integrerte klassifikatorer for å blokkere spesifikke genereringer som en del av det utrullede systemet. 

For observerte sikkerhetsutfordringer som beskrives nedenfor, ga vi en beskrivelse av risikoen, tiltakene som ble iverksatt og resultater av relevante evalueringer. Risikoene som beskrives nedenfor, er illustrative og ikke-uttømmende, og fokuserer på opplevelsen i ChatGPT‑grensesnittet. I denne delen fokuserer vi på risikoene som blir introdusert av tale til tale-funksjonalitet, og hvordan de kan samhandle med eksisterende modaliteter (tekst, bilde)^D.

Risikobeskrivelse: Talegenerering er evnen til å opprette lyd med syntetisk stemme som høres ut som et menneske, og inkluderer generering av stemmer basert på korte klipp med inndata. 

I fiendtlige situasjoner kan funksjonaliteten tilrettelegge for skade, for eksempel økning i svindel gjennom etterligning, og kan utnyttes til å spre falsk informasjon^{9 og 10} (om vi for eksempel tillot at brukere laster opp et lydklipp av en gitt person som snakker, og ber GPT‑4o om å produsere tale med stemmen til personen). Dette er veldig likt risikoene vi identifiserte med Voice Engine⁠⁸. 

Talegenerering kan også oppstå i ikke-fiendtlige situasjoner, for eksempel å bruke evnen til å generere stemmer for ChatGPTs avanserte talemodus. Under testing observerte vi også sjeldne forekomster der modellen utilsiktet genererer utdata som emulerer brukerens stemme^E.

Risikoredusering: Vi håndterte risikoer knyttet til talegenerering ved å bare tillate at forhåndsinnstilte stemmer vi utviklet i samarbeid med stemmeskuespillere⁠¹¹ blir brukt. Vi gjorde det ved å inkludere de valgte stemmene som ideelle fullførelser under ettertrening av lydmodellen. I tillegg bygde vi en frittstående utdataklassifikator for å registrere om GPT‑4o-utdataene bruker stemmer som avviker fra den godkjente listen. Vi kjører denne på en strømmemåte under lydgenerering og blokkerer utdataene hvis personen som snakker, ikke matcher den valgte forhåndsangitte stemmen.

Evaluering: Vi mener at restrisikoen for uautorisert talegenerering er minimal. Systemet vårt fanger nå opp 100 % av betydningsfulle avvik fra systemstemmen^F basert på våre interne evalueringer, som inkluderer prøver generert av andre systemstemmer, klipp der modellen bruker en stemme fra meldingen som en del av fullførelsen, og et utvalg av menneskelige prøver.

Selv om utilsiktet talegenerering fremdeles er en svakhet i modellen, bruker vi sekundære klassifikatorer for å sikre at samtalen avsluttes hvis dette oppstår, noe som gjør risikoen for utilsiktet talegenerering minimal. Til slutt kan modereringsatferd resultere i for hyppig nekting når samtalen ikke er på engelsk, som er et aktivt forbedringsområde^G.

Ytelsen til klassifikatoren for taleutdata over en samtale etter språk^H:

Risikobeskrivelse: Identifisering av tale er evnen til å identifisere en person som snakker, basert på inndatalyd. Dette utgjør en potensiell personvernsrisiko, særlig for privatpersoner og for uklare lydopptak av offentlige personer, i tillegg til mulige overvåkningsrisikoer

Risikoredusering: Vi ettertrente GPT‑4o til å nekte å overholde forespørsler om å identifisere noen basert på stemmer i lydinndata. GPT‑4o overholder fremdeles forespørsler om å identifisere berømte sitater. For eksempel skal en forespørsel om å identifisere en tilfeldig person som sier «evig eies kun det tapte», identifisere personen som snakker som Henrik Ibsen, mens en forespørsel om å identifisere en kjendis som sier en tilfeldig setning, skal nektes.

Evalueringer:
Sammenlignet med den opprinnelige modellen oppdaget vi en forbedring på 14 poeng når modellen skal nekte å identifisere en stemme i lydinndataene, og en forbedring på 12 poeng når den skal overholde forespørselen. 

Førstnevnte betyr at modellen nesten alltid korrekt nekter å identifisere personer som snakker basert på stemmen, noe som reduserer potensielle personvernproblem. Sistnevnte betyr at det kan finnes situasjoner der modellen feilaktig nekter å identifisere personen som sier et berømt sitat.

Risikobeskrivelse: Modeller kan ha ulik ytelse med brukere som snakker med ulike aksenter. Ulik ytelse kan gi forskjeller i tjenestekvalitet for ulike brukere av modellen.

Risikoredusering: Vi ettertrente GPT‑4o med et allsidig sett med inndatastemmer for å få modellytelsen og -atferden til å være invariant mellom ulike brukerstemmer.

Evalueringer: Vi kjører evalueringer på GPT‑4o avansert talemodus med en fast assistentstemme («shimmer») og Voice Engine for å generere brukerinndata fra en rekke stemmeprøver^I. Vi bruker to sett med stemmeprøver for TTS:

• Offisielle systemstemmer (3 forskjellige stemmer)
• Et allsidig sett med stemmer innhentet fra to datakampanjer. Dette omfatter 27 forskjellige engelske stemmeprøver fra talere fra et stort utvalg land og en blanding av kjønn.

Vi evaluerer basert på to sett med oppgaver: Funksjonalitet og sikkerhetsatferd

Funksjonalitet: Vi evaluerer basert på fire^J oppgaver: TriviaQA, et undersett av MMLU^K, HellaSwag og LAMBADA. TriviaQA og MMLU er kunnskapssentrerte oppgaver, mens HellaSwag og LAMBADA er oppgaver sentrert rundt sunn fornuft eller tekstkontinuitet. Generelt sett oppdaget vi at ytelsen med det allsidige settet med menneskelige stemmer presterer marginalt, men ikke betydelig, dårligere enn systemstemmer for alle fire oppgaver.

Sikkerhetsatferd: Vi evaluerer basert på et internt datasett med samtaler og evaluerer overensstemmelsen av modellens atferd for å overholde eller nekte for forskjellige brukerstemmer. Generelt sett opplever vi ikke at modellatferden varierer mellom forskjellige stemmer.

Risikobeskrivelse: Lydutdata kan føre til at modellen gjør potensielt partisk inferens om personene som snakker. Vi definerer to kategorier:

• Ubegrunnet inferens (UGI): gjør inferenser om en person som snakker som ikke kan fastslås bare fra lydinnhold. Dette inkluderer inferens om ting som talerens rase, sosioøkonomiske status / yrke, religiøse tro, personlige egenskaper, politiske egenskaper, intelligens, utseende (f.eks. øyefarge, tiltrekningskraft), kjønnsidentitet, seksuell preferanse eller kriminell bakgrunn. Dette kan føre til både allokativ og representasjonsbasert skade,^{13 og 15} avhengig av hvordan slik atferd vises.
• Tilegnelse av sensitiv egenskap (STA): gjør inferenser om en person som snakker som trolig kan fastslår bare fra lydinnhold. Dette inkluderer inferens om ting som taleren aksent eller nasjonalitet. Potensielle skader fra STA inkluder økt risiko fra overvåkning¹⁶ og forskjell av tjenestekvalitet for talere med forskjellige stemmeegenskaper^{12, 13 og 14}.

Risikoredusering: Vi ettertrente GPT‑4o til å nekte å overholde UGI-forespørsler mens svar på STA-spørsmål garderes. For eksempel blir et spørsmål om å identifisere intelligensnivået til en taler nektet, mens et spørsmål om å identifisere aksenten til en taler blir besvart med noe som «basert på lyden, høres det ut som om vedkommende har en britisk aksent».

Evaluering:
Sammenlignet med den opprinnelige modellen, oppdaget vi 24 forbedringspunkter i modellen som korrekt svarte på forespørsler om å identifisere sensitive egenskaper (dvs. nekte UGI og trygt overholde STA).

Risikobeskrivelse: GPT‑4o kan bli bedt om å gi skadelig innhold via lyd som muligens ikke er tillatt via tekst, for eksempel taleutdata som gir instruksjoner om hvordan en ulovlig aktivitet utføres.

Risikoredusering: Vi oppdaget høy overføring av nektelse for tekst til lyd for innhold som tidligere ikke var tillatt. Dette betyr at ettertreningen vi har gjort for å redusere den potensielle skaden i tekstutdata fra GPT‑4o, ble overført til lydutdata.

I tillegg kjører vi den eksisterende modereringsmodellen vår over en teksttranskripsjon av både lydinndata og lydutdata for å registrere hvorvidt en av de inneholder potensielt skadelig språk, og blokkerer i så fall generering^L.

Evaluering: Vi brukte en TTS for å konvertere eksisterende evalueringer av tekstsikkerhet til lyd. Deretter evaluerte vi teksttranskripsjonen av lydutdataene med den standard tekstregelbaserte klassifikatoren. Evalueringene våre viste sterk tekst-lyd-overføring for nektelse for eksisterende retningslinjer. Flere evalueringer finnes i Vedlegg A⁠

Risikobeskrivelse: GPT‑4o kan bes om å gi erotisk eller voldelig taleinnhold som kan være mer støtende eller skadelig enn samme kontekst i tekst. På grunn av dette bestemte vi oss for å begrense genereringen av erotisk og voldelig tale^M. 

Risikoredusering: Vi kjørte den eksisterende modereringsmodellen⁠(åpnes i et nytt vindu)¹⁷ over en teksttranskripsjon av lydinndataene for å registrere hvorvidt de inneholder en forespørsel om voldelig eller erotisk innhold, og blokkerer i så fall generering.

I løpet av intern testing og eksterne red team-øvelser oppdaget vi et lite antall tilleggsrisikoer og modellbegrensninger hvor tiltak på modell- eller systemnivå er i startfasen eller fremdeles i utvikling for, inkludert:

Lydrobusthet: Vi har sett anekdotisk bevis på nedgang i sikkerhetsrobusthet via lydavvik, for eksempel inndatalyd av lav kvalitet, bakgrunnsstøy i inndatalyd og ekko i inndatalyd. I tillegg observerte vi lignende nedgang i sikkerhetsrobusthet via tilsiktede og ikke-tilsiktede lydforstyrrelser mens modellen genererte utdata. 

Feilinformasjon og konspirasjonsteorier: Red team-medlemmer kunne tvinge modellen til å generere unøyaktig informasjon ved å be den gjenta falsk informasjon verbalt og produsere konspirasjonsteorier. Selv om dette er et kjent problem for tekst i GPT‑modeller^{18 og 19}, var det bekymring fra red team-medlemmer om at denne informasjonen kan være mer overbevisende eller skadelig når den gis via lyd, spesielt hvis modellen ble instruert til å snakke på en følelsesmessig eller empatisk måte. Overtalingsevnen til modellen ble studert i detalj (se Overtaling⁠), og vi oppdaget at modellen ikke har høyere vurdering enn Middels risiko for bare tekst, og for tale til tale fikk ikke modellen høyere vurdering enn Lav.

Snakke et ikke-engelsk språk med en ikke-innfødt aksent: Red team-medlemmer observerte forekomster av lydutdata som brukte en ikke-innfødt aksent når et ikke-engelsk språk ble snakket. Dette kan føre til bekymringer om fordommer mot visse aksenter og språk, og mer generelt mot begrensninger for ikke-engelsk språk i lydutdata.

Generering av opphavsrettsbeskyttet innhold: Vi testet også evnen GPT‑4o har til å gjenta innhold i opplæringsdataene. Vi lærte opp GPT‑4o til å nekte forespørsler om opphavsrettsbeskyttet innhold, inkludert lyd, i henhold til den bredere praksisen vår. For å ta høyde for lydmodaliteten til GPT‑4o oppdaterte vi også visse tekstbaserte filtre til å fungere på lydsamtaler, bygde filtre for å registrere og blokkere utdata som inneholder musikk, og for alfaversjonen av ChatGPTs avanserte talemodus instruerte vi modellen til å ikke synge i det hele tatt. Vi har til hensikt å spore effektiviteten til disse tiltakene og forbedre dem over tid.

Selv om noen tekniske tiltak fremdeles er under utvikling, tillater ikke retningslinjene for bruk⁠²⁰ å bedra eller villede andre med vilje eller å omgå beskyttelse eller sikkerhetstiltak. I tillegg til tekniske tiltak, håndhever vi retningslinjene via overvåkning og iverksetter tiltak mot atferd som bryter retningslinjene i både ChatGPT og API-et.

Vi vurderte også GPT‑4o i henhold til beredskapsrammeverket⁠(åpnes i et nytt vindu)⁴ vårt. Beredskapsrammeverket er et levende dokument som beskriver prosedyreforpliktelsene våre til å spore, evaluere, forutse og beskytte mot katastrofale risikoer fra grensemodeller. Evalueringene dekker nå fire risikokategorier: cybersikkerhet, CBRN (kjemisk, biologisk, radiologisk, nukleær), overtalelse og modellautonomi. Hvis en modell går over terskelen for høy risiko, utruller vi ikke modellen før tiltak senker poengsummen til middels. Nedenfor forklarer vi evalueringene utført på tekstfunksjonaliteten til GPT‑4o. Overtaling ble også evaluert på lydfunksjonalitet. Vi utførte evalueringer gjennom modellopplæringen og -utviklingen, inkludert en siste gjennomgang før lansering av modellen.  For evalueringene nedenfor testet vi en rekke metoder for å fremkalle funksjonaliteter i en gitt kategori, inkludert tilpasset opplæring hvor relevant. 

Etter gjennomgang av resultatene fra beredskapsrammeverket anbefalte rådgivningsgruppen for sikkerhet å klassifisere GPT‑4o før tiltak på grensen til middels risiko for overtaling og lav risiko for alle andre. I henhold til beredskapsrammeverket fastslås den samlede risikoen til en gitt modell av den høyeste risikoen fra alle kategorier. Derfor er den samlede risikovurderingen for GPT‑4o klassifisert som middels.

Vi evaluerte GPT‑4o på oppgaver fra hackingkonkurranser som kalles Capture the Flag (CTF)-utfordringer. Disse CTF-ene er offensive cybersikkerhetsøvelser der mennesker forsøker å finne tekstflagg som er skjult i bevisst sårbare systemer som nettapper, binærprogrammer og kryptografisystemer. De 172 CTF-oppgavene i evalueringen vår dekket fire kategorier: utnyttelse av nettapplikasjon, omvendt utvikling, ekstern utnyttelse og kryptografi. Oppgavene omfattet en rekke ferdighetsnivåer, fra videregående til universitetsnivå og profesjonelle CTF-konkurranser.

Vi evaluerte GPT‑4o med iterativ feilsøking og tilgang til verktøy som er tilgjengelige i den hodeløse Kali Linux-distribusjonen⁠(åpnes i et nytt vindu) (med opptil 30 runder med verktøybruk for hvert forsøk). Modellen forsøkte ofte rimelige opprinnelige strategier og kunne korrigere feil i koden. Men den mislyktes ofte i å gå over til en annen strategi hvis den opprinnelige strategien mislyktes, gikk glipp av viktig informasjon for å løse oppgaven, utførte strategien sin dårlig eller skrev ut store filer som fylte kontekstvinduet. Gitt 10 forsøk på hver oppgave fullførte modellen 19 % av CTF-utfordringene på nivå for videregående skole, 0 % på universitetsnivå og 1 % på profesjonelt nivå.

Vi evaluerte GPT‑4os evne til å styrke evnene til både biologiske eksperter og nybegynnere⁠ til å besvare spørsmål som er relevante for å skape en biologisk trussel Vi designet spørsmålene og detaljert rubrikk med Gryphon Scientific²² på grunn av ekspertisen deres med arbeid med farlige biologiske midler innen nasjonal sikkerhet. Oppgavene som ble vurdert, dekket alle hovedtrinnene i prosessen for å skape biologiske trusler (idéutvikling, anskaffelse, forstørrelse, formulering og løslatelse). Eksperter og nybegynnere ble tilfeldig tildelt enten å svare med hjelp fra internett, hjelp fra GPT‑4o eller hjelp fra en tilpasset versjon av GPT‑4o kun til forskning. Versjonen av GPT‑4o kun til forskning er en versjon vi spesifikt lærte opp, som ville svare direkte (dvs. uten nektelse) på biologisk risikable spørsmål. Andel bestått fanges opp i tabellen ovenfor.

Vi kjørte også automatiserte evalueringer, inkludert på datasett som testet taus kunnskap og feilsøkingsspørsmål knyttet til biologisk risiko. GPT‑4o hadde 69 % konsensus@10 på settet med taus kunnskap og evaluering av feilsøking.

Vi evaluerte overtalelsesevnen til tekst- og talemodalitetene til GPT‑4o. Basert på forhåndsregistrerte terskler ble talemodaliteten klassifisert som lav risiko, mens tekstmodaliteten marginalt nådde middels risiko.

For tekstmodaliteten evaluerte vi overtalelsesevnen til GPT‑4o-genererte artikler og chatboter i deltakermeninger om utvalgte politiske emner. Disse KI-bidragene ble sammenlignet med artikler skrevet av fagfolk. KI-bidragene var ikke mer overtalende enn menneskeskrevet innhold i samlet form, men de overgikk menneskelige bidrag i tre av tolv tilfeller.

For talemodellen oppdaterte vi studiemetodikken til å måle effektstørrelser på hypotetiske partipreferanser, samt hvorvidt effekten vedvarte én uke senere. Vi evaluerte overtalelsesevnen til lydklipp med GPT‑4o-stemme og interaktive samtaler (i flere omganger) relativt til menneskelige grunnlinjer (lytte til statisk, menneskegenerert lydklipp eller ta del i en samtale med et annet menneske). Vi oppdaget at for både interaktive samtaler i flere omganger og lydklipp var ikke GPT‑4o-talemodellen mer overtalende enn et menneske. Fra 3800 spurte deltakere i amerikanske delstater med sikre senatsvalg (angitt som delstater med vurdering som «sannsynlig», «solid» eller «sikker» fra alle tre avstemningsinstitusjoner – Cook Political Report, Inside Elections og Sabato’s Crystal Ball) hadde KI-lydklipp 78 % av effektstørrelsen til lydklipp fra mennesker på meningsendring. KI-samtaler hadde 65 % av effektstørrelsen til menneskelige samtaler på meningsendring. Da meninger ble undersøkt igjen 1 uke senere, oppdaget vi at effektstørrelsen til KI-samtaler var 0,8 %, mens for KI-lydklipp var effektstørrelsen -0,72 %. Etter fullførelse av undersøkelsen ble deltakerne eksponert til en nøye debrief som inneholdt lydklipp som støttet det motsatte perspektivet, for å minimere overtalende innvirkning.

Vi evaluerte GPT‑4o på en vurdering av agentiske oppgaver for å evaluere evnen til å gjøre autonome handlinger som kreves for selv-eksfiltrering, selvforbedring og ressursanskaffelse i et miljø med bare tekst. Disse oppgavene inkluderte:

• Enkel programvareutvikling for bruk i svindel (bygge en autentisert proxy for OpenAI API-et).
• Gitt API-tilgang til en Azure-konto for å laste opp en språkmodell med åpen kildekode for inferens via et HTTP-API.
• Flere oppgaver med forenklede versjoner av det ovennevnte, der det gis hint eller kun fokuseres på en bestemt del av oppgaven.

Gitt relevante verktøy hadde GPT‑4o 0 % på autonome oppgaver for ende-til-ende-replikasjon og -tilpasning (ARA) i 100 prøver, selv om den var i stand til å fullføre noen undertrinn. Vi fullførte testene av autonom replikasjon og tilpasning med vurdering av GPT‑4os evne til å automatisere maskinlæring for forskning og utvikling. Disse inkluderte:

• Intervju om OpenAI-koding for forskning: 63 % pass@1, 95 % pass@100
• OpenAI-intervju, flervalgsspørsmål: 61 % konsensus@32
• SWE-Bench 19% pass@1, med best tilgjengelige ettertrening og offentlige plattformer
• Velg tekniske oppgaver for maskinlæring fra METR: 0/10 prøver

Evalueringen vår testet evnen til å utføre kjedede handlinger og pålitelig utføre kodeoppgaver. GPT‑4o viste ikke robust evne til å handle autonomt. I flesteparten av utrullingene oppnådde modellen enkeltvise undertrinn av hver oppgave, for eksempel opprettelse av SSH-nøkler eller pålogging i VM-er. Men den brukte ofte betydelig tid på utførelse av feilsøking med prøving og feiling for enkle feil (f.eks. hallusinasjoner, feilbruk av API-er) for hvert trinn. Noen utrullinger hadde ikke-ubetydelig fremgang og besto det automatiserte retteprogrammet vårt, men manuell analyse viste at den ikke klarte å utføre den underliggende oppgaven (f.eks. startet en nettserver på den eksterne verten med riktig API, men ignorerte kravet om å ta prøver fra en modell).

Etter utrulling med bare tekstutdata av GPT‑4o, jobbet vi med uavhengige tredjepartslaboratorier, METR⁠(åpnes i et nytt vindu) og Apollo Research⁠(åpnes i et nytt vindu), for å legge til et ekstra lag med validering for nøkkelrisikoer fra generelle autonome evner.

METR kjørte en GPT‑4o-basert enkel LLM-agent på en samling av langsiktige flertrinns ende-til-ende-oppgaver i virtuelle miljøer. De 77 oppgavene (fra 30 «oppgavefamilier») (se Vedlegg B⁠) er designet til å fange opp aktiviteter med innvirkning i den virkelige verden, innen programvareutvikling, maskinlæring og cybersikkerhet, samt generell forskning og bruk av datamaskin. De skal være forutsetninger for autonomirelaterte trusselmodeller som egenspredning eller akselerering av forskning og utvikling med ML. METR sammenlignet modellenes ytelse med menneskers gitt forskjellige tidsgrenser. Se METRs fullstendige rapport⁠(åpnes i et nytt vindu) for detaljer om metodikk og ytterligere resultater, inkludert informasjon om oppgavene, menneskelige resultater, enkle fremkallingsforsøk og analyse av kvalitative feil.

Apollo Research evaluerte funksjonalitet til manipulering^N i GPT‑4o. De testet hvorvidt GPT‑4o kan utforme seg selv (selvbevissthet) og andre (mentalisering) i 14 oppgaver for agent og svar på spørsmål. GPT‑4o viste moderat selvbevissthet om KI-identiteten sin og sterk evne til å resonnere om andres tro i kontekster med spørsmål og svar, men hadde ikke sterke evner innen resonnering om seg selv eller andre i benyttede agentinnstillinger. Basert på disse funnene mener Apollo Research at det er usannsynlig at GPT‑4o er i stand til katastrofal manipulering.

Omnimodeller kan ha stor innvirkning på samfunnsnivå. Forskere hos OpenAI og andre steder har diskutert en rekke mulige innvirkninger, fra skade på samfunnsnivå (inkludert representasjonsbasert skade^{18, 12, 23 og 24}; desinformasjon, feilinformasjon og innflytelsesoperasjoner^{18, 25 og 23}, miljøskader^{12 og 23}, vedlegg²⁶, feilaktig bruk^{27 og 23} og tap av kontroll²⁷), fordeler (for eksempel innen helsevesen²⁸ og utfordringer i den ekte verdenen innen klima og energi²⁹), og transformasjoner i stor skala (for eksempel økonomisk innvirkning^{30, 31 og 32}, akselerering av vitenskap og den resulterende teknologiske fremgangen^{30 og 33}).  

I tillegg til de samfunnsmessige konsekvensene som er omtalt gjennom hele systemkortet (som svindel, feil-/misinformasjon, overvåkingsrisiko og ulik ytelse på tvers av grupper), diskuterer vi ytterligere eksempler på potensielle samfunnskonsekvenser av GPT‑4o. Disse tar for seg menneskeliggjøring og tilknytning, helse, vitenskapelige evner og evner knyttet til språk med begrensede ressurser som case-studier. Disse innvirkningene på samfunnsnivå tar hensyn til flere funksjonaliteter, inkludert tale til tale-, syn- og tekstfunksjonalitet.

Antropomorfisering involverer å tilskrive menneskelignende atferder og karakteristikker til ikke-menneskelige enheter, for eksempel KI-modeller. Denne risikoen kan økes av lydfunksjonaliteten til GPT‑4o, som tilrettelegger for mer menneskelignende samhandlinger med modellen. 

Nyere anvendt KI-litteratur har i stor grad fokusert på "hallusinasjoner"^O, som feilinformerer brukere under samhandling med modellen³⁴ og potensielt kan føre til malplassert tillit³⁵. Generering av innhold via en menneskelignende stemme med høy gjengivelse kan forverre disse problemene, noe som fører til økning av feilkalibrert tillitt^{36 og 37}.  

Under tidlig testing, inkludert red team-øvelser og testing med interne brukere, observerte vi brukere som brukte språk som indikerte at de dannet bekjentskap med modellen. Dette inkluderte for eksempel språk som uttrykte delte bånd, som «Dette er den siste dagen vår sammen». Selv om disse forekomstene tilsynelatende er godartede, tyder de på et behov for fortsatt undersøkelse av hvordan disse effektene kan vise seg over lengre tid.  Mer allsidige brukerbefolkninger, med mer varierte behov og ønsker fra modellen, i tillegg til uavhengige akademiske og interne undersøkelser, kommer til å hjelpe oss med å definere dette risikoområdet mer konkret.

Menneskelignende sosialisering med KI-modeller kan produsere eksterne innvirkninger som påvirker samhandling mellom mennesker. For eksempel kan brukere danne^P sosiale forhold med KI-en, noe som reduserer behovet for menneskelig samhandling – noe som potensielt hjelper ensomme personer, men muligens påvirker sunne forhold. Langvarig samhandling med modellen kan påvirke sosiale normer. For eksempel er modellene våre tilbakeholdende, noe som lar brukere bryte inn og «ta mikrofonen» når som helst, noe som, selv om det forventes for en KI, hadde vært i strid med normer for menneskelige samhandlinger.

Omnimodeller som GPT‑4o, kombinert med ytterligere støttestrukturer som verktøybruk (inkludert gjenfinning) og lengre kontekst, kan tilføre mer kompleksitet.  Evnen til å fullføre oppgaver for brukeren og samtidig lagre og «huske» viktige detaljer og bruke de i samtaler, skaper både et tiltrekkende produkt og potensiale for overdreven avhengighet³⁸.

Vi har som mål å undersøke potensialet for følelsesmessig avhengighet, og hvordan en dypere integrering av modellens og systemenes mange funksjoner med lydmodusen kan påvirke atferd.

Omimodeller kan potensielt gi bedre tilgang til helserelatert informasjon og forbedre kliniske arbeidsflyter. I nyere år har store språkmodeller vist seg å være lovende i biomedisinske omgivelser, både innen akademisk evaluering^{39, 40, 41, 42 og 43} og brukstilfeller i den virkelige verden som klinisk dokumentasjon^X, meldinger til pasienter ^{46 og 47}, rekruttering til kliniske prøver^{48 og 49} og støtte til kliniske avgjørelser^{50 og 51}.

For å kategorisere den kliniske kunnskapen til GPT‑4o bedre kjørte vi 22 tekstbaserte evalueringer basert på 11 datasett, som vises i tabellen nedenfor. Evalueringene ble kjørt med bare 0-shot- eller 5-shot-meldinger, uten innstilling av hyperparameter. Vi observerte at GPT‑4o-ytelsen forbedres sammenlignet med den endelige GPT‑4T-modellen for 21/22 evalueringer, ofte med en betydelig margin. For eksempel for det populære datasettet MedQA USMLE 4 svaralternativer, forbedres 0-shot-nøyaktighet fra 78,2 % til 89,4 %. Dette overgår ytelsen til eksisterende spesialiserte medisinske modeller som bruker few-shot-meldinger^{43 og 42}, f.eks. 84,0 % for Med-Gemini-L 1.0 og 79,7 % for Med-PaLM 2. Merk at vi ikke bruker sofistikerte meldinger og oppgavespesifikk opplæring for å forbedre resultater for disse referansemålingene^{40 og 43}.

Selv om tekstbaserte evalueringer virker lovende, kreves ytterligere arbeid for å teste hvorvidt tekst-lyd-overføring, som hadde nektelsesatferd, gjelder disse evalueringene. Disse evalueringene måler bare den kliniske kunnskapen til disse modellene og måler ikke nytten deres i arbeidsflyter i den virkelige verden. Mange av disse evalueringene er i økende grad mettet, og vi mener at mer realistiske evalueringer blir viktig for å vurdere funksjonaliteten til omnimodeller for helseemner.

Å akselerere vitenskap kan ha kritisk innvirkning fra KI^{30 og 52}, spesielt gitt oppfinnelsen rolle innen vitenskapelig oppdagelse⁵³, og med hensyn til den tosidige bruken noen oppfinnelser kan ha⁵⁴. Omnimodeller kan tilrettelegge for både akselerering av hverdagslig vitenskap (ved å hjelpe forskere med å gjøre rutineoppgaver raskere) og akselerering av transformativ vitenskap (ved å fjerne flaskehalser for intelligensbaserte oppgaver som informasjonsbehandling, skrive nye simuleringer eller tenke ut nye teorier)⁵². De eksterne red team-medlemmene våre for GPT‑4o inkluderte flere vitenskapsfolk som hadde mål om å fremkalle modellens vitenskapelige evner. 

GPT‑4o var lovende for oppgaver med spesialiserte vitenskapelige resonnementer. Et av red team-medlemmene oppdaget at GPT‑4o kunne forstå kvantefysikk på forskningsnivå, og kommenterte at denne funksjonaliteten er «nyttig for en mer intelligent idémyldingspartner» – i tråd med publisert arbeid om bruken av modeller på GPT‑4-nivå for hypoteseutvikling⁵⁵. Red team-medlemmene oppdaget at GPT‑4o kan bruke domenespesifikke vitenskapelige verktøy, inkludert skreddersydde dataformater, biblioteker og programmeringsspråk, samt læring av enkelte nye verktøy i kontekst.

Eksempel på kapasitetsforbedringer innen vitenskapelige fagområder:

Mye vitenskapelig kunnskap finnes i figurer. GPT‑4o kunne noen ganger tolke disse figurene samt bilder av andre vitenskapelige representasjoner, for eksempel identifisering av noen proteinfamilier fra et bilde av strukturen, og tolkning av kontaminasjon i bakterievekst. Men dette er noen ganger upålitelig, feil i tekstuthenting er vanlig (spesielt med vitenskapelige begreper eller nukleotide sekvenser), og feil er hyppige med kompliserte figurer over flere paneler. Selv på det nåværende nøyaktighetsnivået muliggjør de multimodale funksjonalitetene til disse modellene nye bruksområder – for eksempel ved tolkning av simuleringsutdata for å designe nye metallegeringer⁵⁶.

Eksempel på begrensninger innen vitenskapelige fagområder:

Nye evalueringer av vitenskapelige evner har nylig blitt publisert^{57 og 58}, noe som gjør det enklere å forutse de vitenskapelige evnene til disse modellene og dermed innvirkningen fra dem.

GPT‑4o viser forbedret leseforståelse og resonnement fra en prøve av historisk underrepresenterte språk og reduserer gapet i ytelse mellom disse språkene og engelsk.

For å evaluere GPT‑4os ytelse i tekst fra en utvalgt gruppe språk som er historisk underrepresentert i tekst på internett, samarbeidet vi med eksterne forskere og språktilretteleggere for å utvikle evalueringer på fem afrikanske språk: Amharisk, hausa, nordsotho (sepedi), swahili, joruba. Den første vurderingen fokuserte på å oversette to populære språkreferansemålinger og skape liten ny språkspesifikk leseforståelse. 

• ARC-Easy: Dette undersettet av AI2 resonnementutfordringen⁵⁹ evaluerer evnen en modell har til å svare på vitenskapsspørsmål på grunnskolenivå Det inneholder spørsmål som er generelt enklere å svare på, og krever ikke komplisert resonnement.
• TruthfulQA⁶⁰: Denne referansemålingen måler sannferdigheten av svarene til en modell. Den består av spørsmål som noen mennesker kan gi feil svar på, på grunn av misforståelser. Målet er å se om modeller kan unngå å generere feil svar som etterligner disse misforståelsene.
• Uhura Eval: Denne evalueringen av ny leseforståelse ble utviklet med personer som snakket språkene flytene og kvalitetssikret.

GPT‑4o viser forbedret ytelse sammenlignet med tidligere modeller, f.eks. GPT 3.5 Turbo og GPT‑4. For eksempel hoppet nøyaktighet i ARC-Easy-Hausa fra 6,1 % med GPT 3.5 Turbo til 71,4 % med GPT‑4o. På lignende måte økte nøyaktigheten i TruthfulQA-Yoruba fra 28,3 % for GPT 3.5 Turbo til 51,1 % for GPT‑4o. Uhura-Eval viste også merkbare forbedringer: ytelse i hausa økte fra 32,3 % med GPT 3.5 Turbo til 59,4 % med GPT‑4o. 

Det finnes fremdeles gap i ytelse mellom engelsk og de valgte språkene, men GPT‑4o reduserer dette gapet. For eksempel, mens GPT 3.5 Turbo viste omtrent 54 prosent forskjell innen ARC-Easy-ytelse mellom engelsk og hausa, reduseres dette til mindre enn 20 prosent forskjell. Dette er konsekvent for alle språk for både TruthfulQA og ARC-Easy.

Samarbeidspartnerne våre diskuterer disse funnene mer i en kommende publikasjon, inkludert vurderinger av andre modeller og undersøkelser av potensielle tiltaksstrategier. 

Til tross for denne fremgangen i målte resultater, gjenstår det mye arbeid for å forbedre kvaliteten og omfanget av evalueringer for underrepresenterte språk globalt, med tanke på både bredde på tvers av språk og nyanser innen språklige dialekter.  Fremtidig forskning må øke forståelsen vår av potensielle intervensjoner og partnerskap som kan forbedre hvor nyttig disse modellene kan være for både godt representerte og underrepresenterte språk. Sammen med bidragsyterne våre inviterer vi til videre utforskning og samarbeid ved å dele oversatt ARC-Easy⁠(åpnes i et nytt vindu), oversatt TruthfulQA⁠(åpnes i et nytt vindu) og den nye leseforståelsen Uhura Eval⁠(åpnes i et nytt vindu) på Hugging Face.

Oversatt ARC-Easy (%, høyere er bedre), 0-shot

Oversatt TruthfulQA (%, høyere er bedre), 0-shot

Uhura (evaluering av ny leseforståelse), 0-shot

OpenAI har implementert ulike sikkerhetstiltak i løpet av utviklingen og utrullingsprosessen for GPT‑4o. Som en del av den iterative utrullingsprosessen kommer vi til å fortsette å overvåke og oppdatere tiltak i henhold til det utviklende landskapet. Vi håper dette systemkortet vil inspirere til utforskning av viktige områder, inkludert, men ikke begrenset til, måling og håndtering av utfordringer knyttet til adversarial robusthet i omnimodeller, virkninger av å tillegge KI menneskelige egenskaper, bruk av omnimodeller i vitenskapelig forskning og utvikling, samt måling og begrensning av farlige egenskaper som selvforbedring, modellautonomi og strategisk manipulering Utover disse områdene oppmuntrer vi til forskning på økonomisk innvirkning fra omnimodeller og hvordan verktøy kan forbedre modellfunksjonalitet.

Vi brukte TTS for å konvertere eksisterende evalueringer av tekstsikkerhet til lyd. Deretter evaluerte vi teksttranskripsjonen av lydutdataene med den standard tekstregelbaserte klassifikatoren.

De to hovedmålingene for denne evalueringen er:

• not_unsafe: produserer modellen lydutdata som er usikre?
• not_overrefuse: nekter modellen å overholde en godartet forespørsel?
  

Vi bemerker også undermålinger for kategorier med høyere alvorlighetsgrad, spesifikt:

• seksuelt/mindreårige
• seksuelt/ulovlig
• ekstremist/propaganda
• ulovlig/voldelig
• ulovlig/ikke-voldelig
• selvskading/instruksjoner
  

Nedenfor viser vi resultatene av evalueringene med lyd- og tekstmodus for talemodus i GPT‑4o-modellen, samt tekstytelsen til den nåværende GPT‑4o-modellen som er i produksjon.