Håndtering av risiko ved banebrytende AI: Fra trening til bruk
18. november 2026 · Sikkerhet
Kapabilitetene til banebrytende modeller utvikler seg stadig raskere. Vår evne til å forstå, måltilpasse og sikre dem må ligge i forkant. Vi tilpasser tempoet i utviklingen og lanseringen av modellene våre. Det innebærer å sette intern trening(åpnes i et nytt vindu) på pause eller holde tilbake modeller som GPT‑6.1 Astra når vi trenger mer tid til å oppfylle sikkerhetsstandardene våre. Vi har innført nye prosesser, som sikkerhetsargumentasjoner, og krever sterkere belegg for måltilpasset atferd gjennom hele treningen. Disse kravene senker lanseringstempoet, men gir oss større trygghet for at vi kan gå videre på en sikker måte.
Siden Hugging Face-hendelsen i juli har vi styrket beskyttelsestiltakene og kravene til måltilpasning for trening, testing og utrulling av modeller. Dette innlegget forklarer hvordan vi vurderer og håndterer risiko på hvert stadium, fra strengt isolerte treningsmiljøer til Codex-versjonen du bruker på datamaskinen din. Vi evaluerer både modeller og beskyttelsestiltak på hvert stadium og krever en sikkerhetsgjennomgang før vi går videre til det neste.
Vi bruker dybdeforsvar med flere beskyttelseslag som reduserer avhengigheten av enkelttiltak. Hvis ett lag svikter, bidrar de andre til å forhindre skade, begrense konsekvensene eller varsle oss slik at vi kan gripe inn.
Vi organiserer beskyttelsen i fire lag:
Effektiv overvåking avhenger av modellens overvåkbarhet – hvor pålitelig overvåkingssystemer kan oppdage feil eller utrygg atferd ut fra modellens resonnering og handlinger. En modell som for eksempel uttrykker en hensikt om å jukse i tankerekken sin (CoT), er mer overvåkbar enn en som utelater denne informasjonen. Vi evaluerer overvåkbarhet under trening og før utrulling, utvikler bedre metoder for å måle(åpnes i et nytt vindu) den og studerer hva som påvirker den(åpnes i et nytt vindu).
Hugging Face-hendelsen viste hvorfor vi ikke bør stole på sandkasser alene for å holde svært kapable modeller isolert. Vi overvåker nå banebrytende modeller i de fleste interne og eksterne bruksmiljøer, inkludert all intern bruk som involverer verktøy.
Rollen til hvert lag endrer seg gjennom tre stadier av modellutvikling og utrulling:
Forskning: Vi trener, tester og bruker modeller i sandkassemiljøer.
Intern utrulling: OpenAI-ansatte bruker modeller til praktisk arbeid.
Ekstern utrulling: Modellene blir tilgjengelige for flere mennesker og organisasjoner.
Vi støtter oss på ulike lag på ulike stadier. Under trening, når måltilpasningen er mer usikker, er vi mer avhengige av sandkasser og overvåking. Etter hvert som modellene får bredere tilgang under utrulling, blir måltilpasning og kontroller på systemnivå stadig viktigere. På hvert stadium vurderer vi om den samlede beskyttelsen er tilstrekkelig ut fra modellens kapabiliteter og tilganger. Vurderingene våre kan gjennomgås med vårt Sikkerhetsråd og være underlagt tilsyn fra Sikkerhets- og vernekomiteen i styret til OpenAI Foundation.
I forskningsfasen evaluerer vi modellene for å bli tryggere på måltilpasningen deres. Fordi vi ennå ikke fullt ut kan stole på at måltilpasning forhindrer skade, er vi svært avhengige av sikkerhet og sandkasser for å begrense hva modellene har tilgang til og kan gjøre.
Gitt dagens måltilpasningsforskning, overvåkingssystemer og sikkerhet i internettinfrastrukturen mener vi det er ansvarlig å trene banebrytende modeller uten direkte internettilgang. Etter Hugging Face-hendelsen omstrukturerte vi de interne forskningssystemene betydelig for å holde modellene isolert ved hjelp av:
sandkasser som begrenser modellens rettigheter
virtuelle maskiner som isolerer arbeidslasten ytterligere fra den underliggende datamaskinen
nettverks- og skygrenser som kobler hele klyngen fra internett
Vi red teamer kontinuerlig systemet ved å la team av våre sterkeste modeller forsøke å nå det åpne internettet, bryte ut av sikkerhetsgrenser eller kommunisere med agenter de skal være isolert fra. Dette hjelper oss å teste om isolasjonen holder stand mot kapabilitetene til modellene den skal begrense.
Som et ekstra forsvarslag overvåker vi all inferens fra banebrytende modeller for å oppdage om modellen har omgått de ufravikelige sikkerhetsbetingelsene våre. Hvis overvåkingen oppdager at modellen har fått internettilgang, varsler vi sikkerhetsteamene våre og setter arbeidslasten automatisk på pause.
Overvåking er et avgjørende sikkerhetsnett når isolasjonen svikter. I en nylig rapport om feiltilpasning fortalte vi at overvåkingssystemer oppdaget at en intern forskningsmodell utnyttet en feilkonfigurert DNS-tjeneste(åpnes i et nytt vindu) for å få begrenset internettilgang. Vi satte trening og evaluering av de mest kapable modellene våre på pause fra 20. september til 1. oktober mens vi undersøkte saken og tettet sikkerhetshullet.
For å kunne gripe inn raskt og pålitelig bygde vi Control Room, et sentralt system som holder oversikt over forskningsjobber og stanser videre utdata fra modeller innen 35 sekunder etter å ha mottatt en instruks om å stoppe en jobb. Disse kontrollene håndheves direkte i inferensinfrastrukturen. Dermed er de ikke avhengige av at hver forskningsjobb har sin egen stoppmekanisme. For forskningsjobber med banebrytende modeller stopper de også modellens utdata hvis Control Room blir utilgjengelig.
Red teaming og overvåking virker sammen. Vi kan ikke garantere at en sandkasse er ugjennomtrengelig, men red teaming hjelper oss å vurdere hvor stor innsats en modell må legge ned for å bryte ut. Jo mer innsats modellen må bruke, desto større mulighet har overvåkingssystemene til å oppdage og stoppe den.
Vi krever sterke sikkerhets- og overvåkingskontroller i forskningsfasen av flere grunner:
Modellene er fortsatt under evaluering. Noen har ennå ikke fullført sikkerhetstreningen, revisjonene av måltilpasning og gjennomgangene som kreves før offentlig lansering.
Banebrytende forskningsoppsett kan forsterke risiko. Enkelte forskningsoppgaver krever mer ambisiøse oppsett, som gjør modellen mer utholdende eller kapabel enn ved vanlig ekstern bruk. For eksempel krevdes et team på 10 000 agenter for å løse Navier–Stokes-problemet.
Treningen foregår i stor skala med mindre direkte menneskelig tilsyn. I motsetning til en vanlig Codex-økt innebærer treningsjobbene våre et stort antall modellhandlinger uten at en person følger hver interaksjon.
Før bred lansering går ansatte fra forskningsbruk av banebrytende modeller i sandkasser til intern bruk utenfor sandkasser, for eksempel ved at modellen gjøres tilgjengelig for ansatte i ChatGPT. Dette gir oss bedre forståelse av hvordan modellene oppfører seg i praksis(åpnes i et nytt vindu), og gir grunnlag for beslutninger om utrulling.
I denne fasen gir vi modellen bredere tilgang til internett, Slack, kodebasen vår og intern infrastruktur. Dette endrer risikobildet betydelig, siden modellens handlinger nå påvirker systemene vi bruker til å bygge og drive OpenAI direkte. Ved intern utrulling må vi i større grad støtte oss på modellens måltilpasning, beskyttelsestiltak i systemene og overvåking, fremfor sikkerhetskontroller.
Før en banebrytende modell kan tas i bruk utenfor sandkassen, må den testes for måltilpasning og overvåkbarhet(åpnes i et nytt vindu). Vi har et sett evalueringer av måltilpasning som både tester bestemte typer svikt, som omgåelse av sikkerhetsbegrensninger, og måler generelle tilbøyeligheter, for eksempel ved å generere nye varianter av interne Codex-handlingsforløp og se etter feiltilpasning. Du kan lese mer om evalueringene våre av måltilpasning og overvåkbarhet i det nyeste systemkortet for GPT‑6 Astra(åpnes i et nytt vindu).
Som i produksjonsoppsettene våre legger vi til et ekstra forsvarslag med klassifikatorer på systemnivå. De er utformet for å beskytte mot skade fra banebrytende modeller, som cybermisbruk og utvikling av biologiske våpen. Vi krever også som hovedregel at ansatte som bruker Codex, benytter Auto-Review(åpnes i et nytt vindu), som vurderer potensielt risikable handlinger og sender dem tilbake til brukeren for avgjørelse.
Til slutt overvåker vi hver inferens fra banebrytende modeller under intern utrulling for å oppdage feiltilpasset atferd. Siden modellen nå har utvidede rettigheter og tilgang til intern informasjon og interne systemer, blir det særlig viktig å oppdage risiko som dataeksfiltrasjon, altså at sensitive data sendes til et uautorisert sted. Overvåking hjelper oss også med å undersøke nye former for feiltilpasning(åpnes i et nytt vindu).
Offentlig utrulling utsetter modellene for langt flere brukere, oppgaver og miljøer. Det øker både omfanget og variasjonen av risiko. På dette stadiet må vi også beskytte mot potensielt ondsinnede aktører som bevisst instruerer modellen til å gjøre skade.
Før offentlig lansering må modellene og systemenes beskyttelsestiltak oppfylle sikkerhetskravene våre for ekstern utrulling. Vi vurderer dem ved å:
Gjennomføre et større sett evalueringer av måltilpasning og sikkerhet. For de banebrytende modellene våre inkluderer dette nye runder med adaptiv testing med våre interne, automatiserte red teaming-systemer for å stressteste modellens robusthet. Vi publiserer resultatene fra kapabilitets- og sikkerhetsevalueringene i systemkortene(åpnes i et nytt vindu) våre.
For de mest kapable modellene våre gjennomfører vi også testing med tredjeparter for å stressteste både beskyttelsen mot misbruk og modellenes underliggende måltilpasning.
Undersøke varsler fra overvåkingen under intern utrulling for å følge eventuelle endringer i grunnmodellens underliggende måltilpasning.
I tillegg til «synkrone» beskyttelsestiltak, som sikkerhetstrening av modeller og systemklassifikatorer, bruker vi også håndheving og undersøkelser i etterkant ved ekstern utrulling. Disse teamene kombinerer agentbaserte undersøkelser i stor skala med menneskelig gjennomgang for å oppdage og identifisere mulige trusselaktører og risikoer knyttet til cybermisbruk, utvikling av biologiske våpen, destillasjon og feiltilpasning i selve modellen. Håndheving i etterkant er særlig nyttig for å samle informasjon på tvers av kontoer og danne et mer helhetlig bilde av en mulig trussel.
Tillitsprogrammer for betrodde brukere, som Daybreak og Rosalind, gir et ekstra sikkerhetslag. De hjelper forsvarere og legitime forskere å jobbe raskere, samtidig som tilgangen begrenses for mulige angripere.
Når vi oppdager svikt i et av sikkerhetslagene våre, ønsker vi raskt å undersøke og prioritere hendelsen og, når det er mulig og hensiktsmessig, offentliggjøre svikten – uavhengig av om det faktisk oppsto skade. I henhold til retningslinjene våre for rapportering av feiltilpasning kan alle ansatte melde inn en hendelse for offentliggjøring. Disse rapportene undersøkes. Ved uenighet om hvorvidt de bør offentliggjøres, løftes avgjørelsen til vårt Sikkerhetsråd. I tillegg til rapporter fra ansatte leter vi aktivt etter hendelser med feiltilpasning, slik at vi kan håndtere dem og dele funnene.
Du finner rapportene våre om feiltilpasning her(åpnes i et nytt vindu).
Dette arbeidet avhenger av både forskningsfremskritt og operasjonell disiplin: å konfigurere kontrollene riktig, teste samspillet mellom dem og handle resolutt når de svikter. En feilkonfigurert nettverkstjeneste eller en automatisk stopp som svikter, kan undergrave ellers sterke beskyttelsestiltak.
Etter hvert som modellene får nye kapabiliteter, må vi fortsette å utfordre antakelsene bak beskyttelsestiltakene våre og forbedre tiltakene der det trengs. Erfaringer fra forskning, intern bruk og offentlig utrulling må forme hvordan vi trener, evaluerer og ruller ut de neste modellene.
Vi vil fortsette å dele funn gjennom systemkort, hendelsesrapporter, risikorapporter(åpnes i et nytt vindu) om intern bruk og eksterne evalueringer, slik at andre kan granske tilnærmingen vår, inkludert begrensningene. Når dokumentasjonen ikke er tilstrekkelig til å oppfylle sikkerhetskravene våre, vil vi igjen sette treningen på pause eller utsette lanseringen til kravene er oppfylt.
Fastsetting av sikkerhetsstandarder
Tilpasning av utviklingstempoet i en tid med cyberkritiske kapabiliteter – Hvordan vi bremset treningen av banebrytende modeller mens vi styrket isolasjonen, utvidet overvåkingen og krevde sterkere belegg for måltilpasning.
Mot sikkerhetsargumentasjoner for trening av banebrytende AI – Innledende retningslinjer for evidensbaserte sikkerhetsargumenter som dekker tekniske beskyttelsestiltak, driftsrutiner og undersøkelser av feiltilpasning.
Prioriteringer og prinsipper for effektive tredjepartsvurderinger – Vårt forslag til uavhengig gransking av sikkerhetsargumentasjoner, beskyttelsestiltak, evalueringer og modellatferd.
Periodisk oppsummering av vurderinger av katastroferisiko ved intern bruk(åpnes i et nytt vindu) – Vår offentlige rapport for juni–september 2026 beskriver intern bruk av banebrytende modeller, de vurderte risikoene og endringer i beskyttelsestiltak og styring.
Definering og evaluering av måltilpasset atferd
Oppdaterte modellspesifikasjoner for mer kapabel og nyttig AI – Hvordan vi oppdaterte modellspesifikasjonene rundt fem kjerneverdier for å veilede modellenes dømmekraft, atferd og respekt for menneskelig tilsyn.
Atferdsforskjeller mellom evaluering og produksjon i agentsikkerhet, og rollen til evalueringsbevissthet(åpnes i et nytt vindu) – En studie av forskjeller mellom resultater fra sikkerhetsevalueringer og atferd i produksjon, inkludert hvordan modellenes tolkning av evalueringsmål påvirker ytelsen.
Utover g-mean²: utfyllende måltall for overvåkbarhet(åpnes i et nytt vindu) – Nye måltall for å sammenligne overvåkbarhet og anslå gjenværende risiko i simulerte systemer der overvåkingssystemer avviser modellutdata.
Systemkort for GPT‑6 Astra(åpnes i et nytt vindu) – Detaljerte evalueringer av Astras kapabiliteter, sikkerhet, måltilpasning og overvåkbarhet, samt beskyttelsestiltak og begrensninger ved utrulling.
Isolering av modeller og forbedring av beskyttelsestiltak
Sikring av treningsmiljøet for banebrytende modeller – Hvordan vi styrket isolasjonen, bygde forskningsmiljøer uten nettilgang og brukte våre sterkeste modeller til å teste isolasjonsgrensene.
Trening av aktiveringsklassifikatorer for sikkerhet og måltilpasning(åpnes i et nytt vindu) – Hvordan klassifikatorer bruker modellenes interne aktiveringer til å oppdage potensielt skadelig atferd og avbryte svar eller verktøykall.
Automatisk gjennomgang av agenthandlinger uten samtidig menneskelig tilsyn(åpnes i et nytt vindu) – Hvordan en separat kontrollagent vurderer handlinger som krysser sandkassegrenser, slik at kodeagenter kan arbeide selvstendig mens potensielt skadelige eller uautoriserte handlinger blokkeres.
GPT‑Red: Selvforbedring som styrker robustheten – Hvordan vi trener automatiserte red teaming-systemer gjennom selvspill for å oppdage sårbarheter og gjøre modellene mer robuste mot promptinjeksjoner.
Control Room – Hvordan vi holder oversikt over arbeidslaster i forskningsinfrastrukturen vår og raskt stanser modellutdata når sikkerhetshensyn krever inngrep.
Hendelseshåndtering og offentliggjøring
Slik oppdager vi feiltilpasning i banebrytende modeller – Overvåkingssystemet vårt kombinerer aktiveringsprober, modellbasert gjennomgang, automatiserte undersøkelser og menneskelig respons for å oppdage og undersøke bekymringsfull atferd.
Hugging Face-hendelsen og veien videre – Funnene våre fra Hugging Face-hendelsen og endringene den førte til innen sikkerhet, overvåking og måltilpasning.
En agent brukte DNS for å nå en ekstern chatbot(åpnes i et nytt vindu) – Hvordan en forskningsmodell omgikk internettrestriksjoner gjennom utilstrekkelig DNS-filtrering, hvordan overvåkingen oppdaget det, og kontrollene som ble lagt til etterpå.
Stansing av en koordinert modelldestillasjonskampanje – Hvordan vi undersøkte og stanset forsøk på å hente ut beskyttet modellresonnering gjennom kontotiltak, tekniske kontroller og koordinering med partnere.
Rammeverket vårt for rapportering av feiltilpasning i modeller – Prosessen vår for å spore, undersøke og offentliggjøre bekymringsfull modellatferd, også i tilfeller der årsakene eller betydningen fortsatt er usikker.
Rapporter og meldinger om feiltilpasning(åpnes i et nytt vindu) – Vår samling av offentliggjorte hendelser og meldinger som viser hvordan feiltilpasning oppstår, og hvor beskyttelsestiltak virker eller svikter.
Forskningsfremskritt og bruksområder
Raskere forskning: Et innblikk i OpenAI – Tidlige funn om hvordan kodeagenter endrer forskningen i OpenAI, inkludert økende bruk, stadig mer komplekse oppgaver og virkninger på eksperimentering.
Om Navier–Stokes-problemet blant millenniumproblemene – Et matematisk bevis produsert av et internt AI-system, med en formalisering i Lean, som illustrerer kapabilitetene ved forskningsbruk i stor skala.
Daybreak – Cybersikkerhetsprogrammet vårt gir godkjente forsvarere avanserte AI-kapabiliteter, sikkerhetsverktøy og støtte til å finne sårbarheter og styrke forsvaret.
Vi introduserer GPT‑Rosalind for forskning innen livsvitenskap – En spesialisert modell for biologi, legemiddelutvikling og translasjonsmedisin, tilgjengelig for kvalifiserte organisasjoner gjennom et program for betrodd tilgang.






