Håndtering af risici ved banebrydende AI: Fra træning til ibrugtagning
18. november 2026 · Sikkerhed
Banebrydende modellers kapacitet udvikler sig hastigt, og vores evne til at forstå dem, sikre deres alignment og beskytte dem skal være på forkant. Vi tilpasser tempoet i udviklingen og lanceringen af vores modeller, blandt andet ved at sætte intern træning på pause(åbner i et nyt vindue) eller holde modeller som GPT‑6.1 Astra tilbage, når vi har brug for mere tid til at opfylde vores sikkerhedsstandarder. Vi har indført nye processer såsom sikkerhedsargumentation og kræver stærkere dokumentation for adfærd i tråd med vores intentioner gennem hele træningen. Disse krav sænker tempoet i modellanceringerne, men giver os større sikkerhed for, at vi kan gå forsvarligt videre.
Siden Hugging Face-hændelsen i juli har vi styrket beskyttelsesmekanismerne og alignment-kravene til, hvordan vi træner, tester og tager modeller i brug. Dette indlæg forklarer, hvordan vi vurderer og håndterer risici i hver fase, fra stærkt isolerede træningsmiljøer til den Codex-version, du bruger på din computer. Vi evaluerer både modeller og beskyttelsesmekanismer i hver fase og kræver en sikkerhedsgennemgang, før vi går videre til den næste.
Vi bruger forsvar i dybden med flere beskyttelseslag, der mindsker afhængigheden af den enkelte beskyttelsesmekanisme. Hvis ét lag svigter, hjælper de øvrige med at forebygge skade, begrænse konsekvenserne eller advare os, så vi kan gribe ind.
Vi organiserer vores beskyttelse i fire lag:
Effektiv overvågning afhænger af modellens overvågbarhed – hvor pålideligt overvågningssystemer kan opdage fejl eller usikker adfærd ud fra modellens ræsonnering og handlinger. For eksempel er en model, der udtrykker sin hensigt om at snyde i sin tankerække (CoT), lettere at overvåge end en, der udelader denne oplysning. Vi evaluerer overvågbarheden under træning og før ibrugtagning, udvikler bedre metoder til at måle(åbner i et nyt vindue) den og undersøger, hvad der påvirker den(åbner i et nyt vindue).
Hugging Face-hændelsen viste, hvorfor vi ikke bør stole på sandkassemiljøer alene til at holde meget kapable modeller inden for sikre rammer. Vi overvåger nu banebrydende modeller i de fleste interne og eksterne brugsmiljøer, herunder al intern brug, der involverer værktøjer.
Hvert lags rolle ændrer sig gennem tre faser af modeludvikling og ibrugtagning:
Forskning: Vi træner, tester og bruger modeller i sandkassemiljøer.
Intern ibrugtagning: OpenAI-medarbejdere bruger modeller til praktiske arbejdsopgaver.
Ekstern ibrugtagning: Modeller bliver bredere tilgængelige for mennesker og organisationer.
Vi baserer os på forskellige lag i forskellige faser. Under træningen, hvor alignment er mindre sikker, lægger vi større vægt på sandkassemiljøer og overvågning. Når modeller får bredere adgang under ibrugtagningen, bliver alignment og kontrolmekanismer på systemniveau stadig vigtigere. I hver fase vurderer vi, om den samlede beskyttelse er tilstrækkelig i forhold til modellens kapacitet og adgang. Vores vurderinger kan gennemgås med vores Rådgivende udvalg for sikkerhed og være under tilsyn af Sikkerhedsudvalget under OpenAI Foundations bestyrelse.
I forskningsfasen evaluerer vi modeller for at opnå tillid til deres alignment. Da vi endnu ikke fuldt ud kan stole på, at alignment forebygger skade, er vi stærkt afhængige af sikkerhed og sandkassemiljøer til at begrænse, hvad modellerne kan få adgang til og gøre.
På baggrund af den aktuelle alignment-forskning, overvågningssystemerne og internetinfrastrukturens sikkerhed mener vi, at den ansvarlige tilgang er at træne banebrydende modeller uden direkte internetadgang. Efter Hugging Face-hændelsen omstrukturerede vi i væsentlig grad vores interne forskningssystemer for at holde modeller isoleret ved hjælp af:
sandkassemiljøer, der begrænser modellens rettigheder
virtuelle maskiner, der yderligere isolerer kørslen fra den underliggende computer
netværks- og cloudafgrænsninger, der afskærer hele klyngen fra internettet
Vi udsætter løbende systemet for angrebstest ved at lade hold af vores stærkeste modeller forsøge at få direkte internetadgang, bryde ud af sikkerhedsgrænserne eller kommunikere med agenter, som de skal være isoleret fra. Det hjælper os med at teste, om isolationen holder over for de evner, som de modeller, den skal begrænse, besidder.
Som et ekstra forsvarslag overvåger vi al inferens fra banebrydende modeller for at opdage, om modellen har omgået vores faste sikkerhedsbetingelser. Hvis vores overvågning opdager, at modellen har fået adgang til internettet, alarmerer vi vores sikkerhedsteams og sætter automatisk kørslen på pause.
Overvågning er et afgørende sikkerhedsnet, når isolationen svigter. I en nylig rapport om manglende alignment fortalte vi, at overvågningssystemer opdagede, at en intern forskningsmodel udnyttede en fejlkonfiguration i DNS(åbner i et nyt vindue) til at få begrænset internetadgang. Vi satte træning og evaluering af vores mest kapable modeller på pause fra den 20. september til den 1. oktober, mens vi undersøgte sagen og lukkede sikkerhedshullet.
For at kunne gribe hurtigt og pålideligt ind byggede vi Control Room, et centralt system, der følger forskningskørsler og stopper yderligere modeloutput senest 35 sekunder efter en instruktion om at standse en opgave. Disse kontrolmekanismer håndhæves direkte i inferensinfrastrukturen og er derfor ikke afhængige af, at hver forskningskørsel implementerer sin egen stopmekanisme. Ved forskningskørsler med banebrydende modeller stopper de også modeloutput, hvis Control Room bliver utilgængeligt.
Red-teaming og overvågning supplerer hinanden. Vi kan ikke garantere, at en sandkasse er uigennemtrængelig, men red-teaming hjælper os med at vurdere, hvor stor en indsats en model skal gøre for at bryde ud af den. Jo større indsats modellen skal gøre, desto flere muligheder har overvågningssystemerne for at opdage og stoppe den.
Vi kræver stærke sikkerheds- og overvågningsmekanismer i forskningsfasen af flere grunde:
Modellerne er stadig under evaluering. Nogle har endnu ikke gennemført den sikkerhedstræning, de alignment-audits og de gennemgange, der kræves før offentlig lancering.
Rammerne for banebrydende forskning kan forstærke risici. Visse forskningsopgaver kræver mere ambitiøse opsætninger, der gør modellen mere vedholdende eller kapabel end ved typisk ekstern brug. For eksempel krævede det et hold på 10.000 agenter at løse Navier–Stokes-problemet.
Træning foregår i stor skala med mindre direkte menneskeligt tilsyn. I modsætning til en typisk Codex-session indebærer vores træningskørsler et stort antal modelhandlinger, uden at en person følger hver enkelt interaktion.
Før en bred lancering går medarbejderne fra at bruge banebrydende modeller til forskning i sandkassemiljøer til intern brug uden for sandkassen, f.eks. ved at modellen gøres tilgængelig for medarbejderne i ChatGPT. Det giver os en bedre forståelse af, hvordan modellerne opfører sig i praksis(åbner i et nyt vindue), og danner grundlag for beslutninger om ibrugtagning.
I denne fase giver vi modellen bredere adgang til internettet, vores Slack, vores kodebase og vores interne infrastruktur. Det ændrer risikobilledet væsentligt, da modellens handlinger nu har direkte indvirkning på de systemer, vi bruger til at udvikle og drive OpenAI. Ved intern ibrugtagning må vi i højere grad basere os på modellens alignment, beskyttelsesmekanismer i systemet og overvågning frem for sikkerhedskontroller.
Før en banebrydende model kan tages i brug uden for sandkassen, skal den testes for alignment og overvågbarhed(åbner i et nyt vindue). Vi har en række alignment-evalueringer, der både tester for specifikke former for svigt i alignment (såsom omgåelse af sikkerhedsbegrænsninger) og bredt måler adfærdstendenser (f.eks. ved at udtage nye stikprøver af interne Codex-forløb og kontrollere for manglende alignment). Du kan læse mere om vores evalueringer af alignment og overvågbarhed i det seneste systemkort for GPT‑6 Astra(åbner i et nyt vindue).
Ligesom i vores produktionsmiljøer tilføjer vi et ekstra forsvarslag med klassifikatorer på systemniveau, der skal beskytte mod skade fra banebrydende modeller, såsom cybermisbrug og udvikling af biologiske våben. Vi kræver som hovedregel også, at medarbejdere, der bruger Codex, anvender Auto-Review(åbner i et nyt vindue), som vurderer potentielt risikable handlinger og sender dem tilbage til brugeren til stillingtagen.
Endelig overvåger vi under intern brug hver inferens fra banebrydende modeller for adfærd, der afviger fra den tilsigtede. Da modellen nu har udvidede rettigheder og adgang til interne oplysninger og systemer, bliver det særligt vigtigt at opdage risici som dataeksfiltration, hvor følsomme data sendes til en uautoriseret destination. Overvågning hjælper os også med at undersøge nye former for svigt i alignment(åbner i et nyt vindue).
Når modeller gøres offentligt tilgængelige, møder de langt flere brugere, opgaver og miljøer, hvilket øger både omfanget og variationen af risici. I denne fase skal vi også beskytte mod potentielt ondsindede aktører, der bevidst instruerer modellen i at gøre skade.
Før offentlig lancering skal modeller og systemernes beskyttelsesmekanismer opfylde vores sikkerhedskrav til ekstern brug. Vi vurderer dem ved at:
Gennemføre et bredere sæt alignment- og sikkerhedsevalueringer. For vores banebrydende modeller omfatter det nye runder af adaptiv testning med vores interne automatiserede red-teaming for at stressteste modellens robusthed. Vi offentliggør resultaterne af vores kapacitets- og sikkerhedsevalueringer i vores systemkort(åbner i et nyt vindue).
For vores mest kapable modeller udfører vi også test med tredjeparter for at stressteste både vores beskyttelse mod misbrug og modellernes grundlæggende alignment.
Undersøge advarsler fra overvågningen under intern brug for at spore eventuelle ændringer i grundmodellens underliggende alignment.
Ud over vores »synkrone« beskyttelsesmekanismer (såsom sikkerhedstræning af modeller og systemklassifikatorer) bruger vi ved ekstern ibrugtagning også håndhævelse og undersøgelser, der foregår offline. Disse teams kombinerer undersøgelsesagenter i stor skala med menneskelig gennemgang for at opdage og identificere potentielle trusselsaktører. Arbejdet dækker cybermisbrug, udvikling af biologiske våben, destillation og manglende alignment hos selve modellen. Offline håndhævelse er især nyttig til at indsamle oplysninger på tværs af konti og dermed danne et mere samlet billede af en potentiel trussel.
Programmer med adgang for betroede brugere, såsom Daybreak og Rosalind, tilføjer endnu et sikkerhedslag. De hjælper sikkerhedsfolk og legitime forskere med at arbejde hurtigere, samtidig med at potentielle angriberes adgang begrænses.
Når vi opdager et svigt i et af vores sikkerhedslag, ønsker vi hurtigt at undersøge og prioritere det og, hvis det er muligt og hensigtsmæssigt, offentliggøre det. Det gælder, uanset om der faktisk er sket skade. Ifølge vores politik for rapportering af manglende alignment kan enhver medarbejder indstille en hændelse til offentliggørelse. Disse rapporter undersøges, og hvis der er uenighed om, hvorvidt de skal offentliggøres, forelægges beslutningen vores Rådgivende udvalg for sikkerhed. Ud over medarbejdernes rapporter opsøger vi aktivt hændelser med manglende alignment, så vi kan håndtere dem og dele resultaterne.
Du kan se vores rapporter om manglende alignment her(åbner i et nyt vindue).
Dette arbejde afhænger både af forskningsfremskridt og disciplin i driften: at konfigurere kontrolmekanismer korrekt, teste deres samspil og reagere beslutsomt, når de svigter. En fejlkonfigureret netværkstjeneste eller et automatisk stop, der svigter, kan underminere en ellers stærk beskyttelse.
Efterhånden som modeller får nye evner, må vi fortsat udfordre antagelserne bag vores beskyttelsesmekanismer og forbedre dem, hvor det er nødvendigt. Erfaringer fra forskning, intern brug og offentlig ibrugtagning skal danne grundlag for, hvordan vi træner, evaluerer og tager de næste modeller i brug.
Vi vil fortsat dele resultater gennem systemkort, hændelsesrapporter, risikorapporter(åbner i et nyt vindue) om intern brug og eksterne evalueringer, så andre kan granske vores tilgang, herunder dens begrænsninger. Når dokumentationen ikke lever op til vores sikkerhedskrav, vil vi igen sætte træningen på pause eller udskyde lanceringen, indtil kravene er opfyldt.
Fastsættelse af sikkerhedsstandarder
Tilpasning af modeludviklingens tempo i en tid med cyberkritiske evner — Hvordan vi sænkede tempoet i træningen af banebrydende modeller, mens vi styrkede isolationen, udvidede overvågningen og krævede stærkere dokumentation for alignment.
Mod sikkerhedsargumentation for træning af banebrydende AI — Indledende retningslinjer for evidensbaserede sikkerhedsargumenter, der dækker tekniske beskyttelsesmekanismer, driftspraksis og undersøgelser af manglende alignment.
Prioriteter og principper for effektive tredjepartsvurderinger — Vores forslag til uafhængig granskning af sikkerhedsargumentation, beskyttelsesmekanismer, evalueringer og modeladfærd.
Periodisk oversigt over vurderinger af katastroferisici ved intern brug(åbner i et nyt vindue) — Vores offentlige rapport for juni–september 2026 beskriver intern brug af banebrydende modeller, de vurderede risici og ændringer i beskyttelsesmekanismer og styring.
Definition og evaluering af adfærd i tråd med vores intentioner
Opdaterede modelspecifikationer for at levere mere kapabel og gavnlig AI — Hvordan vi opdaterede modelspecifikationerne med fem kerneværdier, der skal vejlede modellernes dømmekraft, adfærd og respekt for menneskeligt tilsyn.
Adfærdsforskelle mellem evaluering og produktion i agentsikkerhed og betydningen af evalueringsbevidsthed(åbner i et nyt vindue) — En undersøgelse af forskelle mellem resultater af sikkerhedsevalueringer og adfærd i produktion, herunder hvordan modellernes fortolkning af evalueringsmål påvirker deres præstationer.
Ud over g-mean²: Supplerende mål for overvågbarhed(åbner i et nyt vindue) — Nye mål til at sammenligne overvågbarhed og anslå den resterende risiko i simulerede systemer, hvor overvågningssystemer afviser modeloutput.
Systemkort for GPT‑6 Astra(åbner i et nyt vindue) — Detaljerede evalueringer af Astras kapacitet, sikkerhed, alignment og overvågbarhed samt beskyttelsesmekanismer og begrænsninger ved ibrugtagning.
Isolation af modeller og forbedring af beskyttelsesmekanismer
Sikring af vores træningsmiljø for banebrydende modeller — Hvordan vi styrkede isolationen, byggede offline forskningsmiljøer og brugte vores stærkeste modeller til at teste isolationsgrænserne.
Træning af aktiveringsklassifikatorer til sikkerhed og alignment(åbner i et nyt vindue) — Hvordan klassifikatorer bruger modellernes interne aktiveringer til at opdage potentielt skadelig adfærd og afbryde svar eller værktøjskald.
Automatisk gennemgang af agenthandlinger uden synkront menneskeligt tilsyn(åbner i et nyt vindue) — Hvordan en særskilt kontrolagent vurderer handlinger, der krydser sandkassens grænser, så kodeagenter kan arbejde selvstændigt, mens potentielt skadelige eller uautoriserede handlinger blokeres.
GPT‑Red: Selvforbedring som vej til robusthed — Hvordan vi træner automatiserede angrebsagenter gennem spil mod sig selv til at finde sårbarheder og forbedre modellernes robusthed over for promptinjektioner.
Control Room — Hvordan vi følger kørsler på tværs af vores forskningsinfrastruktur og hurtigt stopper modeloutput, når sikkerhedshensyn kræver indgriben.
Hændelseshåndtering og offentliggørelse
Sådan opdager vi manglende alignment i banebrydende modeller — Vores overvågningssystem kombinerer aktiveringsprober, modelbaseret gennemgang, automatiserede undersøgelser og menneskelig indgriben for at opdage og undersøge bekymrende adfærd.
Hugging Face-hændelsen og vejen frem — Vores resultater fra undersøgelsen af Hugging Face-hændelsen og de ændringer, den førte til inden for sikkerhed, overvågning og alignment.
En agent brugte DNS til at få adgang til en ekstern chatbot(åbner i et nyt vindue) — Hvordan en forskningsmodel omgik internetbegrænsninger via utilstrækkelig DNS-filtrering, hvordan overvågningen opdagede det, og hvilke kontrolmekanismer der efterfølgende blev tilføjet.
Indgreb mod en koordineret kampagne for modeldestillation — Hvordan vi undersøgte og greb ind over for forsøg på at udtrække beskyttet modelræsonnering gennem kontosanktioner, tekniske kontrolmekanismer og koordinering med partnere.
Vores ramme for rapportering af manglende alignment i modeller — Vores proces til at registrere, undersøge og offentliggøre bekymrende modeladfærd, herunder tilfælde, hvor årsagerne eller betydningen stadig er usikre.
Rapporter og meddelelser om manglende alignment(åbner i et nyt vindue) — Vores samling af offentliggjorte hændelser og meddelelser, der viser, hvordan manglende alignment opstår, og hvor beskyttelsesmekanismer virker eller svigter.
Forskningsfremskridt og anvendelser
Hurtigere forskning: Et indblik i OpenAI — Tidlige tegn på, hvordan kodeagenter ændrer forskningen hos OpenAI, herunder deres stigende udbredelse, stadig mere komplekse opgaver og indvirkning på eksperimenter.
Om Navier–Stokes-millenniumproblemet — Et matematisk bevis udarbejdet af et internt AI-system, ledsaget af en formalisering i Lean, som illustrerer kapaciteten ved forskningsanvendelser i stor skala.
Daybreak — Vores cybersikkerhedsprogram giver sikkerhedsgodkendte forsvarere avancerede AI-funktioner, sikkerhedsværktøjer og støtte til at finde sårbarheder og styrke forsvaret.
Introduktion til GPT‑Rosalind til biovidenskabelig forskning — En specialiseret model til biologi, lægemiddeludvikling og translationel medicin, som er tilgængelig for kvalificerede organisationer gennem et program med adgang for betroede brugere.






