Hantera risker med banbrytande AI: från träning till driftsättning
18 november 2026 · Säkerhet
Banbrytande modellers förmågor utvecklas allt snabbare. Vår förmåga att förstå, målanpassa och säkra dem måste ligga steget före. Vi anpassar takten i modellernas utveckling och lansering. Det innebär bland annat att pausa intern träning(öppnas i ett nytt fönster) eller hålla tillbaka modeller som GPT‑6.1 Astra när vi behöver mer tid för att uppfylla våra säkerhetskrav. Vi har infört nya processer, som säkerhetsargumentation, och kräver starkare belägg för målanpassat beteende under hela träningen. Kraven gör att modeller lanseras i långsammare takt, men ger oss större trygghet i att fortsätta på ett säkert sätt.
Sedan Hugging Face-incidenten i juli har vi stärkt skyddsmekanismerna och kraven på målanpassning för hur vi tränar, testar och driftsätter modeller. Det här inlägget förklarar hur vi bedömer och hanterar risker i varje fas, från strikt isolerade träningsmiljöer till den Codex-version du använder på din dator. Vi utvärderar både modeller och skyddsmekanismer i varje fas och kräver en säkerhetsgranskning innan vi går vidare till nästa.
Vi använder djupförsvar med flera skyddslager som minskar beroendet av enskilda skyddsmekanismer. Om ett lager fallerar hjälper de andra till att förebygga skador, begränsa konsekvenserna eller larma oss så att vi kan ingripa.
Vi organiserar våra skydd i fyra lager:
Effektiv övervakning beror på modellens övervakningsbarhet – hur tillförlitligt övervakningssystem kan upptäcka misstag eller osäkert beteende utifrån modellens resonemang och åtgärder. En modell som exempelvis uttrycker sin avsikt att fuska i sin tankekedja (CoT) är lättare att övervaka än en som utelämnar den informationen. Vi utvärderar övervakningsbarheten under träning och före driftsättning, utvecklar bättre metoder för att mäta den(öppnas i ett nytt fönster) och studerar vad som påverkar den(öppnas i ett nytt fönster).
Hugging Face-incidenten visade varför vi inte bör förlita oss enbart på sandlådemiljöer för att hålla mycket kapabla modeller isolerade. Vi övervakar nu banbrytande modeller i de flesta interna och externa driftmiljöer, inklusive alla interna driftsättningar där verktyg används.
Varje lagers roll förändras genom tre faser av modellutveckling och driftsättning:
Forskning: Vi tränar, testar och använder modeller i sandlådemiljöer.
Intern driftsättning: OpenAI:s medarbetare använder modeller i praktiskt arbete.
Extern driftsättning: Modellerna blir tillgängliga för en bredare krets av personer och organisationer.
Vi förlitar oss på olika lager i olika faser. Under träningen, när målanpassningen är mer osäker, förlitar vi oss i högre grad på sandlådemiljöer och övervakning. När modeller får bredare åtkomst under driftsättningen blir målanpassning och kontroller på systemnivå allt viktigare. I varje fas bedömer vi om de samlade skydden är tillräckliga i förhållande till modellens förmågor och åtkomst. Våra bedömningar kan granskas tillsammans med Rådgivande säkerhetsgruppen och stå under tillsyn av Säkerhets- och skyddskommittén i OpenAI Foundations styrelse.
Under forskningsfasen utvärderar vi modeller för att få tillförsikt om deras målanpassning. Eftersom vi ännu inte fullt ut kan lita på att målanpassningen förhindrar skador, använder vi i stor utsträckning säkerhetskontroller och sandlådemiljöer för att begränsa vad modellerna kan komma åt och göra.
Utifrån dagens målanpassningsforskning, övervakningssystem och säkerhet i internetinfrastrukturen anser vi att det ansvarsfulla är att träna banbrytande modeller utan direkt internetåtkomst. Efter Hugging Face-incidenten omstrukturerade vi våra interna forskningssystem i grunden för att hålla modeller isolerade med hjälp av:
sandlådor som begränsar modellens behörigheter
virtuella maskiner som ytterligare isolerar arbetslasten från den underliggande datorn
nätverks- och molngränser som avskärmar hela klustret från internet
Vi testar kontinuerligt systemet genom att låta team av våra starkaste modeller försöka nå internet, ta sig förbi säkerhetsgränser eller kommunicera med agenter som de ska vara isolerade från. Det hjälper oss att testa om isoleringen håller mot förmågorna hos de modeller den ska begränsa.
Som ett extra försvarslager övervakar vi all inferens med banbrytande modeller för att upptäcka om modellen har kringgått våra säkerhetsinvarianter. Om övervakningen upptäcker att modellen har nått internet larmar vi våra säkerhetsteam och pausar körningen automatiskt.
Övervakningen utgör ett avgörande skyddsnät när isoleringen brister. I en nyligen publicerad rapport om målavvikelser berättade vi att övervakningssystemen upptäckte att en intern forskningsmodell utnyttjade en felkonfigurerad DNS-tjänst(öppnas i ett nytt fönster) för att få begränsad internetåtkomst. Vi pausade träningen och utvärderingen av våra mest kapabla modeller från den 20 september till den 1 oktober medan vi utredde och åtgärdade säkerhetsbristen.
För att kunna ingripa snabbt och tillförlitligt byggde vi Control Room, ett centralt system som håller reda på forskningskörningar och stoppar fortsatt modellutdata inom 35 sekunder efter att ha fått en instruktion att avbryta en körning. Kontrollerna tillämpas direkt i inferensinfrastrukturen och är därför inte beroende av att varje forskningskörning har en egen avstängningsmekanism. För forskningskörningar med banbrytande modeller stoppar de också modellutdata om Control Room blir otillgängligt.
Red teaming och övervakning kompletterar varandra. Vi kan inte garantera att en sandlåda är ogenomtränglig, men red teaming hjälper oss att bedöma hur stor ansträngning som skulle krävas för att en modell ska ta sig ur den. Ju större ansträngning modellen behöver göra, desto fler möjligheter får övervakningssystemen att upptäcka och stoppa den.
Vi kräver starka säkerhets- och övervakningskontroller under forskningsfasen av flera skäl:
Modellerna utvärderas fortfarande. Vissa har ännu inte genomgått all säkerhetsträning, alla revisioner av målanpassningen och övriga granskningar som krävs för offentlig lansering.
Banbrytande forskningsmiljöer kan förstärka riskerna. Vissa forskningsuppgifter kräver mer ambitiösa upplägg, där modellen blir mer uthållig eller kapabel än vid vanlig extern driftsättning. Exempelvis krävdes ett team med 10 000 agenter för att lösa Navier–Stokes-problemet.
Träningen sker i stor skala med mindre direkt mänsklig tillsyn. Till skillnad från en vanlig Codex-session omfattar våra träningskörningar ett stort antal modellåtgärder utan att någon följer varje interaktion.
Före en bred lansering går medarbetarna från att använda banbrytande modeller för forskning i sandlådemiljöer till intern användning utanför sandlådan, exempelvis genom att modellen görs tillgänglig för dem i ChatGPT. Det ger oss bättre förståelse för hur modellerna beter sig i praktiken(öppnas i ett nytt fönster) och ger underlag för beslut om driftsättning.
I den här fasen ger vi modellen bredare tillgång till internet, vår Slack, vår kodbas och vår interna infrastruktur. Det innebär en betydande förändring av riskbilden, eftersom modellens åtgärder nu direkt påverkar de system vi använder för att bygga upp och driva OpenAI. Vid intern driftsättning behöver vi förlita oss mer på modellens målanpassning, systemets skyddsmekanismer och övervakning än på säkerhetskontroller.
Innan en banbrytande modell får driftsättas utanför sandlådan måste dess målanpassning och övervakningsbarhet testas(öppnas i ett nytt fönster). Vi har en uppsättning utvärderingar av målanpassning som både testar specifika feltyper, som att kringgå säkerhets- och skyddsbegränsningar, och mäter mer övergripande benägenheter, exempelvis genom nya stickprov av interna Codex-handlingsförlopp där vi kontrollerar om målavvikelser förekommer. Läs mer om våra utvärderingar av målanpassning och övervakningsbarhet i det senaste systemkortet för GPT‑6 Astra(öppnas i ett nytt fönster).
Precis som i våra produktionsmiljöer lägger vi till ett extra skyddslager med klassificerare på systemnivå. De är utformade för att skydda mot skador som banbrytande modeller kan möjliggöra, till exempel cybermissbruk och utveckling av biologiska vapen. Vi kräver också i regel att medarbetare som använder Codex har Auto-Review(öppnas i ett nytt fönster), som bedömer potentiellt riskfyllda åtgärder och skickar dem tillbaka till användaren för beslut.
Slutligen övervakar vi varje inferens med banbrytande modeller under intern driftsättning för att upptäcka målavvikande beteende. Eftersom modellen nu har utökade behörigheter och tillgång till intern information och interna system blir det särskilt viktigt att upptäcka risker som dataexfiltration, det vill säga att känsliga data skickas till en obehörig mottagare. Övervakningen hjälper oss också att undersöka nya former av målavvikelser(öppnas i ett nytt fönster).
När modeller görs tillgängliga för allmänheten möter de långt fler användare, uppgifter och miljöer. Det ökar både riskernas omfattning och variation. I det här skedet behöver vi också skydda mot potentiellt illvilliga aktörer som avsiktligt styr modellen till att orsaka skada.
Före offentlig lansering måste modellerna och systemens skyddsmekanismer uppfylla våra säkerhetskrav för extern driftsättning. Vi bedömer dem genom att:
Genomföra fler utvärderingar av målanpassning och säkerhet. För våra banbrytande modeller omfattar detta nya omgångar av adaptiv testning med våra interna automatiserade red teaming-system för att stresstesta modellens robusthet. Vi publicerar resultaten från våra utvärderingar av förmåga och säkerhet i våra systemkort(öppnas i ett nytt fönster).
För våra mest kapabla modeller genomför vi också tester med tredje part för att stresstesta både våra skydd mot missbruk och modellernas underliggande målanpassning.
Granska varningar från övervakningen under den interna driftsättningen för att följa eventuella förändringar i basmodellens underliggande målanpassning.
Utöver våra ”synkrona” skyddsmekanismer, som säkerhetsträning av modeller och systemklassificerare, använder vi vid extern driftsättning även efterhandsutredningar och åtgärder mot regelbrott. Dessa team kombinerar utredande agenter i stor skala med mänsklig granskning för att upptäcka och identifiera potentiella hotaktörer och risker: cybermissbruk, utveckling av biologiska vapen, destillering och målavvikelser hos själva modellen. Arbetet med regelbrott i efterhand är särskilt användbart för att samla information från flera konton och få en mer heltäckande bild av ett potentiellt hot.
Program för betrodd åtkomst, som Daybreak och Rosalind, ger ytterligare ett säkerhetslager. De hjälper försvarare och legitima forskare att arbeta snabbare, samtidigt som potentiella angripares åtkomst begränsas.
När vi upptäcker en brist i något av våra säkerhetslager vill vi snabbt utreda den, bedöma hur allvarlig den är och, om det är möjligt och lämpligt, offentliggöra den – oavsett om någon skada faktiskt uppstått. Enligt vår policy för rapportering av målavvikelser kan alla medarbetare flagga en incident för offentliggörande. Rapporterna utreds. Om det råder oenighet om huruvida de ska offentliggöras går beslutet vidare till vår Rådgivande säkerhetsgrupp. Utöver medarbetarnas rapporter söker vi aktivt efter incidenter med målavvikelser så att vi kan åtgärda dem och dela våra resultat.
Du hittar våra rapporter om målavvikelser här(öppnas i ett nytt fönster).
Arbetet kräver både forskningsframsteg och noggranna driftrutiner: att konfigurera kontroller korrekt, testa hur de samverkar och agera beslutsamt när de fallerar. En felkonfigurerad nätverkstjänst eller ett automatiskt stopp som inte fungerar kan undergräva annars starka skydd.
När modeller får nya förmågor måste vi fortsätta att ifrågasätta antagandena bakom våra skyddsmekanismer och förbättra dem där det behövs. Lärdomar från forskning, intern användning och offentlig driftsättning måste vägleda hur vi tränar, utvärderar och driftsätter kommande modeller.
Vi fortsätter att dela resultat genom systemkort, incidentrapporter, riskrapporter(öppnas i ett nytt fönster) för intern driftsättning och externa utvärderingar, så att andra kan granska vårt arbetssätt och dess begränsningar. När underlaget inte räcker för att visa att våra säkerhetskrav uppfylls kommer vi återigen att pausa träningen eller skjuta upp lanseringen tills kraven är uppfyllda.
Fastställa säkerhetskrav
Anpassad modellutvecklingstakt i en tid av cyberkritiska förmågor – Hur vi sänkte träningstakten för banbrytande modeller, stärkte isoleringen, utökade övervakningen och krävde starkare belägg för målanpassning.
Mot säkerhetsargumentation för träning av banbrytande AI – Inledande riktlinjer för evidensbaserad säkerhetsargumentation om tekniska skydd, driftrutiner och utredningar av målavvikelser.
Prioriteringar och principer för effektiva tredjepartsbedömningar – Vårt förslag till oberoende granskning av säkerhetsargumentation, skyddsmekanismer, utvärderingar och modellbeteende.
Periodisk sammanfattning av katastrofriskbedömningar vid intern användning(öppnas i ett nytt fönster) – Vår offentliga rapport för juni–september 2026 beskriver intern driftsättning av banbrytande modeller, bedömda risker och förändringar i skydd och styrning.
Definiera och utvärdera målanpassat beteende
Uppdaterade Modellspecifikationer för mer kapabel och nyttig AI – Hur vi uppdaterade Modellspecifikationer utifrån fem kärnvärden som vägleder modellernas omdöme, beteende och respekt för mänsklig tillsyn.
Agenters säkerhet: beteendeskillnader mellan utvärdering och produktion och rollen för utvärderingsmedvetenhet(öppnas i ett nytt fönster) – En studie av skillnader mellan säkerhetsutvärderingar och beteende i produktion, samt hur modellernas tolkning av utvärderingsmålen påverkar resultaten.
Bortom g-mean²: kompletterande mått på övervakningsbarhet(öppnas i ett nytt fönster) – Nya mått för att jämföra övervakningsbarhet och uppskatta kvarstående risk i simulerade system där övervakningssystem avvisar modellutdata.
Systemkort för GPT‑6 Astra(öppnas i ett nytt fönster) – Detaljerade utvärderingar av Astras förmågor, säkerhet, målanpassning och övervakningsbarhet samt skyddsmekanismer och begränsningar vid driftsättning.
Isolera modeller och förbättra skyddsmekanismer
Säkra träningsmiljön för våra banbrytande modeller – Hur vi stärkte isoleringen, byggde forskningsmiljöer utan internetåtkomst och använde våra starkaste modeller för att testa isoleringsgränserna.
Träna aktiveringsklassificerare för säkerhet och målanpassning(öppnas i ett nytt fönster) – Hur klassificerare använder modellernas interna aktiveringar för att upptäcka potentiellt skadligt beteende och avbryta svar eller verktygsanrop.
Automatisk granskning av agentåtgärder utan mänsklig tillsyn i realtid(öppnas i ett nytt fönster) – Hur en separat granskningsagent bedömer åtgärder som går utanför sandlådans gränser, så att kodningsagenter kan arbeta självständigt medan potentiellt skadliga eller obehöriga åtgärder blockeras.
GPT‑Red: självförbättring för ökad robusthet – Hur vi tränar automatiserade red teaming-system genom självspel för att hitta sårbarheter och stärka modellernas motståndskraft mot promptinjektioner.
Control Room – Hur vi följer körningar i vår forskningsinfrastruktur och snabbt stoppar modellutdata när säkerhets- eller skyddsproblem kräver ingripande.
Incidenthantering och offentliggörande
Så upptäcker vi målavvikelser hos banbrytande modeller – Vårt övervakningssystem kombinerar aktiveringssonder, modellbaserad granskning, automatiserad utredning och mänskligt ingripande för att upptäcka och undersöka oroande beteende.
Hugging Face-incidenten och vägen framåt – Våra slutsatser från Hugging Face-incidenten och förändringarna den ledde till inom säkerhet, övervakning och målanpassning.
En agent använde DNS för att nå en extern chattbot(öppnas i ett nytt fönster) – Hur en forskningsmodell kringgick internetbegränsningar via otillräcklig DNS-filtrering, hur övervakningen upptäckte det och vilka kontroller som infördes efteråt.
Stoppa en samordnad kampanj för modelldestillering – Hur vi utredde och störde försök att extrahera skyddade modellresonemang genom kontoåtgärder, tekniska kontroller och samordning med partner.
Vårt ramverk för rapportering av målavvikelser hos modeller – Vår process för att följa, utreda och offentliggöra oroande modellbeteende, även fall där orsakerna eller betydelsen fortfarande är osäkra.
Rapporter och meddelanden om målavvikelser(öppnas i ett nytt fönster) – Vår samling av offentliggjorda incidenter och meddelanden visar hur målavvikelser uppstår och när skyddsmekanismer fungerar eller brister.
Forskningsframsteg och tillämpningar
Snabbare forskning: en inblick i OpenAI – Tidiga belägg för hur kodningsagenter förändrar forskningen inom OpenAI: ökad användning, allt mer komplexa uppgifter och effekter på experimentarbetet.
Om millennieproblemet Navier–Stokes – Ett matematiskt bevis framtaget av ett internt AI-system, med en formalisering i Lean, som visar förmågorna vid storskalig användning i forskning.
Daybreak – Vårt cybersäkerhetsprogram ger granskade försvarare avancerade AI-förmågor, säkerhetsverktyg och stöd för att hitta sårbarheter och stärka försvaret.
Vi presenterar GPT‑Rosalind för biovetenskaplig forskning – En specialiserad modell för biologi, läkemedelsutveckling och translationell medicin, tillgänglig för kvalificerade organisationer genom ett program för betrodd åtkomst.






