OpenAI

Hantera risker med banbrytande AI: från träning till driftsättning

18 november 2026 · Säkerhet

Banbrytande modellers förmågor utvecklas allt snabbare. Vår förmåga att förstå, målanpassa och säkra dem måste ligga steget före. Vi anpassar takten i modellernas utveckling och lansering. Det innebär bland annat att pausa intern träning⁠(öppnas i ett nytt fönster) eller hålla tillbaka modeller som GPT‑6.1 Astra när vi behöver mer tid för att uppfylla våra säkerhetskrav. Vi har infört nya processer, som säkerhetsargumentation, och kräver starkare belägg för målanpassat beteende under hela träningen. Kraven gör att modeller lanseras i långsammare takt, men ger oss större trygghet i att fortsätta på ett säkert sätt.

Sedan Hugging Face-incidenten⁠ i juli har vi stärkt skyddsmekanismerna och kraven på målanpassning för hur vi tränar, testar och driftsätter modeller. Det här inlägget förklarar hur vi bedömer och hanterar risker i varje fas, från strikt isolerade träningsmiljöer till den Codex-version du använder på din dator. Vi utvärderar både modeller och skyddsmekanismer i varje fas och kräver en säkerhetsgranskning innan vi går vidare till nästa.

Djupförsvar genom modellens hela livscykel

Vi använder djupförsvar med flera skyddslager som minskar beroendet av enskilda skyddsmekanismer. Om ett lager fallerar hjälper de andra till att förebygga skador, begränsa konsekvenserna eller larma oss så att vi kan ingripa.

Vi organiserar våra skydd i fyra lager:

Effektiv övervakning beror på modellens övervakningsbarhet – hur tillförlitligt övervakningssystem kan upptäcka misstag eller osäkert beteende utifrån modellens resonemang och åtgärder. En modell som exempelvis uttrycker sin avsikt att fuska i sin tankekedja (CoT) är lättare att övervaka än en som utelämnar den informationen. Vi utvärderar övervakningsbarheten under träning och före driftsättning, utvecklar bättre metoder för att mäta den⁠(öppnas i ett nytt fönster) och studerar vad som påverkar den⁠(öppnas i ett nytt fönster).

Hugging Face-incidenten visade varför vi inte bör förlita oss enbart på sandlådemiljöer för att hålla mycket kapabla modeller isolerade. Vi övervakar nu banbrytande modeller i de flesta interna och externa driftmiljöer, inklusive alla interna driftsättningar där verktyg används.

Varje lagers roll förändras genom tre faser av modellutveckling och driftsättning:

  • Forskning: Vi tränar, testar och använder modeller i sandlådemiljöer.

  • Intern driftsättning: OpenAI:s medarbetare använder modeller i praktiskt arbete.

  • Extern driftsättning: Modellerna blir tillgängliga för en bredare krets av personer och organisationer.

Vi förlitar oss på olika lager i olika faser. Under träningen, när målanpassningen är mer osäker, förlitar vi oss i högre grad på sandlådemiljöer och övervakning. När modeller får bredare åtkomst under driftsättningen blir målanpassning och kontroller på systemnivå allt viktigare. I varje fas bedömer vi om de samlade skydden är tillräckliga i förhållande till modellens förmågor och åtkomst. Våra bedömningar kan granskas tillsammans med Rådgivande säkerhetsgruppen och stå under tillsyn av Säkerhets- och skyddskommittén i OpenAI Foundations styrelse.

Under forskning: håll modeller isolerade i sandlådemiljöer

Under forskningsfasen utvärderar vi modeller för att få tillförsikt om deras målanpassning. Eftersom vi ännu inte fullt ut kan lita på att målanpassningen förhindrar skador, använder vi i stor utsträckning säkerhetskontroller och sandlådemiljöer för att begränsa vad modellerna kan komma åt och göra.

Utifrån dagens målanpassningsforskning, övervakningssystem och säkerhet i internetinfrastrukturen anser vi att det ansvarsfulla är att träna banbrytande modeller utan direkt internetåtkomst. Efter Hugging Face-incidenten omstrukturerade vi våra interna forskningssystem i grunden för att hålla modeller isolerade med hjälp av:

  • sandlådor som begränsar modellens behörigheter

  • virtuella maskiner som ytterligare isolerar arbetslasten från den underliggande datorn

  • nätverks- och molngränser som avskärmar hela klustret från internet

Vi testar kontinuerligt systemet genom att låta team av våra starkaste modeller försöka nå internet, ta sig förbi säkerhetsgränser eller kommunicera med agenter som de ska vara isolerade från. Det hjälper oss att testa om isoleringen håller mot förmågorna hos de modeller den ska begränsa.

Som ett extra försvarslager övervakar vi all inferens med banbrytande modeller för att upptäcka om modellen har kringgått våra säkerhetsinvarianter. Om övervakningen upptäcker att modellen har nått internet larmar vi våra säkerhetsteam och pausar körningen automatiskt.

Övervakningen utgör ett avgörande skyddsnät när isoleringen brister. I en nyligen publicerad rapport om målavvikelser berättade vi att övervakningssystemen upptäckte att en intern forskningsmodell utnyttjade en felkonfigurerad DNS-tjänst⁠(öppnas i ett nytt fönster) för att få begränsad internetåtkomst. Vi pausade träningen och utvärderingen av våra mest kapabla modeller från den 20 september till den 1 oktober medan vi utredde och åtgärdade säkerhetsbristen.

För att kunna ingripa snabbt och tillförlitligt byggde vi Control Room⁠, ett centralt system som håller reda på forskningskörningar och stoppar fortsatt modellutdata inom 35 sekunder efter att ha fått en instruktion att avbryta en körning. Kontrollerna tillämpas direkt i inferensinfrastrukturen och är därför inte beroende av att varje forskningskörning har en egen avstängningsmekanism. För forskningskörningar med banbrytande modeller stoppar de också modellutdata om Control Room blir otillgängligt.

Red teaming och övervakning kompletterar varandra. Vi kan inte garantera att en sandlåda är ogenomtränglig, men red teaming hjälper oss att bedöma hur stor ansträngning som skulle krävas för att en modell ska ta sig ur den. Ju större ansträngning modellen behöver göra, desto fler möjligheter får övervakningssystemen att upptäcka och stoppa den.

Vi kräver starka säkerhets- och övervakningskontroller under forskningsfasen av flera skäl:

  • Modellerna utvärderas fortfarande. Vissa har ännu inte genomgått all säkerhetsträning, alla revisioner av målanpassningen och övriga granskningar som krävs för offentlig lansering.

  • Banbrytande forskningsmiljöer kan förstärka riskerna. Vissa forskningsuppgifter kräver mer ambitiösa upplägg, där modellen blir mer uthållig eller kapabel än vid vanlig extern driftsättning. Exempelvis krävdes ett team med 10 000 agenter för att lösa Navier–Stokes-problemet.

  • Träningen sker i stor skala med mindre direkt mänsklig tillsyn. Till skillnad från en vanlig Codex-session omfattar våra träningskörningar ett stort antal modellåtgärder utan att någon följer varje interaktion.

Intern driftsättning: testa målanpassningen och övervaka beteendet noga

Före en bred lansering går medarbetarna från att använda banbrytande modeller för forskning i sandlådemiljöer till intern användning utanför sandlådan, exempelvis genom att modellen görs tillgänglig för dem i ChatGPT. Det ger oss bättre förståelse för hur modellerna beter sig i praktiken⁠(öppnas i ett nytt fönster) och ger underlag för beslut om driftsättning.

I den här fasen ger vi modellen bredare tillgång till internet, vår Slack, vår kodbas och vår interna infrastruktur. Det innebär en betydande förändring av riskbilden, eftersom modellens åtgärder nu direkt påverkar de system vi använder för att bygga upp och driva OpenAI. Vid intern driftsättning behöver vi förlita oss mer på modellens målanpassning, systemets skyddsmekanismer och övervakning än på säkerhetskontroller.

Innan en banbrytande modell får driftsättas utanför sandlådan måste dess målanpassning och övervakningsbarhet testas⁠(öppnas i ett nytt fönster). Vi har en uppsättning utvärderingar av målanpassning som både testar specifika feltyper, som att kringgå säkerhets- och skyddsbegränsningar, och mäter mer övergripande benägenheter, exempelvis genom nya stickprov av interna Codex-handlingsförlopp där vi kontrollerar om målavvikelser förekommer. Läs mer om våra utvärderingar av målanpassning och övervakningsbarhet i det senaste systemkortet för GPT‑6 Astra⁠(öppnas i ett nytt fönster).

Precis som i våra produktionsmiljöer lägger vi till ett extra skyddslager med klassificerare på systemnivå. De är utformade för att skydda mot skador som banbrytande modeller kan möjliggöra, till exempel cybermissbruk och utveckling av biologiska vapen. Vi kräver också i regel att medarbetare som använder Codex har Auto-Review⁠(öppnas i ett nytt fönster), som bedömer potentiellt riskfyllda åtgärder och skickar dem tillbaka till användaren för beslut.

Slutligen övervakar vi varje inferens med banbrytande modeller under intern driftsättning för att upptäcka målavvikande beteende. Eftersom modellen nu har utökade behörigheter och tillgång till intern information och interna system blir det särskilt viktigt att upptäcka risker som dataexfiltration, det vill säga att känsliga data skickas till en obehörig mottagare. Övervakningen hjälper oss också att undersöka nya former av målavvikelser⁠(öppnas i ett nytt fönster).

Extern driftsättning: skydda mot missbruk och målavvikelser i stor skala

När modeller görs tillgängliga för allmänheten möter de långt fler användare, uppgifter och miljöer. Det ökar både riskernas omfattning och variation. I det här skedet behöver vi också skydda mot potentiellt illvilliga aktörer som avsiktligt styr modellen till att orsaka skada.

Före offentlig lansering måste modellerna och systemens skyddsmekanismer uppfylla våra säkerhetskrav för extern driftsättning. Vi bedömer dem genom att:

  • Genomföra fler utvärderingar av målanpassning och säkerhet. För våra banbrytande modeller omfattar detta nya omgångar av adaptiv testning⁠ med våra interna automatiserade red teaming-system för att stresstesta modellens robusthet. Vi publicerar resultaten från våra utvärderingar av förmåga och säkerhet i våra systemkort⁠(öppnas i ett nytt fönster).

  • För våra mest kapabla modeller genomför vi också tester med tredje part för att stresstesta både våra skydd mot missbruk och modellernas underliggande målanpassning.

  • Granska varningar från övervakningen under den interna driftsättningen för att följa eventuella förändringar i basmodellens underliggande målanpassning.

Utöver våra ”synkrona” skyddsmekanismer, som säkerhetsträning av modeller och systemklassificerare, använder vi vid extern driftsättning även efterhandsutredningar och åtgärder mot regelbrott. Dessa team kombinerar utredande agenter i stor skala med mänsklig granskning för att upptäcka och identifiera potentiella hotaktörer och risker: cybermissbruk, utveckling av biologiska vapen, destillering⁠ och målavvikelser hos själva modellen. Arbetet med regelbrott i efterhand är särskilt användbart för att samla information från flera konton och få en mer heltäckande bild av ett potentiellt hot.

Program för betrodd åtkomst, som Daybreak och Rosalind⁠, ger ytterligare ett säkerhetslager. De hjälper försvarare och legitima forskare att arbeta snabbare, samtidigt som potentiella angripares åtkomst begränsas.

Incidenthantering och offentliggörande

När vi upptäcker en brist i något av våra säkerhetslager vill vi snabbt utreda den, bedöma hur allvarlig den är och, om det är möjligt och lämpligt, offentliggöra den – oavsett om någon skada faktiskt uppstått. Enligt vår policy för rapportering av målavvikelser⁠ kan alla medarbetare flagga en incident för offentliggörande. Rapporterna utreds. Om det råder oenighet om huruvida de ska offentliggöras går beslutet vidare till vår Rådgivande säkerhetsgrupp. Utöver medarbetarnas rapporter söker vi aktivt efter incidenter med målavvikelser så att vi kan åtgärda dem och dela våra resultat.

Du hittar våra rapporter om målavvikelser här⁠(öppnas i ett nytt fönster).

​


​

Arbetet kräver både forskningsframsteg och noggranna driftrutiner: att konfigurera kontroller korrekt, testa hur de samverkar och agera beslutsamt när de fallerar. En felkonfigurerad nätverkstjänst eller ett automatiskt stopp som inte fungerar kan undergräva annars starka skydd.

När modeller får nya förmågor måste vi fortsätta att ifrågasätta antagandena bakom våra skyddsmekanismer och förbättra dem där det behövs. Lärdomar från forskning, intern användning och offentlig driftsättning måste vägleda hur vi tränar, utvärderar och driftsätter kommande modeller.

Vi fortsätter att dela resultat genom systemkort, incidentrapporter, riskrapporter⁠(öppnas i ett nytt fönster) för intern driftsättning och externa utvärderingar⁠, så att andra kan granska vårt arbetssätt och dess begränsningar. När underlaget inte räcker för att visa att våra säkerhetskrav uppfylls kommer vi återigen att pausa träningen eller skjuta upp lanseringen tills kraven är uppfyllda.

Relaterad forskning och resurser

Fastställa säkerhetskrav

Definiera och utvärdera målanpassat beteende

Isolera modeller och förbättra skyddsmekanismer

Incidenthantering och offentliggörande

Forskningsframsteg och tillämpningar

  • Snabbare forskning: en inblick i OpenAI – Tidiga belägg för hur kodningsagenter förändrar forskningen inom OpenAI: ökad användning, allt mer komplexa uppgifter och effekter på experimentarbetet.

  • Om millennieproblemet Navier–Stokes – Ett matematiskt bevis framtaget av ett internt AI-system, med en formalisering i Lean, som visar förmågorna vid storskalig användning i forskning.

  • Daybreak – Vårt cybersäkerhetsprogram ger granskade försvarare avancerade AI-förmågor, säkerhetsverktyg och stöd för att hitta sårbarheter och stärka försvaret.

  • Vi presenterar GPT‑Rosalind för biovetenskaplig forskning⁠ – En specialiserad modell för biologi, läkemedelsutveckling och translationell medicin, tillgänglig för kvalificerade organisationer genom ett program för betrodd åtkomst.