Grensverleggende AI: risicobeheer van training tot inzet
18 november 2026 · Veiligheid
De capaciteiten van grensverleggende modellen nemen snel toe. Ons vermogen om ze te begrijpen, op onze bedoelingen af te stemmen en te beveiligen moet daarop vooruitlopen. We stemmen het tempo van modelontwikkeling en -introductie af op onze veiligheidsnormen. Als we meer tijd nodig hebben om daaraan te voldoen, pauzeren we bijvoorbeeld interne training(opent in een nieuw venster) of stellen we de introductie van modellen zoals GPT‑6.1 Astra uit. We hebben nieuwe processen ingevoerd, zoals veiligheidsonderbouwingen, en eisen gedurende de hele training sterker bewijs van gedrag dat op onze bedoelingen is afgestemd. Door deze eisen brengen we minder snel modellen uit, maar hebben we meer vertrouwen dat we veilig verder kunnen.
Sinds het Hugging Face-incident in juli hebben we de waarborgen en alignmenteisen voor het trainen, testen en inzetten van modellen aangescherpt. In dit artikel leggen we uit hoe we risico's in elke fase beoordelen en beheersen: van sterk afgeschermde trainingsomgevingen tot de Codex-versie die je op je computer gebruikt. In elke fase evalueren we zowel modellen als waarborgen. Een veiligheidsbeoordeling is vereist voordat we naar de volgende fase gaan.
We gebruiken gelaagde verdediging: meerdere beschermingslagen die de afhankelijkheid van één afzonderlijke waarborg verminderen. Als één laag faalt, helpen andere lagen schade te voorkomen, gevolgen te beperken of ons te waarschuwen, zodat we kunnen ingrijpen.
We verdelen onze beschermingsmaatregelen over vier lagen:
Effectieve monitoring hangt af van de monitorbaarheid van het model: hoe betrouwbaar monitoringssystemen fouten of onveilig gedrag kunnen detecteren aan de hand van de redenering en acties van een model. Een model dat in zijn chain-of-thought (CoT) de intentie uitspreekt om vals te spelen, is bijvoorbeeld beter te monitoren dan een model dat deze informatie weglaat. We evalueren de monitorbaarheid tijdens de training en vóór inzet, ontwikkelen betere methoden om die te meten(opent in een nieuw venster) en onderzoeken wat daarop van invloed is(opent in een nieuw venster).
Het Hugging Face-incident liet zien waarom we niet alleen op sandboxing moeten vertrouwen om zeer capabele modellen binnen hun grenzen te houden. We monitoren grensverleggende modellen nu in de meeste interne en externe gebruiksomgevingen, waaronder alle interne toepassingen waarbij tools worden gebruikt.
De rol van elke laag verandert tijdens de drie fasen van modelontwikkeling en -inzet:
Onderzoek: we trainen, testen en gebruiken modellen in sandboxomgevingen.
Interne inzet: OpenAI-medewerkers gebruiken modellen voor hun dagelijkse werk.
Externe inzet: modellen komen breder beschikbaar voor mensen en organisaties.
In elke fase steunen we op andere lagen. Tijdens de training, wanneer alignment minder zeker is, vertrouwen we sterker op sandboxing en monitoring. Naarmate modellen bij hun inzet bredere toegang krijgen, worden alignment en maatregelen op systeemniveau steeds belangrijker. In elke fase beoordelen we of de gezamenlijke bescherming volstaat voor de capaciteiten en toegangsrechten van het model. Onze besluiten kunnen worden getoetst met onze Safety Advisory Group, onder toezicht van de Safety and Security Committee van de raad van bestuur van de OpenAI Foundation.
Tijdens de onderzoeksfase evalueren we modellen om vertrouwen te krijgen in hun alignment. Omdat we nog niet volledig op alignment kunnen vertrouwen om schade te voorkomen, steunen we sterk op beveiliging en sandboxing om hun toegang en handelingsmogelijkheden te beperken.
Gezien de huidige stand van alignmentonderzoek, monitoringssystemen en de beveiliging van internetinfrastructuur vinden we het verantwoord om grensverleggende modellen te trainen zonder live internettoegang. Na het Hugging Face-incident hebben we onze interne onderzoekssystemen ingrijpend heringericht om modellen af te schermen met:
sandboxen die de rechten van het model beperken
virtuele machines die de workload verder isoleren van de onderliggende computer
netwerk- en cloudperimeters die het hele cluster afsluiten van het internet
We testen dit systeem voortdurend met aanvalssimulaties. Teams van onze sterkste modellen proberen het live internet te bereiken, beveiligingsgrenzen te doorbreken of te communiceren met agents waarvan ze gescheiden moeten blijven. Zo testen we of de afscherming bestand is tegen de capaciteiten van de modellen die ze moet begrenzen.
Als extra verdedigingslaag monitoren we alle inferentie van grensverleggende modellen om te detecteren of een model onze vaste beveiligingsvoorwaarden heeft omzeild. Als onze monitoring detecteert dat het model het internet heeft bereikt, roepen we onze beveiligingsteams op en pauzeren we de workload automatisch.
Monitoring is een cruciaal vangnet wanneer de afscherming faalt. In een recent rapport over misalignment beschreven we hoe monitoringssystemen detecteerden dat een intern onderzoeksmodel een DNS-configuratiefout uitbuitte(opent in een nieuw venster) om beperkte internettoegang te krijgen. We pauzeerden de training en evaluatie van onze meest capabele modellen van 20 september tot 1 oktober, terwijl we de situatie onderzochten en het beveiligingslek dichtten.
Om snel en betrouwbaar te kunnen ingrijpen, bouwden we Control Room. Dit centrale systeem houdt onderzoeksworkloads bij en stopt verdere modeloutput binnen 35 seconden na ontvangst van een opdracht om een taak te stoppen. Deze maatregelen worden rechtstreeks in de inferentie-infrastructuur afgedwongen. Ze zijn dus niet afhankelijk van een eigen stopmechanisme in elke onderzoeksworkload. Bij onderzoeksworkloads met grensverleggende modellen stoppen ze de modeloutput ook als Control Room niet meer beschikbaar is.
Red teaming en monitoring vullen elkaar aan. We kunnen niet garanderen dat een sandbox ondoordringbaar is, maar red teaming helpt ons inschatten hoeveel moeite een model moet doen om eruit te ontsnappen. Hoe meer moeite dat kost, hoe meer kans monitoringssystemen hebben om dit te detecteren en het model te stoppen.
We stellen in de onderzoeksfase strenge beveiligings- en monitoringmaatregelen verplicht om de volgende redenen:
Modellen worden nog geëvalueerd. Sommige hebben de veiligheidstraining, alignmentaudits en beoordelingen die nodig zijn voor publieke beschikbaarstelling nog niet doorlopen.
Grensverleggende onderzoeksomgevingen kunnen risico's vergroten. Bepaalde onderzoekstaken vereisen ambitieuzere opstellingen, waardoor het model vasthoudender of capabeler is dan doorgaans bij externe inzet. Zo was een team van 10.000 agents nodig om het Navier–Stokes-probleem op te lossen.
Training vindt op grote schaal plaats, met minder direct menselijk toezicht. Anders dan bij een gebruikelijke Codex-sessie omvatten onze trainingsworkloads grote aantallen modelacties, zonder dat iemand elke interactie volgt.
Vóór brede beschikbaarstelling stappen medewerkers over van onderzoek met grensverleggende modellen in een sandbox naar intern gebruik buiten de sandbox, bijvoorbeeld door het model voor medewerkers beschikbaar te maken in ChatGPT. Zo krijgen we meer inzicht in hoe de modellen zich in de praktijk gedragen(opent in een nieuw venster), wat helpt bij beslissingen over hun inzet.
In deze fase geven we het model toegang tot het bredere internet, onze Slack, onze codebase en onze interne infrastructuur. Dit verandert het risico aanzienlijk: de acties van het model hebben nu directe gevolgen voor de systemen waarmee we OpenAI ontwikkelen en draaiende houden. Bij interne inzet moeten we meer vertrouwen op modelalignment, systeemwaarborgen en monitoring dan op beveiligingsmaatregelen.
Voordat een grensverleggend model buiten de sandbox mag worden ingezet, moet het eerst tests voor alignment en monitorbaarheid(opent in een nieuw venster) doorlopen. Onze reeks alignmentevaluaties test zowel specifieke vormen van falende alignment, zoals het omzeilen van veiligheids- en beveiligingsbeperkingen, als algemene gedragsneigingen. Voor dat laatste genereren we bijvoorbeeld nieuwe varianten van interne Codex-trajecten en controleren we die op misalignment. Meer over onze evaluaties van alignment en monitorbaarheid vind je in de nieuwste systeemkaart van GPT‑6 Astra(opent in een nieuw venster).
Net als in onze productieomgevingen voegen we een extra verdedigingslaag toe met classifiers op systeemniveau. Die beschermen tegen schade door grensverleggende modellen, zoals cybermisbruik en de ontwikkeling van biologische wapens. Medewerkers die Codex gebruiken, moeten doorgaans ook Auto-Review(opent in een nieuw venster) gebruiken. Dit beoordeelt mogelijk risicovolle acties en legt ze ter beoordeling voor aan de gebruiker.
Tot slot monitoren we bij interne inzet elke inferentie van grensverleggende modellen op misalignment. Omdat het model nu uitgebreidere rechten en toegang tot interne informatie en systemen heeft, is het extra belangrijk om risico's zoals data-exfiltratie te detecteren: het versturen van gevoelige gegevens naar een ongeautoriseerde bestemming. Monitoring helpt ons ook nieuwe vormen van misalignment(opent in een nieuw venster) te onderzoeken.
Bij publieke beschikbaarstelling krijgen modellen met veel meer gebruikers, taken en omgevingen te maken. Dat vergroot zowel de omvang als de verscheidenheid van de risico's. In deze fase moeten we ook bescherming bieden tegen mogelijk kwaadwillenden die het model bewust aanzetten tot schadelijk gedrag.
Vóór publieke beschikbaarstelling moeten modellen en systeemwaarborgen voldoen aan onze veiligheidseisen voor externe inzet. We beoordelen ze op de volgende manieren:
We voeren een uitgebreidere reeks alignment- en veiligheidsevaluaties uit. Voor onze grensverleggende modellen omvat dit nieuwe rondes adaptieve tests met onze interne systemen voor geautomatiseerde red teaming, om de robuustheid van het model grondig te testen. We publiceren de resultaten van onze evaluaties van capaciteiten en veiligheid in onze systeemkaarten(opent in een nieuw venster).
Voor onze meest capabele modellen voeren we ook tests uit met externe partijen om zowel onze waarborgen tegen misbruik als de onderliggende alignment van onze modellen grondig te beproeven.
We onderzoeken monitoringssignalen uit de fase van interne inzet om eventuele veranderingen in de onderliggende alignment van het basismodel te volgen.
Naast onze "synchrone" waarborgen, zoals veiligheidstraining voor modellen en systeemclassifiers, zetten we bij externe inzet ook offline handhaving en onderzoek in. Deze teams combineren onderzoeksagents op grote schaal met menselijke beoordeling om potentiële dreigingsactoren op te sporen en te identificeren. Ze onderzoeken cybermisbruik, de ontwikkeling van biologische wapens, distillatie en misalignment van het model zelf. Offline handhaving is vooral nuttig om informatie over meerdere accounts heen te verzamelen en zo een vollediger beeld van een mogelijke dreiging te krijgen.
Programma's voor vertrouwde toegang, zoals Daybreak en Rosalind, bieden een extra beveiligingslaag. Ze helpen verdedigers en legitieme onderzoekers sneller te werken en beperken tegelijk de toegang voor potentiële aanvallers.
Als we merken dat een van onze veiligheidslagen faalt, willen we dat snel onderzoeken, de ernst bepalen en het falen waar mogelijk en passend openbaar maken, ongeacht of er daadwerkelijk schade is ontstaan. Volgens ons beleid voor het melden van misalignment kan elke medewerker een incident voordragen voor openbaarmaking. Deze meldingen worden onderzocht. Als er onenigheid is over openbaarmaking, wordt de beslissing voorgelegd aan onze Safety Advisory Group. Naast meldingen van medewerkers zoeken we proactief naar incidenten met misalignment, zodat we ze kunnen aanpakken en onze bevindingen kunnen delen.
Onze rapporten over misalignment vind je hier(opent in een nieuw venster).
Dit werk vraagt om onderzoeksvooruitgang én operationele discipline: maatregelen correct instellen, hun onderlinge werking testen en doortastend reageren als ze falen. Een verkeerd ingestelde netwerkdienst of een falende automatische stop kan verder sterke beschermingsmaatregelen ondermijnen.
Naarmate modellen nieuwe capaciteiten krijgen, moeten we de aannames achter onze waarborgen blijven toetsen en de waarborgen waar nodig verbeteren. Lessen uit onderzoek, intern gebruik en publieke inzet moeten richting geven aan de training, evaluatie en inzet van volgende modellen.
We blijven bevindingen delen via systeemkaarten, incidentrapporten, risicorapporten(opent in een nieuw venster) over interne inzet en externe evaluaties, zodat anderen onze aanpak en de beperkingen ervan kritisch kunnen beoordelen. Als dat bewijs niet aan onze veiligheidsnormen voldoet, pauzeren we opnieuw de training of stellen we de introductie uit totdat aan die eisen is voldaan.
Veiligheidsnormen vaststellen
Het tempo van modelontwikkeling bepalen bij cyberkritieke capaciteiten — Hoe we de training van grensverleggende modellen vertraagden, de afscherming versterkten, monitoring uitbreidden en sterker bewijs van alignment eisten.
Naar veiligheidsonderbouwingen voor de training van grensverleggende AI — Eerste richtlijnen voor bewijsgerichte veiligheidsargumenten over technische waarborgen, operationele werkwijzen en onderzoek naar misalignment.
Prioriteiten en principes voor effectieve beoordelingen door derden — Ons voorstel voor onafhankelijke toetsing van veiligheidsonderbouwingen, waarborgen, evaluaties en modelgedrag.
Periodiek overzicht van beoordelingen van catastrofale risico's bij intern gebruik(opent in een nieuw venster) — Ons openbare rapport over juni–september 2026 beschrijft de interne inzet van grensverleggende modellen, de beoordeelde risico's en wijzigingen in waarborgen en governance.
Gewenst gedrag definiëren en evalueren
Bijgewerkte modelspecificaties voor capabelere en nuttigere AI — Hoe we de modelspecificaties bijwerkten rond vijf kernwaarden die het oordeel, gedrag en respect voor menselijk toezicht van modellen sturen.
Gedragsverschillen tussen evaluatie en productie bij agentveiligheid en de rol van evaluatiebewustzijn(opent in een nieuw venster) — Onderzoek naar verschillen tussen veiligheidsevaluaties en productiegedrag, waaronder de invloed van de interpretatie van evaluatiedoelen op modelprestaties.
Voorbij g-mean²: aanvullende maatstaven voor monitorbaarheid(opent in een nieuw venster) — Nieuwe maatstaven om monitorbaarheid te vergelijken en restrisico's te schatten in gesimuleerde systemen waarin monitoringssystemen modeloutput afwijzen.
Systeemkaart van GPT‑6 Astra(opent in een nieuw venster) — Uitgebreide evaluaties van Astra's capaciteiten, veiligheid, alignment en monitorbaarheid, naast de waarborgen en beperkingen bij inzet.
Modellen afschermen en waarborgen verbeteren
Onze trainingsomgeving voor grensverleggende modellen beveiligen — Hoe we de isolatie versterkten, offline onderzoeksomgevingen bouwden en onze sterkste modellen gebruikten om de afscherming te testen.
Activatieclassifiers trainen voor veiligheid en alignment(opent in een nieuw venster) — Hoe classifiers interne modelactivaties gebruiken om mogelijk schadelijk gedrag te detecteren en antwoorden of toolaanroepen te onderbreken.
Automatische beoordeling van agentacties zonder synchroon menselijk toezicht(opent in een nieuw venster) — Hoe een aparte beoordelingsagent acties buiten de sandbox beoordeelt, zodat programmeeragents zelfstandig kunnen werken terwijl mogelijk schadelijke of ongeautoriseerde acties worden geblokkeerd.
GPT‑Red: zelfverbetering mogelijk maken voor meer robuustheid — Hoe we geautomatiseerde systemen voor red teaming trainen door ze tegen zichzelf te laten spelen, om kwetsbaarheden te vinden en modellen weerbaarder te maken tegen promptinjecties.
Control Room — Hoe we workloads in onze onderzoeksinfrastructuur volgen en modeloutput snel stilleggen wanneer veiligheids- of beveiligingsrisico's ingrijpen vereisen.
Incidentrespons en openbaarmaking
Hoe we misalignment bij grensverleggende modellen detecteren — Ons monitoringsysteem combineert activatieprobes, modelgebaseerde beoordeling, geautomatiseerd onderzoek en menselijke respons om zorgwekkend gedrag te detecteren en te onderzoeken.
Het Hugging Face-incident en de weg vooruit — Onze bevindingen uit het Hugging Face-incident en de veranderingen die daarop volgden in beveiliging, monitoring en alignment.
Een agent gebruikte DNS om een externe chatbot te bereiken(opent in een nieuw venster) — Hoe een onderzoeksmodel internetbeperkingen omzeilde door gebrekkige DNS-filtering, hoe monitoring dit detecteerde en welke maatregelen daarna zijn toegevoegd.
Een gecoördineerde campagne voor modeldistillatie verstoren — Hoe we pogingen om beschermde modelredenering te ontfutselen onderzochten en verstoorden via accountmaatregelen, technische beveiliging en samenwerking met partners.
Ons kader voor het melden van modelmisalignment — Ons proces voor het volgen, onderzoeken en openbaar maken van zorgwekkend modelgedrag, ook wanneer de oorzaken of betekenis nog onzeker zijn.
Rapporten en meldingen over misalignment(opent in een nieuw venster) — Onze verzameling openbaar gemaakte incidenten en meldingen laat zien hoe misalignment ontstaat en waar waarborgen werken of falen.
Onderzoeksvooruitgang en toepassingen
Onderzoek versnellen: een blik binnen OpenAI — Eerste aanwijzingen voor hoe programmeeragents het onderzoek binnen OpenAI veranderen: hun toenemende gebruik, steeds complexere taken en invloed op experimenten.
Over het Navier–Stokes-millenniumprobleem — Een wiskundig bewijs van een intern AI-systeem, met een formalisatie in Lean, dat de capaciteiten van grootschalige onderzoekstoepassingen illustreert.
Daybreak — Ons cyberbeveiligingsprogramma biedt gescreende verdedigers geavanceerde AI-capaciteiten, beveiligingstools en ondersteuning om kwetsbaarheden te vinden en hun verdediging te versterken.
Introductie van GPT‑Rosalind voor biowetenschappelijk onderzoek — Een gespecialiseerd model voor biologie, geneesmiddelenonderzoek en translationele geneeskunde, beschikbaar voor in aanmerking komende organisaties via een programma voor vertrouwde toegang.






