OpenAI

Gestió del risc de la IA d'avantguarda: de l'entrenament al desplegament

18 de novembre de 2026 · Seguretat

Les capacitats dels models d'avantguarda avancen ràpidament, i la nostra capacitat d'entendre'ls, alinear-los i protegir-los ha d'anar un pas per davant. Ajustem el ritme de desenvolupament i llançament dels models, fins i tot pausant l'entrenament intern⁠(s'obre en una finestra nova) o ajornant el llançament de models com GPT‑6.1 Astra quan necessitem més temps per complir els nostres estàndards de seguretat. Hem introduït processos nous, com els arguments de seguretat, i exigim proves més sòlides d'un comportament alineat durant tot l'entrenament. Aquests requisits alenteixen el ritme dels llançaments, però ens donen més confiança per avançar amb seguretat.

Des de l'incident de Hugging Face⁠ del juliol, hem reforçat les salvaguardes i els requisits d'alineament per entrenar, provar i desplegar models. Aquest article explica com avaluem i gestionem el risc en cada etapa, des dels entorns d'entrenament fortament aïllats fins al desplegament de Codex que utilitzes a l'ordinador. Avaluem tant els models com les salvaguardes en cada etapa i exigim una revisió de seguretat abans de passar a la següent.

Defensa en profunditat durant tot el cicle de vida del model

Utilitzem la defensa en profunditat, amb diverses capes de protecció que redueixen la dependència de qualsevol salvaguarda individual. Si una capa falla, les altres ajuden a evitar danys, limitar-ne les conseqüències o alertar-nos perquè puguem intervenir.

Organitzem les proteccions en quatre capes:

Un monitoratge eficaç depèn de la capacitat de monitoratge del model: la fiabilitat amb què els monitors poden detectar errors o comportaments insegurs a partir del raonament i les accions del model. Per exemple, un model que expressa la intenció de fer trampes en la seva cadena de pensament (CoT) és més fàcil de monitorar que un que omet aquesta informació. Avaluem la capacitat de monitoratge durant l'entrenament i abans del desplegament, desenvolupem millors mètodes per mesurar-la⁠(s'obre en una finestra nova) i estudiem què l'afecta⁠(s'obre en una finestra nova).

L'incident de Hugging Face va demostrar per què no hem de confiar només en els entorns aïllats per contenir models molt capaços. Ara supervisem els models d'avantguarda en la majoria d'entorns de desplegament intern i extern, inclosos tots els desplegaments interns que utilitzen eines.

La funció de cada capa canvia al llarg de les tres etapes de desenvolupament i desplegament del model:

  • Recerca: entrenem, provem i utilitzem models en entorns aïllats.

  • Desplegament intern: els empleats d'OpenAI utilitzen models per a tasques pràctiques.

  • Desplegament extern: els models es posen a disposició d'un conjunt més ampli de persones i organitzacions.

Ens basem en capes diferents segons l'etapa. Durant l'entrenament, quan hi ha menys certesa sobre l'alineament, depenem més de l'aïllament i el monitoratge. A mesura que els models obtenen un accés més ampli durant el desplegament, l'alineament i els controls de sistema guanyen importància. En cada etapa, avaluem si les proteccions combinades són suficients per a les capacitats i l'accés del model. Les nostres decisions es poden revisar amb el Grup Assessor de Seguretat i quedar sota la supervisió del Comitè de Protecció i Seguretat del Consell d'Administració d'OpenAI Foundation.

Durant la recerca: contenir els models en entorns aïllats

Durant la fase de recerca, avaluem els models per guanyar confiança en les seves propietats d'alineament. Com que encara no podem confiar plenament en l'alineament per evitar danys, ens basem sobretot en la seguretat i l'aïllament per restringir a què poden accedir i què poden fer.

Atès l'estat actual de la recerca en alineament, els sistemes de monitoratge i la seguretat de la infraestructura d'internet, creiem que l'enfocament responsable és entrenar els models d'avantguarda sense accés directe a internet. Després de l'incident de Hugging Face, vam reestructurar profundament els sistemes interns de recerca per contenir els models mitjançant:

  • entorns aïllats que restringeixen els privilegis del model

  • màquines virtuals per aïllar encara més la càrrega de treball de l'ordinador subjacent

  • perímetres de xarxa i núvol que desconnecten tot el clúster d'internet

Posem a prova aquest sistema contínuament amb equips dels nostres models més potents, que intenten accedir directament a internet, superar els límits de seguretat o comunicar-se amb agents dels quals haurien d'estar aïllats. Això ens ajuda a comprovar si la contenció resisteix les capacitats dels models que pretén limitar.

Com a capa addicional de defensa, supervisem totes les inferències dels models d'avantguarda per detectar si el model ha vulnerat les nostres condicions invariants de seguretat. Si el monitoratge detecta que el model ha accedit a internet, alertem els equips de seguretat i pausem automàticament la càrrega de treball.

El monitoratge ofereix una protecció de reserva essencial quan falla la contenció. En un informe recent de desalineament, vam explicar que els monitors van detectar un model intern de recerca que explotava una configuració DNS incorrecta⁠(s'obre en una finestra nova) per obtenir accés limitat a internet. Vam pausar l'entrenament i l'avaluació dels models més capaços del 20 de setembre a l'1 d'octubre mentre investigàvem i corregíem la bretxa de seguretat.

Per fer intervencions ràpides i fiables, vam crear Control Room⁠, un sistema central que segueix les càrregues de treball de recerca i atura la generació del model en un màxim de 35 segons després de rebre una ordre d'aturada d'una tasca. Aquests controls s'apliquen directament a la infraestructura d'inferència, de manera que no depenen que cada càrrega de treball de recerca implementi un mecanisme d'aturada propi. En les càrregues de treball de recerca amb models d'avantguarda, també aturen la generació del model si Control Room deixa d'estar disponible.

L'equip vermell i el monitoratge es complementen. No podem garantir que un entorn aïllat sigui impenetrable, però l'equip vermell ens ajuda a avaluar quant d'esforç necessitaria un model per escapar-ne. Com més esforç necessiti el model, més oportunitats tindran els monitors de detectar-lo i aturar-lo.

Exigim controls sòlids de seguretat i monitoratge en l'etapa de recerca per diversos motius:

  • Els models encara s'estan avaluant. Alguns encara no han completat l'entrenament de seguretat, les auditories d'alineament i les revisions exigides per al llançament públic.

  • Els entorns de recerca d'avantguarda poden amplificar els riscos. Algunes tasques de recerca requereixen configuracions més ambicioses, que fan que el model sigui més persistent o capaç del que és habitual en el desplegament extern (per exemple, va caldre un equip de 10.000 agents per resoldre el problema de Navier–Stokes).

  • L'entrenament es fa a gran escala amb menys supervisió humana directa. A diferència d'una sessió típica de Codex, les nostres càrregues de treball d'entrenament impliquen moltes accions dels models sense que una persona segueixi cada interacció.

Desplegament intern: posar a prova l'alineament i supervisar de prop el comportament

Abans del llançament general, els empleats passen d'utilitzar models d'avantguarda per a recerca en entorns aïllats a un ús intern sense aïllament, per exemple, amb l'accés al model a través de ChatGPT. Això ens permet entendre millor com es comporten els models en entorns pràctics⁠(s'obre en una finestra nova) i orienta les decisions de desplegament.

Durant aquesta fase, donem al model un accés més ampli a internet, al nostre Slack, al nostre codi i a la infraestructura interna. Això suposa un canvi important en el risc, ja que les accions del model ara afecten directament els sistemes que utilitzem per desenvolupar i fer funcionar OpenAI. Durant el desplegament intern, hem de confiar més en l'alineament del model, les salvaguardes del sistema i el monitoratge que no pas en els controls de seguretat.

Abans de desplegar un model d'avantguarda fora de l'entorn aïllat, cal sotmetre'l a proves d'alineament i de capacitat de monitoratge⁠(s'obre en una finestra nova). Disposem d'un conjunt d'avaluacions d'alineament que comproven tant errors concrets (com eludir restriccions de protecció i seguretat) com mesures generals de propensió (com tornar a mostrejar trajectòries internes de Codex i comprovar si hi ha desalineament). Pots saber més sobre les nostres avaluacions d'alineament i capacitat de monitoratge a l'última fitxa del model GPT‑6 Astra⁠(s'obre en una finestra nova).

Com en els entorns de producció, afegim una capa de defensa amb classificadors de sistema dissenyats per protegir contra danys associats als models d'avantguarda, com els abusos cibernètics i el desenvolupament d'armes biològiques. També exigim, en general, que els empleats que utilitzen Codex facin servir Auto-Review⁠(s'obre en una finestra nova), que avalua les accions potencialment arriscades i les remet a l'usuari.

Finalment, supervisem cada inferència dels models d'avantguarda durant el desplegament intern per detectar comportaments desalineats. Com que el model ara té més privilegis i accés a informació i sistemes interns, és especialment important detectar riscos com l'exfiltració de dades o l'enviament de dades sensibles a una destinació no autoritzada. El monitoratge també ens ajuda a investigar noves formes de desalineament⁠(s'obre en una finestra nova).

Desplegament extern: protegir contra l'ús indegut i el desalineament a gran escala

El desplegament públic exposa els models a molts més usuaris, tasques i entorns, cosa que augmenta tant l'escala com la varietat dels riscos. En aquesta etapa, també ens hem de protegir contra actors potencialment maliciosos que dirigeixen deliberadament el model perquè causi danys.

Abans del llançament públic, els models i les salvaguardes del sistema han de complir els nostres requisits de seguretat per al desplegament extern. Els avaluem mitjançant:

  • Un conjunt més ampli d'avaluacions d'alineament i seguretat. Per als models d'avantguarda, això inclou noves rondes de proves adaptatives⁠ amb el nostre equip vermell automatitzat intern per sotmetre la robustesa del model a proves exigents. Publiquem els resultats de les avaluacions de capacitats i seguretat a les nostres fitxes dels models⁠(s'obre en una finestra nova).

  • Per als models més capaços, també fem proves amb tercers per posar a prova tant les salvaguardes contra l'ús indegut com l'alineament subjacent dels models.

  • L'examen de les alertes de monitoratge de l'etapa de desplegament intern per fer un seguiment dels canvis en l'alineament subjacent del model base.

A més de les salvaguardes "síncrones" (com l'entrenament de seguretat dels models i els classificadors del sistema), en els desplegaments externs també apliquem mesures de control i investigació fora de línia. Aquests equips combinen agents investigadors a gran escala i revisió humana per detectar i identificar possibles actors maliciosos en àmbits com els abusos cibernètics, el desenvolupament d'armes biològiques i la destil·lació⁠, així com el desalineament del mateix model. El control fora de línia és especialment útil per recollir informació de diversos comptes i obtenir una visió més completa d'una possible amenaça.

Els programes d'accés de confiança, com Daybreak i Rosalind⁠, ofereixen una altra capa de seguretat i agilitzen la feina dels defensors i investigadors legítims, alhora que restringeixen l'accés de possibles atacants.

Resposta a incidents i divulgació

Quan detectem una fallada en una capa de seguretat, tant si ha causat danys com si no, volem investigar-la ràpidament, establir-ne la prioritat i, si és possible i adequat, divulgar-la externament. Segons la nostra política de notificació de desalineaments⁠, qualsevol empleat pot proposar que es faci públic un incident. Investiguem aquestes notificacions i, si hi ha desacord sobre si cal divulgar-les externament, traslladem la decisió al Grup Assessor de Seguretat. A més de basar-nos en les notificacions dels empleats, busquem activament incidents de desalineament per abordar-los i compartir les conclusions.

Pots consultar els nostres informes de desalineament aquí⁠(s'obre en una finestra nova).

​


​

Aquesta feina depèn tant dels avenços de la recerca com del rigor operatiu: configurar bé els controls, provar com interactuen i respondre amb decisió quan fallen. Un servei de xarxa mal configurat o una aturada automàtica fallida poden afeblir proteccions que, altrament, serien sòlides.

A mesura que els models adquireixin noves capacitats, haurem de continuar qüestionant els supòsits de les salvaguardes i millorant-les quan calgui. Les lliçons de la recerca, l'ús intern i el desplegament públic han d'orientar l'entrenament, l'avaluació i el desplegament dels models següents.

Continuarem compartint conclusions mitjançant fitxes dels models, informes d'incidents, informes de risc⁠(s'obre en una finestra nova) del desplegament intern i avaluacions externes⁠, perquè altres puguin examinar el nostre enfocament, incloses les seves limitacions. Quan les proves no arribin al nivell de seguretat que exigim, tornarem a pausar l'entrenament o ajornarem el llançament fins que es compleixin els requisits.

Recerca i recursos relacionats

Establiment d'estàndards de seguretat

Definició i avaluació del comportament alineat

Contenció dels models i millora de les salvaguardes

Resposta a incidents i divulgació

Avenços de la recerca i aplicacions