Gestionarea riscurilor IA de vârf: de la instruire la aplicare
18 noiembrie 2026 · Siguranță
Capabilitățile modelelor de vârf avansează rapid, iar capacitatea noastră de a le înțelege, alinia și securiza trebuie să rămână cu un pas înainte. Adaptăm ritmul dezvoltării și lansării modelelor, inclusiv prin suspendarea instruirii interne(se deschide într-o fereastră nouă) sau amânarea lansării unor modele precum GPT‑6.1 Astra, când avem nevoie de mai mult timp pentru a îndeplini standardele de siguranță. Am introdus procese noi, precum dosarele de siguranță, și cerem dovezi mai solide de comportament aliniat pe tot parcursul instruirii. Aceste cerințe încetinesc ritmul lansărilor, dar ne oferă mai multă încredere că putem avansa în siguranță.
După incidentul Hugging Face din iulie, am consolidat măsurile de protecție și cerințele de aliniere pentru instruirea, testarea și implementarea modelelor. Acest articol explică modul în care evaluăm și gestionăm riscul în fiecare etapă, de la mediile de instruire strict izolate până la implementarea Codex pe care o folosești pe computer. Evaluăm atât modelele, cât și măsurile de protecție în fiecare etapă, iar trecerea la etapa următoare necesită o revizuire de siguranță.
Folosim apărarea în profunzime, cu mai multe straturi de protecție care reduc dependența de o singură măsură. Dacă un strat cedează, celelalte contribuie la prevenirea prejudiciilor, limitează consecințele sau ne alertează pentru a putea interveni.
Ne organizăm protecțiile în patru straturi:
Monitorizarea eficientă depinde de monitorizabilitatea modelului — cât de fiabil pot sistemele de monitorizare să detecteze greșeli sau comportamente nesigure din raționamentul și acțiunile unui model. De exemplu, un model care își exprimă intenția de a trișa în lanțul său de gândire (CoT) este mai ușor de monitorizat decât unul care omite această informație. Evaluăm monitorizabilitatea în timpul instruirii și înainte de implementare, dezvoltăm metode mai bune de măsurare(se deschide într-o fereastră nouă) și studiem factorii care o influențează(se deschide într-o fereastră nouă).
Incidentul Hugging Face a arătat de ce nu ar trebui să ne bazăm doar pe medii izolate pentru a ține sub control modele foarte capabile. Acum monitorizăm modelele de vârf în majoritatea mediilor de implementare internă și externă, inclusiv în toate implementările interne care folosesc instrumente.
Rolul fiecărui strat se schimbă pe parcursul a trei etape de dezvoltare și implementare a modelelor:
Cercetare: Instruim, testăm și folosim modele în medii izolate.
Implementare internă: Angajații OpenAI folosesc modele pentru activități practice.
Implementare externă: Modelele devin disponibile unui număr mai mare de persoane și organizații.
Ne bazăm pe straturi diferite în etape diferite. În timpul instruirii, când alinierea este mai puțin sigură, ne bazăm mai mult pe izolare și monitorizare. Pe măsură ce modelele primesc acces mai larg în timpul implementării, alinierea și controalele la nivel de sistem devin tot mai importante. În fiecare etapă, evaluăm dacă protecțiile combinate sunt suficiente pentru capabilitățile modelului și nivelul său de acces. Concluziile noastre pot fi revizuite împreună cu Grupul consultativ pentru siguranță și supuse supravegherii Comitetului pentru siguranță și securitate din cadrul Consiliului de administrație al OpenAI Foundation.
În etapa de cercetare, evaluăm modelele pentru a dobândi încredere în proprietățile lor de aliniere. Deoarece nu ne putem baza încă pe deplin pe aliniere pentru a preveni prejudiciile, folosim în mare parte securitatea și izolarea pentru a limita accesul și acțiunile modelelor.
Având în vedere stadiul actual al cercetării alinierii, al sistemelor de monitorizare și al securității infrastructurii de internet, considerăm că abordarea responsabilă este instruirea modelelor de vârf fără acces la internet în timp real. După incidentul Hugging Face, ne-am restructurat semnificativ sistemele interne de cercetare pentru a limita modelele folosind:
medii izolate care restricționează privilegiile modelului
mașini virtuale pentru izolarea suplimentară a proceselor față de computerul gazdă
perimetre de rețea și cloud care deconectează întregul cluster de la internet
Testăm continuu acest sistem prin atacuri simulate: echipe compuse din cele mai puternice modele ale noastre încearcă să acceseze internetul în timp real, să depășească limitele de securitate sau să comunice cu agenți de care ar trebui să fie izolate. Astfel, testăm dacă izolarea rezistă capabilităților modelelor pe care trebuie să le limiteze.
Ca strat suplimentar de apărare, monitorizăm toate inferențele modelelor de vârf pentru a detecta dacă modelul a eludat condițiile noastre invariabile de securitate. Dacă monitorizarea detectează că modelul a accesat internetul, alertăm echipele de securitate și suspendăm automat procesul.
Monitorizarea oferă o protecție de rezervă esențială când izolarea eșuează. Într-un raport recent de nealiniere, am arătat că sistemele de monitorizare au detectat un model intern de cercetare care exploata o configurare DNS incorectă(se deschide într-o fereastră nouă) pentru a obține acces limitat la internet. Am suspendat instruirea și evaluarea celor mai capabile modele între 20 septembrie și 1 octombrie, cât timp am investigat și remediat vulnerabilitatea de securitate.
Pentru intervenții rapide și fiabile, am creat Control Room, un sistem central care urmărește procesele de cercetare și oprește generarea de către model în cel mult 35 de secunde de la primirea unei instrucțiuni de oprire a unui proces. Aceste controale sunt aplicate direct în infrastructura de inferență și nu depind de implementarea unui mecanism propriu de oprire pentru fiecare proces de cercetare. Pentru procesele de cercetare cu modele de vârf, ele opresc generarea și dacă sistemul Control Room devine indisponibil.
Red teamingul și monitorizarea se completează reciproc. Nu putem garanta că un mediu izolat este impenetrabil, dar red teamingul ne ajută să estimăm efortul necesar unui model pentru a ieși din el. Cu cât modelul are nevoie de mai mult efort, cu atât sistemele de monitorizare au mai multe ocazii să îl detecteze și să îl oprească.
Impunem controale solide de securitate și monitorizare în etapa de cercetare din câteva motive:
Modelele sunt încă în curs de evaluare. Unele nu au parcurs încă toate etapele de instruire pentru siguranță, auditare a alinierii și revizuiri necesare lansării publice.
Condițiile de cercetare de vârf pot amplifica riscurile. Anumite sarcini de cercetare necesită configurații mai ambițioase, care fac modelul mai perseverent sau mai capabil decât în implementările externe obișnuite (de exemplu, rezolvarea problemei Navier–Stokes a necesitat o echipă de 10.000 de agenți).
Instruirea se desfășoară la scară largă, cu mai puțină supraveghere umană directă. Spre deosebire de o sesiune Codex obișnuită, procesele noastre de instruire implică numeroase acțiuni ale modelelor, fără ca o persoană să urmărească fiecare interacțiune.
Înainte de lansarea pe scară largă, angajații trec de la utilizarea modelelor de vârf în medii izolate de cercetare la utilizarea internă fără izolare, de exemplu prin accesul la model în ChatGPT. Astfel, înțelegem mai bine cum se comportă modelele în situații practice(se deschide într-o fereastră nouă) și ne putem fundamenta deciziile de implementare.
În această etapă, îi oferim modelului acces mai larg la internet, la Slack, la baza noastră de cod și la infrastructura internă. Riscul se schimbă semnificativ, deoarece acțiunile modelului au acum un impact direct asupra sistemelor pe care le folosim pentru a dezvolta și gestiona OpenAI. În timpul implementării interne, trebuie să ne bazăm mai mult pe alinierea modelului, pe măsurile de protecție ale sistemului și pe monitorizare decât pe controalele de securitate.
Înainte de a fi implementat în afara mediului izolat, un model de vârf trebuie să treacă teste de aliniere și de monitorizabilitate(se deschide într-o fereastră nouă). Suita noastră de evaluări ale alinierii testează atât tipuri specifice de eșec al alinierii (precum eludarea restricțiilor de siguranță și securitate), cât și tendințe generale (prin reeșantionarea traiectoriilor interne Codex și verificarea nealinierii, de exemplu). Poți afla mai multe despre evaluările noastre de aliniere și monitorizabilitate în cea mai recentă fișă de sistem GPT‑6 Astra(se deschide într-o fereastră nouă).
Reproducând configurațiile din producție, adăugăm un strat de apărare prin clasificatoare la nivel de sistem, concepute să prevină prejudiciile asociate modelelor de vârf, precum abuzurile cibernetice și crearea de arme biologice. De asemenea, angajații care folosesc Codex trebuie, în general, să utilizeze Revizuirea automată(se deschide într-o fereastră nouă), care evaluează acțiunile potențial riscante și le trimite utilizatorului pentru a lua o decizie.
În final, monitorizăm fiecare inferență a modelelor de vârf în timpul implementării interne pentru a detecta comportamente nealiniate. Deoarece modelul are acum privilegii extinse și acces la informații și sisteme interne, detectarea riscurilor precum exfiltrarea datelor, adică trimiterea datelor sensibile către o destinație neautorizată, devine deosebit de importantă. Monitorizarea ne ajută și să investigăm forme noi de nealiniere(se deschide într-o fereastră nouă).
Implementarea publică expune modelele la mult mai mulți utilizatori, la mai multe sarcini și medii, sporind atât amploarea, cât și diversitatea riscurilor. În această etapă, trebuie să asigurăm protecția și împotriva persoanelor potențial rău intenționate care îndrumă deliberat modelul să provoace prejudicii.
Înainte de lansarea publică, modelele și măsurile de protecție ale sistemului trebuie să îndeplinească cerințele noastre de siguranță pentru implementarea externă. Le evaluăm prin:
Efectuarea unei suite mai ample de evaluări ale alinierii și siguranței. Pentru modelele de vârf, aceasta include noi runde de testare adaptivă cu sistemele noastre interne automatizate de red teaming, pentru a testa robustețea modelului în condiții extreme. Publicăm rezultatele evaluărilor capabilităților și siguranței în fișele noastre de sistem(se deschide într-o fereastră nouă).
Pentru cele mai capabile modele, efectuăm și teste cu terți, pentru a pune la încercare atât măsurile de protecție împotriva utilizării abuzive, cât și alinierea intrinsecă a modelelor noastre.
Examinarea semnalărilor de monitorizare din etapa de implementare internă, pentru a urmări orice schimbare a alinierii intrinseci a modelului de bază.
Pe lângă măsurile de protecție „sincrone” (precum instruirea modelelor pentru siguranță și clasificatoarele de sistem), pentru implementările externe folosim și investigații și măsuri de aplicare a regulilor în afara fluxului în timp real. Aceste echipe combină agenți de investigare folosiți la scară largă cu revizuirea umană pentru a detecta și identifica surse potențiale de amenințări: abuzuri cibernetice, crearea de arme biologice, distilare și nealinierea modelului însuși. Aplicarea regulilor în afara fluxului în timp real ajută mai ales la colectarea informațiilor din mai multe conturi, pentru o imagine mai completă a unei potențiale amenințări.
Programele de acces pentru utilizatori de încredere, precum Daybreak și Rosalind, oferă un nivel suplimentar de securitate și accelerează activitatea apărătorilor și a cercetătorilor legitimi, limitând accesul potențialilor atacatori.
Când observăm un eșec al unuia dintre straturile noastre de siguranță, indiferent dacă a produs sau nu prejudicii, dorim să îl investigăm rapid, să stabilim prioritatea intervenției și, dacă este posibil și oportun, să îl facem public. Conform politicii noastre de raportare a nealinierii, orice angajat poate semnala un incident pentru divulgare publică. Aceste rapoarte sunt investigate, iar dacă există dezacorduri privind divulgarea lor externă, decizia este înaintată Grupului consultativ pentru siguranță. Pe lângă rapoartele angajaților, căutăm proactiv incidente de nealiniere, pentru a le remedia și a comunica rezultatele investigațiilor.
Poți consulta rapoartele noastre de nealiniere aici(se deschide într-o fereastră nouă).
Acest demers depinde atât de progresul cercetării, cât și de disciplina operațională: configurarea corectă a controalelor, testarea interacțiunilor dintre ele și reacția fermă atunci când eșuează. Un serviciu de rețea configurat greșit sau o oprire automată eșuată poate compromite protecții altfel solide.
Pe măsură ce modelele dobândesc capabilități noi, va trebui să continuăm să verificăm ipotezele din spatele măsurilor de protecție și să le îmbunătățim când este necesar. Cele învățate din cercetare, utilizarea internă și implementarea publică trebuie să ghideze instruirea, evaluarea și implementarea următoarelor modele.
Vom continua să publicăm rezultate prin fișe de sistem, rapoarte de incidente, rapoarte de risc(se deschide într-o fereastră nouă) privind implementarea internă și evaluări externe, pentru ca și alții să poată examina critic abordarea noastră, inclusiv limitele ei. Când aceste dovezi nu ating standardul nostru de siguranță, vom suspenda din nou instruirea sau vom amâna lansarea până la îndeplinirea cerințelor.
Stabilirea standardelor de siguranță
Adaptarea ritmului dezvoltării modelelor în era capabilităților critice pentru securitatea cibernetică — Cum am încetinit instruirea modelelor de vârf, consolidând izolarea, extinzând monitorizarea și cerând dovezi mai solide de aliniere.
Către elaborarea unor analize de siguranță pentru instruirea IA de vârf — Orientări inițiale pentru argumente de siguranță bazate pe dovezi, privind protecțiile tehnice, practicile operaționale și investigarea nealinierii.
Priorități și principii pentru evaluări eficiente efectuate de terți — Abordarea propusă pentru examinarea independentă a dosarelor de siguranță, protecțiilor, evaluărilor și comportamentului modelelor.
Sinteză periodică a evaluărilor riscurilor catastrofale asociate utilizării interne(se deschide într-o fereastră nouă) — Raportul nostru public pentru iunie–septembrie 2026 descrie implementările interne ale modelelor de vârf, riscurile evaluate și schimbările aduse protecțiilor și guvernanței.
Definirea și evaluarea comportamentului aliniat
Specificații model actualizate pentru o IA mai capabilă și mai benefică — Cum am actualizat specificațiile model în jurul a cinci valori fundamentale care ghidează judecata, comportamentul și respectarea supravegherii umane de către modele.
Diferențe de comportament între evaluare și producție în siguranța agenților și rolul conștientizării evaluării(se deschide într-o fereastră nouă) — Un studiu al diferențelor dintre rezultatele evaluărilor de siguranță și comportamentul în producție, inclusiv efectul interpretării obiectivelor evaluării asupra performanței modelelor.
Dincolo de g-mean²: indicatori complementari pentru monitorizabilitate(se deschide într-o fereastră nouă) — Indicatori noi pentru compararea monitorizabilității și estimarea riscului rezidual în sisteme simulate în care monitorizarea respinge rezultatele modelelor.
Fișa de sistem GPT‑6 Astra(se deschide într-o fereastră nouă) — Evaluări detaliate ale capabilităților, siguranței, alinierii și monitorizabilității Astra, alături de protecțiile și limitele implementării.
Izolarea modelelor și îmbunătățirea protecțiilor
Securizarea mediului de instruire a modelelor noastre de vârf — Cum am consolidat izolarea, creat medii de cercetare offline și folosit cele mai puternice modele pentru a testa limitele izolării.
Instruirea clasificatoarelor de activări pentru siguranță și aliniere(se deschide într-o fereastră nouă) — Cum folosesc clasificatoarele activările interne ale modelelor pentru a detecta comportamente potențial dăunătoare și a întrerupe răspunsuri sau apeluri de instrumente.
Revizuirea automată a acțiunilor agenților fără supraveghere umană sincronă(se deschide într-o fereastră nouă) — Cum evaluează un agent de revizuire separat acțiunile care depășesc limitele mediului izolat, ajutând agenții de programare să lucreze autonom și blocând acțiunile potențial dăunătoare sau neautorizate.
GPT‑Red: autoperfecționarea în sprijinul robusteții — Cum instruim sisteme automatizate de red teaming prin joc împotriva propriilor versiuni, pentru a descoperi vulnerabilități și a spori rezistența modelelor la injectarea de solicitări.
Control Room — Cum urmărim procesele din infrastructura de cercetare și oprim rapid generarea modelelor când problemele de siguranță sau securitate necesită intervenție.
Răspunsul la incidente și divulgarea lor
Cum detectăm nealinierea modelelor de vârf — Sistemul nostru de monitorizare combină sonde de activare, revizuiri bazate pe modele, investigații automate și intervenții umane pentru a detecta și investiga comportamente îngrijorătoare.
Incidentul Hugging Face și pașii următori — Constatările noastre despre incidentul Hugging Face și schimbările pe care le-a determinat în securitate, monitorizare și aliniere.
Un agent a folosit DNS pentru a accesa un chatbot extern(se deschide într-o fereastră nouă) — Cum a eludat un model de cercetare restricțiile de internet prin filtrarea DNS insuficientă, cum a fost detectat prin monitorizare și ce controale am adăugat ulterior.
Contracararea unei campanii coordonate de distilare a modelelor — Cum am investigat și contracarat încercările de extragere a raționamentului protejat al modelelor, prin măsuri asupra conturilor, controale tehnice și coordonare cu partenerii.
Cadrul nostru de raportare a nealinierii modelelor — Procesul de urmărire, investigare și divulgare a comportamentelor îngrijorătoare ale modelelor, inclusiv când cauzele sau semnificația rămân incerte.
Rapoarte și notificări privind nealinierea(se deschide într-o fereastră nouă) — Colecția noastră de incidente divulgate și notificări care arată cum apare nealinierea și unde protecțiile funcționează sau eșuează.
Progrese în cercetare și aplicații
Accelerarea cercetării: perspectiva din interiorul OpenAI — Primele dovezi despre cum schimbă agenții de programare cercetarea la OpenAI: utilizare în creștere, sarcini tot mai complexe și efecte asupra experimentării.
Despre problema Navier–Stokes din seria Problemelor Mileniului — O demonstrație matematică produsă de un sistem IA intern, însoțită de o formalizare în Lean, care ilustrează capabilitățile implementărilor de cercetare la scară largă.
Daybreak — Programul nostru de securitate cibernetică oferă apărătorilor verificați capabilități IA avansate, instrumente de securitate și sprijin pentru a găsi vulnerabilități și a consolida apărarea.
Lansăm GPT‑Rosalind pentru cercetare în științele vieții — Un model specializat în biologie, descoperirea de medicamente și medicină translațională, disponibil organizațiilor eligibile printr-un program de acces pentru utilizatori de încredere.






