OpenAI

Gestionarea riscurilor IA de vârf: de la instruire la aplicare

18 noiembrie 2026 · Siguranță

Capabilitățile modelelor de vârf avansează rapid, iar capacitatea noastră de a le înțelege, alinia și securiza trebuie să rămână cu un pas înainte. Adaptăm ritmul dezvoltării și lansării modelelor, inclusiv prin suspendarea instruirii interne⁠(se deschide într-o fereastră nouă) sau amânarea lansării unor modele precum GPT‑6.1 Astra, când avem nevoie de mai mult timp pentru a îndeplini standardele de siguranță. Am introdus procese noi, precum dosarele de siguranță, și cerem dovezi mai solide de comportament aliniat pe tot parcursul instruirii. Aceste cerințe încetinesc ritmul lansărilor, dar ne oferă mai multă încredere că putem avansa în siguranță.

După incidentul Hugging Face⁠ din iulie, am consolidat măsurile de protecție și cerințele de aliniere pentru instruirea, testarea și implementarea modelelor. Acest articol explică modul în care evaluăm și gestionăm riscul în fiecare etapă, de la mediile de instruire strict izolate până la implementarea Codex pe care o folosești pe computer. Evaluăm atât modelele, cât și măsurile de protecție în fiecare etapă, iar trecerea la etapa următoare necesită o revizuire de siguranță.

Apărare în profunzime pe întregul ciclu de viață al modelului

Folosim apărarea în profunzime, cu mai multe straturi de protecție care reduc dependența de o singură măsură. Dacă un strat cedează, celelalte contribuie la prevenirea prejudiciilor, limitează consecințele sau ne alertează pentru a putea interveni.

Ne organizăm protecțiile în patru straturi:

Monitorizarea eficientă depinde de monitorizabilitatea modelului — cât de fiabil pot sistemele de monitorizare să detecteze greșeli sau comportamente nesigure din raționamentul și acțiunile unui model. De exemplu, un model care își exprimă intenția de a trișa în lanțul său de gândire (CoT) este mai ușor de monitorizat decât unul care omite această informație. Evaluăm monitorizabilitatea în timpul instruirii și înainte de implementare, dezvoltăm metode mai bune de măsurare⁠(se deschide într-o fereastră nouă) și studiem factorii care o influențează⁠(se deschide într-o fereastră nouă).

Incidentul Hugging Face a arătat de ce nu ar trebui să ne bazăm doar pe medii izolate pentru a ține sub control modele foarte capabile. Acum monitorizăm modelele de vârf în majoritatea mediilor de implementare internă și externă, inclusiv în toate implementările interne care folosesc instrumente.

Rolul fiecărui strat se schimbă pe parcursul a trei etape de dezvoltare și implementare a modelelor:

  • Cercetare: Instruim, testăm și folosim modele în medii izolate.

  • Implementare internă: Angajații OpenAI folosesc modele pentru activități practice.

  • Implementare externă: Modelele devin disponibile unui număr mai mare de persoane și organizații.

Ne bazăm pe straturi diferite în etape diferite. În timpul instruirii, când alinierea este mai puțin sigură, ne bazăm mai mult pe izolare și monitorizare. Pe măsură ce modelele primesc acces mai larg în timpul implementării, alinierea și controalele la nivel de sistem devin tot mai importante. În fiecare etapă, evaluăm dacă protecțiile combinate sunt suficiente pentru capabilitățile modelului și nivelul său de acces. Concluziile noastre pot fi revizuite împreună cu Grupul consultativ pentru siguranță și supuse supravegherii Comitetului pentru siguranță și securitate din cadrul Consiliului de administrație al OpenAI Foundation.

În timpul cercetării: limitarea modelelor la medii izolate

În etapa de cercetare, evaluăm modelele pentru a dobândi încredere în proprietățile lor de aliniere. Deoarece nu ne putem baza încă pe deplin pe aliniere pentru a preveni prejudiciile, folosim în mare parte securitatea și izolarea pentru a limita accesul și acțiunile modelelor.

Având în vedere stadiul actual al cercetării alinierii, al sistemelor de monitorizare și al securității infrastructurii de internet, considerăm că abordarea responsabilă este instruirea modelelor de vârf fără acces la internet în timp real. După incidentul Hugging Face, ne-am restructurat semnificativ sistemele interne de cercetare pentru a limita modelele folosind:

  • medii izolate care restricționează privilegiile modelului

  • mașini virtuale pentru izolarea suplimentară a proceselor față de computerul gazdă

  • perimetre de rețea și cloud care deconectează întregul cluster de la internet

Testăm continuu acest sistem prin atacuri simulate: echipe compuse din cele mai puternice modele ale noastre încearcă să acceseze internetul în timp real, să depășească limitele de securitate sau să comunice cu agenți de care ar trebui să fie izolate. Astfel, testăm dacă izolarea rezistă capabilităților modelelor pe care trebuie să le limiteze.

Ca strat suplimentar de apărare, monitorizăm toate inferențele modelelor de vârf pentru a detecta dacă modelul a eludat condițiile noastre invariabile de securitate. Dacă monitorizarea detectează că modelul a accesat internetul, alertăm echipele de securitate și suspendăm automat procesul.

Monitorizarea oferă o protecție de rezervă esențială când izolarea eșuează. Într-un raport recent de nealiniere, am arătat că sistemele de monitorizare au detectat un model intern de cercetare care exploata o configurare DNS incorectă⁠(se deschide într-o fereastră nouă) pentru a obține acces limitat la internet. Am suspendat instruirea și evaluarea celor mai capabile modele între 20 septembrie și 1 octombrie, cât timp am investigat și remediat vulnerabilitatea de securitate.

Pentru intervenții rapide și fiabile, am creat Control Room⁠, un sistem central care urmărește procesele de cercetare și oprește generarea de către model în cel mult 35 de secunde de la primirea unei instrucțiuni de oprire a unui proces. Aceste controale sunt aplicate direct în infrastructura de inferență și nu depind de implementarea unui mecanism propriu de oprire pentru fiecare proces de cercetare. Pentru procesele de cercetare cu modele de vârf, ele opresc generarea și dacă sistemul Control Room devine indisponibil.

Red teamingul și monitorizarea se completează reciproc. Nu putem garanta că un mediu izolat este impenetrabil, dar red teamingul ne ajută să estimăm efortul necesar unui model pentru a ieși din el. Cu cât modelul are nevoie de mai mult efort, cu atât sistemele de monitorizare au mai multe ocazii să îl detecteze și să îl oprească.

Impunem controale solide de securitate și monitorizare în etapa de cercetare din câteva motive:

  • Modelele sunt încă în curs de evaluare. Unele nu au parcurs încă toate etapele de instruire pentru siguranță, auditare a alinierii și revizuiri necesare lansării publice.

  • Condițiile de cercetare de vârf pot amplifica riscurile. Anumite sarcini de cercetare necesită configurații mai ambițioase, care fac modelul mai perseverent sau mai capabil decât în implementările externe obișnuite (de exemplu, rezolvarea problemei Navier–Stokes a necesitat o echipă de 10.000 de agenți).

  • Instruirea se desfășoară la scară largă, cu mai puțină supraveghere umană directă. Spre deosebire de o sesiune Codex obișnuită, procesele noastre de instruire implică numeroase acțiuni ale modelelor, fără ca o persoană să urmărească fiecare interacțiune.

Implementare internă: testarea alinierii și monitorizarea atentă a comportamentului

Înainte de lansarea pe scară largă, angajații trec de la utilizarea modelelor de vârf în medii izolate de cercetare la utilizarea internă fără izolare, de exemplu prin accesul la model în ChatGPT. Astfel, înțelegem mai bine cum se comportă modelele în situații practice⁠(se deschide într-o fereastră nouă) și ne putem fundamenta deciziile de implementare.

În această etapă, îi oferim modelului acces mai larg la internet, la Slack, la baza noastră de cod și la infrastructura internă. Riscul se schimbă semnificativ, deoarece acțiunile modelului au acum un impact direct asupra sistemelor pe care le folosim pentru a dezvolta și gestiona OpenAI. În timpul implementării interne, trebuie să ne bazăm mai mult pe alinierea modelului, pe măsurile de protecție ale sistemului și pe monitorizare decât pe controalele de securitate.

Înainte de a fi implementat în afara mediului izolat, un model de vârf trebuie să treacă teste de aliniere și de monitorizabilitate⁠(se deschide într-o fereastră nouă). Suita noastră de evaluări ale alinierii testează atât tipuri specifice de eșec al alinierii (precum eludarea restricțiilor de siguranță și securitate), cât și tendințe generale (prin reeșantionarea traiectoriilor interne Codex și verificarea nealinierii, de exemplu). Poți afla mai multe despre evaluările noastre de aliniere și monitorizabilitate în cea mai recentă fișă de sistem GPT‑6 Astra⁠(se deschide într-o fereastră nouă).

Reproducând configurațiile din producție, adăugăm un strat de apărare prin clasificatoare la nivel de sistem, concepute să prevină prejudiciile asociate modelelor de vârf, precum abuzurile cibernetice și crearea de arme biologice. De asemenea, angajații care folosesc Codex trebuie, în general, să utilizeze Revizuirea automată⁠(se deschide într-o fereastră nouă), care evaluează acțiunile potențial riscante și le trimite utilizatorului pentru a lua o decizie.

În final, monitorizăm fiecare inferență a modelelor de vârf în timpul implementării interne pentru a detecta comportamente nealiniate. Deoarece modelul are acum privilegii extinse și acces la informații și sisteme interne, detectarea riscurilor precum exfiltrarea datelor, adică trimiterea datelor sensibile către o destinație neautorizată, devine deosebit de importantă. Monitorizarea ne ajută și să investigăm forme noi de nealiniere⁠(se deschide într-o fereastră nouă).

Implementare externă: protecție împotriva utilizării abuzive și a nealinierii la scară largă

Implementarea publică expune modelele la mult mai mulți utilizatori, la mai multe sarcini și medii, sporind atât amploarea, cât și diversitatea riscurilor. În această etapă, trebuie să asigurăm protecția și împotriva persoanelor potențial rău intenționate care îndrumă deliberat modelul să provoace prejudicii.

Înainte de lansarea publică, modelele și măsurile de protecție ale sistemului trebuie să îndeplinească cerințele noastre de siguranță pentru implementarea externă. Le evaluăm prin:

  • Efectuarea unei suite mai ample de evaluări ale alinierii și siguranței. Pentru modelele de vârf, aceasta include noi runde de testare adaptivă⁠ cu sistemele noastre interne automatizate de red teaming, pentru a testa robustețea modelului în condiții extreme. Publicăm rezultatele evaluărilor capabilităților și siguranței în fișele noastre de sistem⁠(se deschide într-o fereastră nouă).

  • Pentru cele mai capabile modele, efectuăm și teste cu terți, pentru a pune la încercare atât măsurile de protecție împotriva utilizării abuzive, cât și alinierea intrinsecă a modelelor noastre.

  • Examinarea semnalărilor de monitorizare din etapa de implementare internă, pentru a urmări orice schimbare a alinierii intrinseci a modelului de bază.

Pe lângă măsurile de protecție „sincrone” (precum instruirea modelelor pentru siguranță și clasificatoarele de sistem), pentru implementările externe folosim și investigații și măsuri de aplicare a regulilor în afara fluxului în timp real. Aceste echipe combină agenți de investigare folosiți la scară largă cu revizuirea umană pentru a detecta și identifica surse potențiale de amenințări: abuzuri cibernetice, crearea de arme biologice, distilare⁠ și nealinierea modelului însuși. Aplicarea regulilor în afara fluxului în timp real ajută mai ales la colectarea informațiilor din mai multe conturi, pentru o imagine mai completă a unei potențiale amenințări.

Programele de acces pentru utilizatori de încredere, precum Daybreak și Rosalind⁠, oferă un nivel suplimentar de securitate și accelerează activitatea apărătorilor și a cercetătorilor legitimi, limitând accesul potențialilor atacatori.

Răspunsul la incidente și divulgarea lor

Când observăm un eșec al unuia dintre straturile noastre de siguranță, indiferent dacă a produs sau nu prejudicii, dorim să îl investigăm rapid, să stabilim prioritatea intervenției și, dacă este posibil și oportun, să îl facem public. Conform politicii noastre de raportare a nealinierii⁠, orice angajat poate semnala un incident pentru divulgare publică. Aceste rapoarte sunt investigate, iar dacă există dezacorduri privind divulgarea lor externă, decizia este înaintată Grupului consultativ pentru siguranță. Pe lângă rapoartele angajaților, căutăm proactiv incidente de nealiniere, pentru a le remedia și a comunica rezultatele investigațiilor.

Poți consulta rapoartele noastre de nealiniere aici⁠(se deschide într-o fereastră nouă).

​


​

Acest demers depinde atât de progresul cercetării, cât și de disciplina operațională: configurarea corectă a controalelor, testarea interacțiunilor dintre ele și reacția fermă atunci când eșuează. Un serviciu de rețea configurat greșit sau o oprire automată eșuată poate compromite protecții altfel solide.

Pe măsură ce modelele dobândesc capabilități noi, va trebui să continuăm să verificăm ipotezele din spatele măsurilor de protecție și să le îmbunătățim când este necesar. Cele învățate din cercetare, utilizarea internă și implementarea publică trebuie să ghideze instruirea, evaluarea și implementarea următoarelor modele.

Vom continua să publicăm rezultate prin fișe de sistem, rapoarte de incidente, rapoarte de risc⁠(se deschide într-o fereastră nouă) privind implementarea internă și evaluări externe⁠, pentru ca și alții să poată examina critic abordarea noastră, inclusiv limitele ei. Când aceste dovezi nu ating standardul nostru de siguranță, vom suspenda din nou instruirea sau vom amâna lansarea până la îndeplinirea cerințelor.

Cercetări și resurse conexe

Stabilirea standardelor de siguranță

Definirea și evaluarea comportamentului aliniat

Izolarea modelelor și îmbunătățirea protecțiilor

Răspunsul la incidente și divulgarea lor

Progrese în cercetare și aplicații