În ultimele săptămâni, două evoluții au evidențiat riscurile tot mai mari asociate sistemelor AI din ce în ce mai capabile: incidentul OpenAI-Hugging Face și, separat, dovezile preliminare că unul dintre modelele noastre viitoare, Astra, ar putea atinge pragul de capabilitate critică de securitate cibernetică definit de Cadrul nostru de pregătire. Împreună, aceste evoluții și progresele rapide din cercetarea noastră internă au făcut și mai urgentă consolidarea măsurilor de monitorizare, aliniere și izolare în toate etapele procesului de antrenare.
Pe măsură ce modelele devin mai capabile, cresc și riscurile asociate dezvoltării și testării lor interne. Standardele noastre de monitorizare, aliniere și securitate trebuie să rămână înaintea acestor riscuri. Am vrut să ne acordăm timpul necesar pentru a respecta aceste standarde, așa că am încetinit temporar ritmul extinderii. Printre măsuri s-a numărat o pauză de două săptămâni în antrenarea prin învățare prin consolidare (RL) a celor mai recente modele destinate implementării, timp în care am securizat suplimentar și am testat ofensiv mediile de cercetare și am extins acoperirea sistemelor de monitorizare. Cea mai mare sesiune planificată de RL de vârf rămâne suspendată cât timp desfășurăm antrenări și evaluări la scară mai mică pentru a analiza comportamentul modelului, a valida măsurile de protecție și a obține mai multe dovezi de aliniere înainte de a continua.
Alinierea — efortul de a face sistemele AI să se comporte conform intențiilor și să răspundă supravegherii umane — se află de mult timp în centrul programului nostru de cercetare. Acum solicităm dovezi mai solide privind comportamentul aliniat pe tot parcursul antrenării, pe baza cercetărilor și evaluărilor deja în desfășurare. Menținerea alinierii sistemelor din ce în ce mai capabile este o provocare pe care va trebui să o abordeze întregul domeniu. Semnalele observate în evoluția modelelor viitoare arată clar că avem nevoie de o abordare mai amplă, care să se bazeze pe actualul Cadru de pregătire și să îl extindă.
Considerăm că este important să explicăm transparent cum se schimbă abordarea noastră. Mai jos descriem schimbările deja aduse proceselor și infrastructurii noastre de cercetare, precum și activitățile încă în desfășurare.
Abordarea noastră privind dezvoltarea unor modele mai capabile se bazează pe trei măsuri de protecție care se consolidează reciproc:
- Monitorizarea, care detectează comportamentele îngrijorătoare și ne permite să intervenim.
- Alinierea, care reduce probabilitatea acțiunilor dăunătoare sau neautorizate.
- Măsurile de securitate, care limitează resursele pe care sistemele AI le pot accesa sau afecta.
Ne așteptăm ca modelele să preia în curând cea mai mare parte a activităților de securitate, inclusiv apărarea împotriva altor modele. Astfel, toate cele trei măsuri de protecție se vor putea extinde odată cu capabilitățile modelelor, ceea ce considerăm esențial.
Aplicăm aceste măsuri de protecție în cercetare și implementare, adaptându-le la capabilitățile, mediul de operare și nivelul de risc al fiecărui model.
Pe măsură ce modelele de vârf dobândesc capabilități tot mai avansate în domeniul securității cibernetice, ridicăm standardele de securitate pentru mediile în care le antrenăm și le evaluăm. Respectarea acestor standarde a necesitat eforturi substanțiale de inginerie și a generat costuri considerabile și întârzieri în cercetarea de vârf. Imediat după incidentul OpenAI–Hugging Face*, am suspendat inferența modelelor de vârf în infrastructurile de calcul pentru cercetare pentru rulările care puteau executa cod sau utiliza instrumente cu acces la internet. Am restabilit destul de rapid o modalitate mai limitată și mai sigură de executare a codului, apoi am analizat individual fiecare sarcină de lucru pentru a stabili dacă putea fi reluată în condiții de siguranță. Unele sarcini de cercetare au fost reluate în baza acestor noi măsuri de control, în timp ce altele au necesitat modificări suplimentare.
În săptămânile următoare, am definit și am început să implementăm cerințe de securitate mai stricte pentru sarcinile de cercetare de vârf. De exemplu:
- Izolarea sarcinilor de lucru: acum impunem o izolare mai strictă („medii sandbox”) pentru sarcinile care execută cod generat de modele sau alt cod care nu prezintă încredere. Cerința se aplică și programelor software care ar putea fi compromise în timpul procesării rezultatelor modelelor.
- Izolarea rețelei: am implementat mai multe controale pentru a izola de internet sarcinile cu risc ridicat și pe cele care nu prezintă încredere. Am proiectat aceste controale astfel încât compromiterea unei singure sarcini sau a unui serviciu auxiliar să nu permită, de una singură, accesul neautorizat la internet ori la alte rețele interne.
- Testarea continuă a securității: ne-am reconfigurat mediul pentru a elimina serviciile partajate potențial vulnerabile, a reduce privilegiile permanente și a îmbunătăți limitele de securitate și încredere. Ne îmbunătățim și capacitatea de a colecta și monitoriza jurnalele de securitate. În plus, investim în automatizare, folosindu-ne modelele pentru a testa continuu aceste limite prin atacuri simulate.
Împreună, aceste controale oferă o apărare pe mai multe niveluri și ne protejează mediul de cercetare împotriva atacurilor. În prezent, impunem cel mai strict nivel al măsurilor de securitate pentru sarcinile care implică Astra sau modele cibernetice, deoarece am stabilit că modelele Astra pot avea un nivel critic de capabilități cibernetice. Aceste măsuri de protecție se aplică și tuturor celorlalte sarcini din domeniul cibernetic.
Deși unele antrenări și evaluări Astra respectă aceste cerințe, un număr semnificativ de sarcini rămân suspendate până când sunt migrate complet și îmbunătățite pentru a îndeplini noul standard de securitate. Acordăm prioritate migrării sarcinilor de siguranță și aliniere către aceste medii noi.
Monitorizarea reprezintă de mult timp o parte importantă a procesului nostru de dezvoltare a modelelor, inclusiv monitorizarea agenților interni de programare și a sesiunilor de lungă durată. Eforturile noastre de monitorizare s-au concentrat în special asupra implementărilor interne ale modelelor de vârf și a sesiunilor de antrenare RL de vârf, pe care le consideram sarcinile cu cel mai mare risc, deoarece pot combina capabilități avansate ale modelelor cu accesul la instrumente, sisteme sensibile și rețele interne sau externe. Monitorizarea nu era aplicată tuturor sesiunilor de inferență și antrenare care foloseau instrumente. Ne-am revizuit și extins abordarea prin noua configurație de monitorizare.
Noua configurație de monitorizare are mai multe etape. Ea începe cu clasificatori de activare — detectoare care inspectează activitatea internă a unui model — care rulează la fiecare token eșantionat și transmit posibilele probleme către investigatori automatizați din ce în ce mai sofisticați și cu un consum de calcul mai ridicat. Aceste sisteme examinează acțiunile instrumentelor, raţionamentul disponibil și întreaga succesiune de activități pentru a detecta accesul neautorizat, furtul de date, comportamentul distructiv și tentativele de eludare a măsurilor de protecție. Ne propunem să emitem o alertă în cel mult 30 de minute de la semnalarea unei activități îngrijorătoare de către sistemul nostru de monitorizare. Dacă sistemul de monitorizare identifică o probabilă încălcare a unei limite critice de securitate, generează o alertă de maximă prioritate. În implementarea actuală, echipele de siguranță, securitate și cercetare sunt alertate imediat. Dacă nu pot stabili cu certitudine în 30 de minute că semnalarea este un fals pozitiv, echipele trebuie să suspende activitatea.
Această monitorizare este obligatorie pentru toate antrenările RL și evaluările care implică instrumente pentru modelele cu capabilități de nivel Sol sau superior. După ce am stabilit, în 7 august, că Astra ar putea avea capabilități cibernetice critice, am adăugat o cerință suplimentară de monitorizare pentru toate inferențele Astra care folosesc instrumente, nu doar pentru antrenările și evaluările RL.
Aceste măsuri de protecție necesită resurse de calcul semnificative. Estimările noastre actuale indică un cost suplimentar de monitorizare de aproximativ 20% din resursele de calcul ale inferenței monitorizate, deși costul variază considerabil între sarcinile de antrenare și evaluare. Vom publica mai multe detalii despre acest sistem într-un articol viitor pe blog.
Cercetarea alinierii este esențială pentru misiunea noastră. Misiunea noastră este să ne asigurăm că inteligența generală artificială aduce beneficii întregii omeniri. Pe măsură ce modelele dobândesc capabilități avansate, precum capacitatea de a lansa atacuri cibernetice, și operează în medii mai complexe, comportamentele nealiniate — cum ar fi exploatarea recompensei (găsirea unor modalități de a obține recompense mari în timpul antrenării fără atingerea efectivă a rezultatului urmărit), inducerea în eroare sau accesul neautorizat — vor genera riscuri tot mai grave.
Pentru sesiunile RL ale celor mai capabile modele, aplicăm acum tehnicile noastre fundamentale de aliniere în mai multe etape ale procesului de antrenare. Printre măsuri se numără îmbunătățirea modelelor de recompensă pentru a detecta și descuraja mai eficient comportamentele nesigure în diverse sarcini și medii; antrenarea modelelor pentru a fi mai sincere cu privire la acțiunile, capabilitățile și limitele lor; și reducerea comportamentelor care exploatează vulnerabilitățile recompenselor, evaluatorilor, instrumentelor sau supravegherii. Extindem și acoperirea antrenării pentru comportamentele care ar putea provoca daune atunci când modelele interacționează cu sisteme sau resurse externe.
Continuăm să investim masiv în cercetarea alinierii, să extindem acoperirea evaluărilor și să folosim concluziile obținute pentru a îmbunătăți antrenarea și măsurile de protecție. Intenționăm ca, în viitorul apropiat, să prezentăm mult mai multe informații despre cercetarea noastră privind alinierea, inclusiv ce aflăm despre comportamentul modelelor și eventualele provocări noi pe care le descoperim.
Vom dezvolta Cadrul de pregătire pentru a reuni aceste măsuri de protecție în toate etapele de antrenare și implementare și pentru a reflecta mai bine capabilitățile modelelor viitoare și mediile în care acestea operează. Dezvoltarea unor metode care să țină pasul cu aceste capabilități va necesita investiții susținute în securitatea asistată de modele, o monitorizare mai eficientă și progrese continue în cercetarea alinierii. Intenționăm să implicăm organizații externe și să împărtășim mai multe dintre concluziile noastre pe măsură ce ne dezvoltăm abordarea.
Capabilitățile modelelor de vârf avansează rapid. Capacitatea noastră de a le înțelege, alinia și securiza trebuie să rămână înaintea acestor progrese.
*În următoarele săptămâni vom publica un raport tehnic despre concluziile noastre.
