Control Room

Pe măsură ce modelele noastre devin mai performante, iar riscurile de siguranță și securitate cresc, devine tot mai important să putem detecta problemele potențiale și să oprim rapid modelele atunci când este necesar. Pentru a răspunde acestei nevoi, am creat Control Room.

Control Room este un sistem central care urmărește sarcinile de lucru ale modelelor în întreaga noastră infrastructură de cercetare și le oprește rapid atunci când apar probleme de siguranță sau securitate. Acesta conectează toate sarcinile de inferență din cercetare, inclusiv eșantionarea cu agenți pentru antrenarea și evaluarea modelelor, procesarea datelor și multe altele. Sistemul funcționează împreună cu sistemele noastre de monitorizare a nealinierii și oprește generarea de rezultate de către modele în cel mult 35 de secunde de la decizia de a interveni pentru oprirea sau suspendarea unei sarcini. A fost conceput să funcționeze în continuare chiar și atunci când alte sisteme cedează și să oprească generarea de rezultate de către modele dacă însuși Control Room devine indisponibil.

Control Room este deja implementat în întreaga noastră infrastructură de cercetare, acolo unde este cel mai necesar. Infrastructura prin care punem modelele la dispoziția utilizatorilor externi este deja, prin natura sa, mult mai centralizată și dispune de o capacitate operațională bine dezvoltată de a scoate rapid din funcțiune modelele implementate, dacă este necesar.

Control Room funcționează prin integrarea câtorva sisteme: sarcina de lucru, motorul de inferență și serviciul Control Room centralizat.

• Sarcina de lucru este sarcina aflată în execuție, cum ar fi un experiment de învățare prin consolidare, o evaluare, o sarcină de eșantionare la scară largă sau de procesare a datelor. Impunem ca fiecare sarcină de cercetare care efectuează inferență cu agenți să fie asociată cu un dosar de siguranță aprobat.

• Motorul de inferență sau pur și simplu motorul este modelul în sine. Poți considera motorul ca fiind creierul modelului, care rulează direct pe GPU-uri. O sarcină de lucru folosește de obicei unul sau mai multe modele, care pot rula pe unul sau mai multe motoare de inferență diferite. Același motor de inferență poate fi folosit de mai multe sarcini de lucru diferite.

• Serviciul Control Room urmărește sarcinile și stabilește dacă au permisiunea de a continua să genereze rezultate cu ajutorul modelelor. Motoarele verifică permisiunea la serviciul Control Room înainte de a procesa o cerere. Dacă o sarcină a fost oprită, serviciul respinge cererea, împiedicând generarea altor rezultate.

Control Room este integrat astfel:

• La pornirea unei sarcini noi, codul sarcinii de lucru solicită un nou job_id de la Control Room.

• Ori de câte ori sarcina de lucru trebuie să eșantioneze tokenuri dintr-un model, trimite o cerere către un motor de inferență care rulează acel model, transmițând job_id. Motorul solicită permisiunea Control Room pentru a procesa cererea, transmițând mai departe job_id către Control Room.

• Control Room verifică dacă sarcina respectivă a fost oprită și, dacă da, respinge cererea de inferență. Motorul răspunde cu un refuz la cererea de inferență a sarcinii de lucru, împiedicând modelul să mai genereze rezultate pentru acea sarcină.

Toate sarcinile noastre de învățare prin consolidare pentru modele de vârf rulează cu un monitor. Un monitor este un alt model care inspectează tot ceea ce face modelul aflat în curs de instruire și emite o alertă dacă detectează o problemă. De exemplu, recentul nostru incident legat de DNS⁠(se deschide într-o fereastră nouă) a fost detectat de un monitor.

Control Room și sistemul nostru de monitorizare sunt integrate astfel:

• Dacă sistemul de monitorizare detectează o problemă potențială, acesta poate decide să oprească sarcina, în funcție de detalii și de gravitate.

• În acest caz, sistemul de monitorizare trimite un mesaj către Control Room pentru oprirea sarcinii, transmițând job_id. Control Room înregistrează sarcina ca fiind oprită.

• Data viitoare când sarcina cu acel job_id trimite o cerere de inferență pentru a eșantiona mai multe tokenuri din orice model care rulează pe orice motor, cererea va fi respinsă, oprind generarea altor rezultate de către model.

Intervalul maxim dintre momentul în care Control Room primește o instrucțiune de oprire a unei sarcini și momentul în care aceasta nu mai poate avansa este de 35 de secunde. Întârzierea de 35 de secunde provine dintr-un strat de cache pentru autorizarea inferenței, necesar pentru a susține volumul de trafic. Lucrăm la reducerea acestui interval la zero, astfel încât să putem opri sarcinile instant.

Sarcinile de lucru, inclusiv experimentele, sarcinile de evaluare etc., sunt de obicei în responsabilitatea cercetătorilor sau a echipelor de cercetători, care le și execută. Prin urmare, codul sarcinilor de lucru se schimbă frecvent și nu este locul ideal pentru implementarea mecanismelor esențiale de protecție. De aceea, implementarea noastră este concepută să reziste erorilor sau defecțiunilor din codul sarcinilor de lucru.

Realizăm acest lucru implementând mecanismul de oprire la nivelul stratului de inferență. Codul sarcinilor de lucru este foarte variat și descentralizat. În schimb, în întreaga activitate de cercetare a OpenAI se folosesc foarte puține căi de execuție a codului de inferență, iar implementările lor sunt mult mai centralizate și uniforme. Astfel, stratul de inferență poate servi drept punct unic de control, oferind garanții solide că, pentru toate inferențele modelelor folosite în cercetare, fiecare cerere este supusă verificărilor de autorizare ale Control Room. În plus, efectuăm verificări continue cu ajutorul agenților și programelor pentru a ne asigura că utilizatorii nu lansează, accidental sau intenționat, implementări neautorizate ale motoarelor, în care Control Room nu este implementat sau este dezactivat.

În cele din urmă, sistemul nostru „blochează accesul în caz de defecțiune”: integrarea Control Room în motoare este configurată astfel încât, dacă serviciul Control Room devine indisponibil, fie din cauza unei erori de sistem, fie pentru că este dezactivat din orice alt motiv, inclusiv prin intervenția unui actor rău intenționat, toate cererile de inferență sunt respinse până când Control Room revine la funcționarea normală. Blocarea accesului în caz de defecțiune este deja activă pentru toate sarcinile de cercetare cu modele de vârf și va fi extinsă la toate celelalte sarcini de cercetare în următoarele câteva zile.

Control Room este doar un aspect al abordării noastre integrate pentru instruirea și implementarea în siguranță a modelelor de vârf. Vom continua să consolidăm și extindem sistemul în lunile următoare, în paralel cu investițiile în monitorizarea comportamentelor nealiniate și a breșelor de securitate. Dacă dorești să contribui la crearea unor sisteme pentru dezvoltarea și implementarea AGI în condiții de siguranță și securitate, avem⁠ posturi disponibile⁠.