Control Room

Teksa modelet tona bëhen më të fuqishme dhe rreziqet që lidhen me sigurinë dhe mbrojtjen e tyre rriten, bëhet gjithnjë e më e rëndësishme të zbulojmë problemet e mundshme dhe t’i ndalim shpejt modelet kur është e nevojshme. Për ta zgjidhur këtë, ndërtuam Control Room.

Control Room është një sistem qendror për të gjurmuar ngarkesat e punës së modeleve në të gjithë infrastrukturën tonë kërkimore dhe për t’i ndaluar shpejt kur lindin shqetësime për sigurinë ose mbrojtjen e sistemeve. Ai lidh çdo ngarkesë pune kërkimore që kryen inferencë, përfshirë kampionimin me agjentë për trajnimin dhe vlerësimin e modeleve, përpunimin e të dhënave e të tjera. Ky sistem punon së bashku me sistemet tona të monitorimit të mospërputhjes me synimet dhe ndalon gjenerimin nga modeli brenda 35 sekondash nga vendimi për të ndërhyrë për ndalimin ose pezullimin e një detyre. Ai është ndërtuar për të vazhduar punën edhe kur sistemet e tjera dështojnë dhe për të ndaluar gjenerimin nga modeli nëse vetë Control Room del jashtë funksionit.

Control Room tashmë është vënë në përdorim në të gjithë infrastrukturën tonë kërkimore, ku nevoja është më e madhe. Infrastruktura jonë për ofrimin e modeleve te përdoruesit e jashtëm është, nga natyra, shumë më e centralizuar dhe ka aftësi operative të konsoliduara për t’i nxjerrë shpejt modelet jashtë përdorimit nëse nevojitet.

Control Room funksionon duke integruar disa sisteme: ngarkesën e punës, motorin e inferencës dhe shërbimin e centralizuar Control Room.

• Ngarkesa e punës është detyra që po ekzekutohet, si një eksperiment trajnimi përforcues, një vlerësim, një detyrë kampionimi me vëllim të lartë ose përpunimi të të dhënave. Ne kërkojmë që çdo ngarkesë pune kërkimore që kryen inferencë me agjentë të lidhet me një argumentim sigurie të miratuar.

• Motori i inferencës, ose thjesht motori, është vetë modeli. Motorin mund ta mendosh si trurin e modelit, që ekzekutohet drejtpërdrejt në GPU. Një ngarkesë pune zakonisht përdor një ose më shumë modele, të cilat mund të ekzekutohen në një ose më shumë motorë të ndryshëm të inferencës. I njëjti motor i inferencës mund të përdoret nga disa ngarkesa të ndryshme pune.

• Shërbimi Control Room gjurmon detyrat dhe kontrollon nëse u lejohet të vazhdojnë të gjenerojnë rezultate nga modeli. Motorët marrin konfirmim nga shërbimi Control Room para se të përmbushin një kërkesë. Nëse një detyrë është ndaluar, shërbimi e refuzon kërkesën, duke penguar gjenerimin e mëtejshëm.

Control Room integrohet në këtë mënyrë:

• Kur nis një detyrë e re, kodi i ngarkesës së punës kërkon një job_id të ri nga Control Room.

• Sa herë që ngarkesa e punës ka nevojë të kampionojë tokenë nga një model, ajo i dërgon një kërkesë motorit të inferencës që ekzekuton atë model, duke i përcjellë job_id. Motori i kërkon leje Control Room për ta përmbushur atë kërkesë, duke ia përcjellë job_id.

• Control Room kontrollon nëse ajo detyrë është ndërprerë dhe, nëse po, e refuzon kërkesën për inferencë. Motori i përgjigjet me refuzim kërkesës për inferencë të ngarkesës së punës, duke ndaluar gjenerimin e mëtejshëm të rezultateve nga modeli për atë detyrë.

Të gjitha detyrat tona të trajnimit përforcues të modeleve avangardë ekzekutohen me një monitor. Një monitor është një model tjetër që shqyrton gjithçka që bën modeli në trajnim dhe jep alarm nëse zbulon një problem. Për shembull, incidenti ynë i fundit i lidhur me DNS⁠(hapet në një dritare të re) u zbulua nga një monitor.

Control Room dhe sistemi ynë i monitorimit integrohen në këtë mënyrë:

• Nëse sistemi i monitorimit zbulon një problem të mundshëm, ai mund të vendosë ta ndalojë detyrën, në varësi të hollësive dhe seriozitetit të problemit.

• Në këtë rast, sistemi i monitorimit i dërgon një mesazh Control Room për ta ndaluar detyrën, duke i përcjellë job_id. Control Room e regjistron detyrën si të ndërprerë.

• Herën tjetër që detyra me atë job_id bën një kërkesë për inferencë për të kampionuar më shumë tokenë nga cilido model që ekzekutohet në cilindo motor, kërkesa do të refuzohet, duke ndaluar gjenerimin e mëtejshëm nga modeli.

Nga çasti kur Control Room merr udhëzimin për të ndaluar një detyrë deri kur vazhdimi i saj bëhet i pamundur, kalojnë jo më shumë se 35 sekonda. Vonesa prej 35 sekondash vjen nga një shtresë memorieje të përkohshme për autorizimin e inferencës, e cila mundëson përballimin e vëllimit të nevojshëm të trafikut. Po punojmë për ta ulur këtë kohë në zero, që të mund t’i ndërpresim detyrat menjëherë.

Ngarkesat e punës, përfshirë eksperimentet, detyrat e vlerësimit etj., zakonisht menaxhohen dhe ekzekutohen nga studiues ose ekipe studiuesish. Si rrjedhojë, kodi i ngarkesave të punës ndryshon shpesh dhe nuk është vendi ideal për të zbatuar masat mbrojtëse nga të cilat varet siguria. Për këtë arsye, zgjidhja jonë është projektuar që të funksionojë edhe kur kodi i ngarkesave të punës ka gabime ose nuk funksionon.

Këtë e arrijmë duke zbatuar mekanizmin e ndërprerjes në shtresën e inferencës. Kodi i ngarkesave të punës është shumë i larmishëm dhe i decentralizuar. Në të kundërt, në të gjithë veprimtarinë kërkimore të OpenAI përdoren shumë pak rrugë ekzekutimi të kodit të inferencës, dhe vënia e tyre në përdorim është shumë më e centralizuar dhe e njëtrajtshme. Kjo do të thotë se shtresa e inferencës mund të shërbejë si pikë e detyrueshme kalimi, ku mund të sigurojmë garanci të forta që çdo inferencë e modeleve në veprimtarinë kërkimore i nënshtrohet kontrolleve të autorizimit nga Control Room për çdo kërkesë. Gjithashtu, kryejmë kontrolle të vazhdueshme me agjentë dhe mjete programore, për të verifikuar që përdoruesit nuk po vënë në punë, pa dashje ose qëllimisht, motorë të paautorizuar ku Control Room nuk është integruar ose është çaktivizuar.

Së fundi, sistemi ynë "bllokon kërkesat në rast dështimi": integrimi i Control Room në motorë është konfiguruar në mënyrë të tillë që, nëse shërbimi Control Room del jashtë funksionit, qoftë nga një gabim i sistemit apo sepse çaktivizohet për çfarëdo arsye tjetër, përfshirë ndërhyrjet keqdashëse, të gjitha kërkesat për inferencë refuzohen derisa Control Room t’i kthehet funksionimit normal. Bllokimi në rast dështimi tashmë zbatohet për të gjitha ngarkesat e punës kërkimore me modele avangardë dhe, gjatë ditëve të ardhshme, do të shtrihet edhe në të gjitha ngarkesat e tjera të punës kërkimore.

Control Room është vetëm një pjesë e qasjes sonë gjithëpërfshirëse për trajnimin dhe vënien në përdorim të sigurt të modeleve avangardë. Gjatë muajve të ardhshëm do të vazhdojmë ta forcojmë dhe ta zgjerojmë sistemin, krahas investimeve tona në monitorimin e sjelljeve që bien ndesh me synimet tona dhe të shkeljeve të sigurisë. Nëse dëshiron të ndihmosh në ndërtimin e sistemeve për zhvillimin dhe vënien në përdorim të AGI-së në mënyrë të sigurt dhe të mbrojtur, kemi⁠ vende të lira pune⁠!