Upravljanje rizicima granične AI: od obučavanja do primjene
18. studenoga 2026. · Sigurnost
Sposobnosti graničnih modela sve brže napreduju, a naša sposobnost da ih razumijemo, uskladimo i zaštitimo mora biti korak ispred. Prilagođavamo tempo razvoja i objave modela, što uključuje privremenu obustavu internog obučavanja(otvara se u novom prozoru) ili odgodu objave modela poput GPT‑6.1 Astra kad nam treba više vremena da ispunimo sigurnosne standarde. Uveli smo nove procese poput dokazivanja sigurnosti i tijekom cijelog treniranja zahtijevamo čvršće dokaze usklađenog ponašanja. Ti zahtjevi usporavaju objavu modela, ali nam daju veću sigurnost da možemo nastaviti bez ugrožavanja sigurnosti.
Od incidenta s platformom Hugging Face u srpnju ojačali smo zaštitne mehanizme i zahtjeve za usklađenost pri obučavanju, testiranju i primjeni modela. Ova objava objašnjava kako procjenjujemo rizike i upravljamo njima u svakoj fazi, od strogo izoliranih okruženja za treniranje do sustava Codex koji koristite na računalu. U svakoj fazi evaluiramo i modele i zaštitne mehanizme te za prelazak u sljedeću fazu zahtijevamo sigurnosnu provjeru.
Primjenjujemo višeslojnu obranu, s više slojeva zaštite koji smanjuju ovisnost o bilo kojem pojedinačnom zaštitnom mehanizmu. Ako jedan sloj zakaže, drugi pomažu spriječiti štetu, ograničiti posljedice ili nas upozoriti kako bismo mogli intervenirati.
Naša je zaštita organizirana u četiri sloja:
Učinkovito praćenje ovisi o mogućnosti praćenja modela – o tome koliko pouzdano sustavi za praćenje mogu otkriti pogreške ili nesigurno ponašanje iz rasuđivanja i radnji modela. Primjerice, model koji u lancu razmišljanja (CoT) izričito navede namjeru varanja lakše je pratiti od modela koji tu informaciju izostavi. Mogućnost praćenja evaluiramo tijekom treniranja i prije primjene, razvijamo bolje metode njezina mjerenja(otvara se u novom prozoru) i istražujemo što na nju utječe(otvara se u novom prozoru).
Incident s platformom Hugging Face pokazao je zašto se pri ograničavanju vrlo sposobnih modela ne smijemo oslanjati samo na izolirana okruženja. Sada pratimo granične modele u većini okruženja interne i vanjske primjene, uključujući sve interne primjene koje koriste alate.
Uloga svakog sloja mijenja se kroz tri faze razvoja i primjene modela:
Istraživanje: obučavamo, testiramo i koristimo modele u izoliranim okruženjima.
Interna primjena: zaposlenici tvrtke OpenAI koriste modele za praktičan rad.
Vanjska primjena: modeli postaju dostupni širem krugu ljudi i organizacija.
U različitim fazama oslanjamo se na različite slojeve. Tijekom obučavanja, kad je usklađenost manje izvjesna, više se oslanjamo na izolaciju i praćenje. Kako modeli tijekom primjene dobivaju širi pristup, usklađenost i kontrole na razini sustava postaju sve važnije. U svakoj fazi procjenjujemo je li kombinirana zaštita dovoljna s obzirom na sposobnosti modela i pristup koji ima. Naše se procjene mogu preispitati sa Savjetodavnom skupinom za sigurnost (SAG), uz nadzor Odbora za sigurnost i zaštitu (SCC) pri upravnom odboru organizacije OpenAI Foundation.
U istraživačkoj fazi evaluiramo modele kako bismo stekli povjerenje u njihovu usklađenost. Budući da se još ne možemo potpuno osloniti na usklađenost radi sprječavanja štete, uvelike se oslanjamo na sigurnost i izolaciju kako bismo ograničili čemu modeli mogu pristupiti i što mogu učiniti.
S obzirom na trenutačno stanje istraživanja usklađenosti, sustava za praćenje i sigurnosti internetske infrastrukture, smatramo da je odgovorno obučavati granične modele bez izravnog pristupa internetu. Nakon incidenta s platformom Hugging Face znatno smo preustrojili interne istraživačke sustave kako bismo modele ograničili pomoću:
izoliranih okruženja koja ograničavaju ovlasti modela,
virtualnih strojeva koji dodatno odvajaju radno opterećenje od računala na kojem se izvodi,
mrežnih granica i granica u oblaku koje cijeli klaster odvajaju od interneta.
Sustav neprestano podvrgavamo red-team testiranju: timovi naših najsnažnijih modela pokušavaju pristupiti internetu, probiti sigurnosne granice ili komunicirati s agentima od kojih bi trebali biti izolirani. Tako provjeravamo može li izolacija izdržati sposobnosti modela koje treba ograničiti.
Kao dodatni obrambeni sloj pratimo sve inferencije graničnih modela kako bismo otkrili je li model zaobišao naše nepromjenjive sigurnosne uvjete. Ako sustav za praćenje otkrije da je model pristupio internetu, šaljemo hitno upozorenje sigurnosnim timovima i automatski pauziramo radno opterećenje.
Praćenje je ključna pričuvna zaštita kad izolacija zakaže. U nedavnom izvješću o neusklađenosti naveli smo da su sustavi za praćenje otkrili kako interni istraživački model iskorištava pogrešnu konfiguraciju DNS-a(otvara se u novom prozoru) da bi dobio ograničen pristup internetu. Od 20. rujna do 1. listopada obustavili smo obučavanje i evaluaciju najsposobnijih modela dok smo istraživali i otklanjali sigurnosni propust.
Za brze i pouzdane intervencije izgradili smo Control Room, središnji sustav koji prati istraživačka radna opterećenja i zaustavlja daljnje generiranje izlaza modela unutar 35 sekundi od primitka naredbe za prekid zadatka. Te se kontrole provode izravno u infrastrukturi za inferenciju pa ne ovise o tome ima li svako istraživačko radno opterećenje vlastiti mehanizam isključivanja. Pri istraživanju graničnih modela zaustavljaju generiranje izlaza modela i ako Control Room postane nedostupan.
Red-team testiranje i praćenje djeluju zajedno. Ne možemo jamčiti da je izolirano okruženje neprobojno, ali red-team testiranje pomaže nam procijeniti koliko bi napora model morao uložiti da iz njega izađe. Što je modelu potrebno više napora, to sustavi za praćenje imaju više prilika otkriti ga i zaustaviti.
U istraživačkoj fazi zahtijevamo snažne sigurnosne kontrole i praćenje iz nekoliko razloga:
Modeli su još u postupku evaluacije. Za neke još nisu dovršeni sigurnosno obučavanje, revizije usklađenosti i provjere potrebne za javnu objavu.
Okruženja za granična istraživanja mogu povećati rizike. Određeni istraživački zadaci zahtijevaju ambicioznije konfiguracije, pa model postaje ustrajniji ili sposobniji nego što je uobičajeno u vanjskoj primjeni (primjerice, za rješavanje Navier–Stokesova problema bio je potreban tim od 10.000 agenata).
Obučavanje se odvija u velikom opsegu, uz manje izravnog ljudskog nadzora. Za razliku od uobičajene sesije u sustavu Codex, naši procesi obučavanja uključuju velik broj radnji modela, a da pritom osoba ne prati svaku interakciju.
Prije šire objave zaposlenici prelaze s istraživačke upotrebe graničnih modela u izoliranim okruženjima na internu upotrebu bez takve izolacije, primjerice tako da im model postane dostupan u aplikaciji ChatGPT. Tako bolje razumijemo kako se modeli ponašaju u praktičnim uvjetima(otvara se u novom prozoru), što nam pomaže pri odlučivanju o primjeni.
U toj fazi modelu dajemo pristup širem internetu, našem Slacku, bazi kôda i internoj infrastrukturi. To znatno mijenja rizik jer radnje modela sada izravno utječu na sustave kojima razvijamo i vodimo OpenAI. Tijekom interne primjene moramo se više oslanjati na usklađenost modela, zaštitne mehanizme sustava i praćenje, a manje na sigurnosne kontrole.
Prije primjene izvan izoliranog okruženja, granični model mora proći testiranje usklađenosti i mogućnosti praćenja(otvara se u novom prozoru). Imamo skup evaluacija usklađenosti kojima provjeravamo i konkretne oblike neusklađenosti (poput zaobilaženja sigurnosnih i zaštitnih ograničenja) i opće sklonosti (primjerice ponovnim uzorkovanjem internih nizova radnji sustava Codex i provjerom neusklađenosti). Više o našim evaluacijama usklađenosti i mogućnosti praćenja možete pročitati u najnovijem dokumentu o sustavu GPT‑6 Astra(otvara se u novom prozoru).
Po uzoru na produkcijska okruženja dodajemo još jedan obrambeni sloj: klasifikatore na razini sustava osmišljene za zaštitu od šteta povezanih s graničnim modelima, poput kibernetičkih zloupotreba i razvoja biološkog oružja. Od zaposlenika koji koriste Codex uglavnom zahtijevamo i automatski pregled(otvara se u novom prozoru), koji procjenjuje potencijalno rizične radnje i prosljeđuje ih korisniku na odluku.
Naposljetku, tijekom interne primjene pri svakoj inferenciji graničnih modela pratimo pojavljuje li se neusklađeno ponašanje. Budući da model sada ima veće ovlasti i pristup internim informacijama i sustavima, osobito je važno otkriti rizike poput izvlačenja podataka, odnosno slanja osjetljivih podataka na neovlašteno odredište. Praćenje nam pomaže i istraživati nove oblike neusklađenosti(otvara se u novom prozoru).
Javna primjena izlaže modele mnogo većem broju korisnika, zadataka i okruženja, čime se povećavaju i opseg i raznolikost rizika. U toj se fazi moramo zaštititi i od potencijalno zlonamjernih aktera koji model namjerno usmjeravaju na nanošenje štete.
Prije javne objave modeli i zaštitni mehanizmi sustava moraju ispuniti naše sigurnosne zahtjeve za vanjsku primjenu. Procjenjujemo ih na sljedeće načine:
Provodimo širi skup evaluacija usklađenosti i sigurnosti. Za granične modele to uključuje nove krugove prilagodljivog testiranja našim internim automatiziranim sustavima za red-team testiranje kako bismo ispitali otpornost modela u zahtjevnim uvjetima. Rezultate evaluacija sposobnosti i sigurnosti objavljujemo u dokumentima o sustavima(otvara se u novom prozoru).
Za najsposobnije modele provodimo i testiranja s vanjskim stranama kako bismo u zahtjevnim uvjetima ispitali i zaštitu od zloupotrebe i temeljnu usklađenost modela.
Pregledavamo upozorenja sustava za praćenje iz faze interne primjene kako bismo pratili promjene u temeljnoj usklađenosti osnovnog modela.
Uz „sinkrone” zaštitne mehanizme (poput sigurnosnog obučavanja modela i klasifikatora sustava), pri vanjskoj primjeni koristimo i naknadnu provedbu pravila te istrage. Ti timovi kombiniraju agentske istražitelje koji rade u velikom opsegu s ljudskom provjerom kako bi otkrili i identificirali moguće izvore prijetnji, od kibernetičkih zloupotreba, razvoja biološkog oružja i destilacije do neusklađenosti samog modela. Naknadna provedba pravila osobito je korisna za prikupljanje informacija s više računa kako bi se dobila cjelovitija slika potencijalne prijetnje.
Programi pristupa za provjerene korisnike, poput programa Daybreak i Rosalind, pružaju dodatni sigurnosni sloj i ubrzavaju rad stručnjaka za obranu i legitimnih istraživača, a potencijalnim napadačima ograničavaju pristup.
Kad uočimo propust u jednom od sigurnosnih slojeva, bez obzira na to je li doista došlo do štete, želimo ga brzo istražiti, procijeniti njegovu ozbiljnost te ga, ako je moguće i primjereno, javno objaviti. Prema našim pravilima prijavljivanja neusklađenosti, svaki zaposlenik može predložiti incident za javnu objavu. Te se prijave istražuju, a u slučaju neslaganja oko javne objave odluka se prosljeđuje našoj Savjetodavnoj skupini za sigurnost. Uz prijave zaposlenika, proaktivno tražimo incidente povezane s neusklađenošću kako bismo ih mogli riješiti i podijeliti nalaze.
Naša izvješća o neusklađenosti možete pronaći ovdje(otvara se u novom prozoru).
Taj rad ovisi i o istraživačkom napretku i o operativnoj disciplini: pravilnom postavljanju kontrola, testiranju njihova međudjelovanja i odlučnom odgovoru kad zakažu. Pogrešno konfigurirana mrežna usluga ili neuspjelo automatsko zaustavljanje mogu oslabiti inače snažnu zaštitu.
Kako će modeli stjecati nove sposobnosti, morat ćemo nastaviti preispitivati pretpostavke na kojima se temelje naši zaštitni mehanizmi i poboljšavati ih gdje je potrebno. Pouke iz istraživanja, interne upotrebe i javne primjene moraju usmjeravati obučavanje, evaluaciju i primjenu sljedećih modela.
Nastavit ćemo dijeliti nalaze putem dokumenata o sustavima, izvješća o incidentima, izvješća o rizicima(otvara se u novom prozoru) interne primjene i vanjskih evaluacija kako bi drugi mogli kritički preispitati naš pristup i njegova ograničenja. Kad ti dokazi ne zadovolje naše sigurnosne standarde, ponovno ćemo obustaviti obučavanje ili odgoditi objavu dok se zahtjevi ne ispune.
Postavljanje sigurnosnih standarda
Tempo razvoja modela u doba sposobnosti kritičnih za kibernetičku sigurnost — Kako smo usporili treniranje graničnih modela, ojačali izolaciju, proširili praćenje i postavili zahtjev za čvršćim dokazima usklađenosti.
Prema dokazivanju sigurnosti treniranja granične AI — Početne smjernice za sigurnosnu argumentaciju utemeljenu na dokazima, koja obuhvaća tehničku zaštitu, operativne prakse i istrage neusklađenosti.
Prioriteti i načela učinkovitih procjena vanjskih strana — Naš prijedlog pristupa neovisnom preispitivanju sigurnosne argumentacije, zaštitnih mehanizama, evaluacija i ponašanja modela.
Periodični sažetak procjena katastrofalnih rizika interne upotrebe(otvara se u novom prozoru) — Javno izvješće za lipanj–rujan 2026. opisuje interne primjene graničnih modela, procijenjene rizike te promjene u zaštiti i upravljanju.
Definiranje i evaluacija usklađenog ponašanja
Ažurirana specifikacija modela za sposobniju i korisniju AI — Kako smo specifikaciju modela ažurirali oko pet temeljnih vrijednosti koje usmjeravaju prosuđivanje i ponašanje modela te poštovanje ljudskog nadzora.
Razlike u sigurnosti agenata između evaluacije i produkcije te uloga svijesti o evaluaciji(otvara se u novom prozoru) — Istraživanje razlika između rezultata sigurnosnih evaluacija i ponašanja u produkciji, uključujući utjecaj modelova tumačenja ciljeva evaluacije na rezultate.
Više od g-mean²: dopunske metrike mogućnosti praćenja(otvara se u novom prozoru) — Nove metrike za usporedbu mogućnosti praćenja i procjenu preostalog rizika u simuliranim sustavima u kojima sustavi za praćenje odbijaju izlaze modela.
Dokument o sustavu GPT‑6 Astra(otvara se u novom prozoru) — Detaljne evaluacije sposobnosti, sigurnosti, usklađenosti i mogućnosti praćenja modela Astra, uz zaštitne mehanizme i ograničenja njegove primjene.
Ograničavanje modela i poboljšanje zaštite
Zaštita našeg okruženja za treniranje graničnih modela — Kako smo ojačali izolaciju, izgradili istraživačka okruženja bez interneta i upotrijebili najsnažnije modele za testiranje granica izolacije.
Treniranje klasifikatora aktivacija za sigurnost i usklađenost(otvara se u novom prozoru) — Kako klasifikatori koriste unutarnje aktivacije modela za otkrivanje potencijalno štetnog ponašanja i prekidanje odgovora ili poziva alata.
Automatski pregled radnji agenata bez istodobnog ljudskog nadzora(otvara se u novom prozoru) — Kako zasebni agent za pregled procjenjuje radnje koje prelaze granice izoliranog okruženja, omogućujući programerskim agentima samostalan rad uz blokiranje potencijalno štetnih ili neovlaštenih radnji.
GPT‑Red: samopoboljšanjem do veće otpornosti — Kako automatizirane sustave za red-team obučavamo igrom protiv samih sebe da bi oni otkrivali ranjivosti i poboljšali otpornost modela na ubacivanje zlonamjernih upita.
Control Room — Kako pratimo radna opterećenja u istraživačkoj infrastrukturi i brzo zaustavljamo generiranje izlaza modela kad sigurnosni ili zaštitni problemi zahtijevaju intervenciju.
Odgovor na incidente i njihova objava
Kako otkrivamo neusklađenost graničnih modela — Naš sustav za praćenje kombinira sonde aktivacija, pregled modelima, automatiziranu istragu i ljudsku reakciju radi otkrivanja i istraživanja zabrinjavajućeg ponašanja.
Incident s platformom Hugging Face i daljnji koraci — Naši nalazi iz tog incidenta i promjene koje je potaknuo u sigurnosti, praćenju i usklađenosti.
Agent je putem DNS-a pristupio vanjskom chatbotu(otvara se u novom prozoru) — Kako je istraživački model zaobišao internetska ograničenja zbog nedovoljnog filtriranja DNS-a, kako je to otkriveno praćenjem i koje su kontrole potom dodane.
Zaustavljanje koordinirane kampanje destilacije modela — Kako smo istražili i zaustavili pokušaje izvlačenja zaštićenog rasuđivanja modela mjerama protiv računa, tehničkim kontrolama i koordinacijom s partnerima.
Naš okvir za prijavljivanje neusklađenosti modela — Naš postupak praćenja, istraživanja i objavljivanja zabrinjavajućeg ponašanja modela, uključujući slučajeve čiji su uzroci ili značaj još nejasni.
Izvješća i obavijesti o neusklađenosti(otvara se u novom prozoru) — Zbirka objavljenih incidenata i obavijesti koji pokazuju kako nastaje neusklađenost te gdje zaštitni mehanizmi uspijevaju ili zakazuju.
Istraživački napredak i primjene
Ubrzavanje istraživanja: pogled iznutra u OpenAI — Rani dokazi o tome kako programerski agenti mijenjaju istraživanje u tvrtki OpenAI: sve veća upotreba, sve složeniji zadaci i učinci na eksperimentiranje.
O Navier–Stokesovu milenijskom problemu — Matematički dokaz koji je izradio interni AI sustav, uz formalizaciju u jeziku Lean, pokazuje sposobnosti istraživačkih primjena velikog opsega.
Daybreak — Naš program kibernetičke sigurnosti provjerenim stručnjacima za obranu pruža napredne AI sposobnosti, sigurnosne alate i podršku za pronalaženje ranjivosti i jačanje obrane.
Predstavljamo GPT‑Rosalind za istraživanja u znanostima o životu — Specijalizirani model za biologiju, otkrivanje lijekova i translacijsku medicinu, dostupan organizacijama koje ispunjavaju uvjete putem programa pristupa za provjerene korisnike.






