Upravljanje rizicima graničnog AI-ja: Od treniranja do primjene
18. novembar 2026. · Sigurnost
Sposobnosti graničnih modela ubrzano napreduju, a naša sposobnost da ih razumijemo, uskladimo i zaštitimo mora ostati korak ispred. Prilagođavamo tempo razvoja i objavljivanja modela, uključujući pauziranje internog treniranja(otvara se u novom prozoru) ili odgađanje objave modela poput GPT‑6.1 Astra kada nam treba više vremena da ispunimo sigurnosne standarde. Uveli smo nove procese, poput dokumentovanih obrazloženja sigurnosti, i zahtijevamo čvršće dokaze usklađenog ponašanja tokom cijelog treniranja. Ti zahtjevi usporavaju objavljivanje modela, ali nam daju veću sigurnost da možemo nastaviti na siguran način.
Od incidenta s platformom Hugging Face u julu ojačali smo zaštitne mjere i zahtjeve usklađenosti za treniranje, testiranje i primjenu modela. U ovoj objavi objašnjavamo kako procjenjujemo rizike i upravljamo njima u svakoj fazi, od strogo izolovanih okruženja za treniranje do alata Codex koji koristite na računaru. U svakoj fazi procjenjujemo i modele i zaštitne mjere, a za prelazak u sljedeću fazu zahtijevamo sigurnosnu provjeru.
Koristimo višeslojnu odbranu s više nivoa zaštite koji smanjuju oslanjanje na bilo koju pojedinačnu zaštitnu mjeru. Ako jedan sloj zakaže, drugi pomažu da se spriječi šteta, ograniče posljedice ili nas upozore kako bismo mogli intervenisati.
Naše mjere zaštite organizujemo u četiri sloja:
Djelotvoran nadzor zavisi od mogućnosti nadzora modela – koliko pouzdano sistemi za nadzor mogu iz rezonovanja i radnji modela prepoznati greške ili nesigurno ponašanje. Naprimjer, model koji u svom lancu razmišljanja (CoT) izričito navede namjeru da vara lakše je nadzirati nego onaj koji tu informaciju izostavi. Mogućnost nadzora procjenjujemo tokom treniranja i prije primjene, razvijamo bolje metode njenog mjerenja(otvara se u novom prozoru) i proučavamo šta na nju utiče(otvara se u novom prozoru).
Incident s platformom Hugging Face pokazao je zašto se pri ograničavanju vrlo sposobnih modela ne bismo trebali oslanjati samo na izolovana okruženja. Sada nadziremo granične modele u većini okruženja interne i eksterne primjene, uključujući sve interne primjene koje koriste alate.
Uloga svakog sloja mijenja se kroz tri faze razvoja i primjene modela:
Istraživanje: Treniramo, testiramo i koristimo modele u izolovanim okruženjima.
Interna primjena: Zaposlenici kompanije OpenAI koriste modele u praktičnom radu.
Eksterna primjena: Modeli postaju dostupni širem krugu ljudi i organizacija.
U različitim fazama oslanjamo se na različite slojeve. Tokom treniranja, kada je usklađenost manje izvjesna, više se oslanjamo na izolovana okruženja i nadzor. Kako modeli tokom primjene dobijaju širi pristup, usklađenost i kontrole na nivou sistema postaju sve važnije. U svakoj fazi procjenjujemo jesu li objedinjene mjere zaštite dovoljne s obzirom na sposobnosti modela i pristup koji ima. Naše zaključke možemo razmotriti sa Savjetodavnom grupom za sigurnost, uz nadzor Odbora za sigurnost i zaštitu pri Upravnom odboru organizacije OpenAI Foundation.
U fazi istraživanja procjenjujemo modele kako bismo stekli povjerenje u njihovu usklađenost. Budući da se još ne možemo potpuno osloniti na usklađenost radi sprečavanja štete, u velikoj mjeri koristimo sigurnosne mjere i izolovana okruženja da ograničimo pristup i djelovanje modela.
S obzirom na trenutno stanje istraživanja usklađenosti, sistema za nadzor i sigurnosti internetske infrastrukture, smatramo da je odgovorno trenirati granične modele bez direktnog pristupa internetu. Nakon incidenta s platformom Hugging Face znatno smo preuredili interne istraživačke sisteme kako bismo ograničili modele pomoću:
izolovanih okruženja koja ograničavaju ovlaštenja modela
virtuelnih mašina koje dodatno odvajaju radno opterećenje od računara na kojem se izvršava
mrežnih i oblačnih perimetara koji cijeli klaster odvajaju od interneta
Ovaj sistem kontinuirano podvrgavamo red teaming testiranju: timovi naših najsnažnijih modela pokušavaju pristupiti internetu, probiti sigurnosne granice ili komunicirati s agentima od kojih bi trebali biti izolovani. Tako provjeravamo mogu li mjere izolacije izdržati sposobnosti modela koje trebaju ograničiti.
Kao dodatni sloj odbrane nadziremo sva izvršavanja graničnih modela kako bismo otkrili je li model zaobišao naše nepromjenjive sigurnosne uslove. Ako nadzor otkrije da je model pristupio internetu, šaljemo hitno upozorenje sigurnosnim timovima i automatski pauziramo radno opterećenje.
Nadzor je ključna rezervna zaštita kada izolacija zakaže. U nedavnom izvještaju o neusklađenosti naveli smo da su sistemi za nadzor otkrili interni istraživački model koji iskorištava pogrešnu konfiguraciju DNS-a(otvara se u novom prozoru) da dobije ograničen pristup internetu. Pauzirali smo treniranje i evaluaciju najsposobnijih modela od 20. septembra do 1. oktobra dok smo istraživali i otklanjali sigurnosni propust.
Da bi intervencije bile brze i pouzdane, izgradili smo Control Room, centralni sistem koji prati istraživačka radna opterećenja i zaustavlja daljnje generisanje izlaza modela u roku od 35 sekundi od prijema naloga za obustavu zadatka. Te kontrole provode se direktno u infrastrukturi za izvršavanje modela, pa ne zavise od toga ima li svako istraživačko radno opterećenje vlastiti mehanizam za gašenje. Kod istraživačkih radnih opterećenja s graničnim modelima zaustavljaju generisanje izlaza i ako Control Room postane nedostupan.
Red teaming i nadzor djeluju zajedno. Ne možemo garantovati da je izolovano okruženje neprobojno, ali red teaming nam pomaže procijeniti koliko bi napora model morao uložiti da iz njega izađe. Što je modelu potrebno više napora, sistemi za nadzor imaju više prilika da ga otkriju i zaustave.
U fazi istraživanja zahtijevamo stroge sigurnosne i nadzorne kontrole iz nekoliko razloga:
Evaluacija modela još traje. Neki još nisu prošli treniranje za sigurno ponašanje, revizije usklađenosti i provjere potrebne za javnu objavu.
Okruženja za granična istraživanja mogu povećati rizike. Određeni istraživački zadaci zahtijevaju ambicioznije konfiguracije, zbog kojih je model uporniji ili sposobniji nego što je uobičajeno u eksternoj primjeni (naprimjer, za rješavanje Navier–Stokesovog problema bio je potreban tim od 10.000 agenata).
Treniranje se odvija u velikom obimu, uz manje neposrednog ljudskog nadzora. Za razliku od tipične sesije u alatu Codex, naši procesi treniranja obuhvataju veliki broj radnji modela, a da pritom niko ne prati svaku interakciju.
Prije šire objave, zaposlenici prelaze s istraživačke upotrebe graničnih modela u izolovanom okruženju na internu upotrebu izvan njega, naprimjer tako što im se model učini dostupnim u aplikaciji ChatGPT. Tako bolje razumijemo kako se modeli ponašaju u praktičnim uslovima(otvara se u novom prozoru), što nam pomaže pri odlučivanju o primjeni.
U ovoj fazi modelu omogućavamo širi pristup internetu, našem Slacku, bazi koda i internoj infrastrukturi. Time se rizik znatno mijenja jer radnje modela sada direktno utiču na sisteme koje koristimo za razvoj i rad kompanije OpenAI. Tokom interne primjene moramo se više oslanjati na usklađenost modela, zaštitne mjere sistema i nadzor nego na sigurnosne kontrole.
Prije primjene izvan izolovanog okruženja, granični model mora proći ispitivanje usklađenosti i mogućnosti nadzora(otvara se u novom prozoru). Imamo skup evaluacija usklađenosti kojima provjeravamo konkretne oblike neusklađenosti (poput zaobilaženja sigurnosnih i zaštitnih ograničenja), ali i šire mjerimo sklonosti modela (naprimjer, ponovnim uzorkovanjem internih tokova rada alata Codex i provjerom neusklađenosti). Više o našim evaluacijama usklađenosti i mogućnosti nadzora možete pročitati u najnovijoj kartici sistema GPT‑6 Astra(otvara se u novom prozoru).
Po uzoru na naše produkcijske konfiguracije dodajemo sloj odbrane pomoću klasifikatora na nivou sistema, osmišljenih da štite od štete povezane s graničnim modelima, poput kibernetičkih zloupotreba i razvoja biološkog oružja. Od zaposlenika koji koriste Codex uglavnom zahtijevamo i Auto-Review(otvara se u novom prozoru), koji procjenjuje potencijalno rizične radnje i upućuje ih korisniku na odluku.
Konačno, tokom interne primjene nadziremo svako izvršavanje graničnih modela kako bismo otkrili neusklađeno ponašanje. Budući da model sada ima proširena ovlaštenja i pristup internim informacijama i sistemima, posebno je važno otkriti rizike poput eksfiltracije podataka, odnosno slanja osjetljivih podataka na neovlašteno odredište. Nadzor nam pomaže i da istražimo nove oblike neusklađenosti(otvara se u novom prozoru).
Javna primjena izlaže modele znatno većem broju korisnika, zadataka i okruženja, čime se povećavaju i obim i raznovrsnost rizika. U ovoj fazi moramo se zaštititi i od potencijalno zlonamjernih aktera koji model namjerno usmjeravaju da nanosi štetu.
Prije javne objave, modeli i zaštitne mjere sistema moraju ispuniti naše sigurnosne zahtjeve za eksternu primjenu. Procjenjujemo ih na sljedeće načine:
Provodimo opsežniji skup evaluacija usklađenosti i sigurnosti. Za naše granične modele to uključuje nove krugove adaptivnog testiranja uz interne automatizovane sisteme za red teaming, kojima rigorozno ispitujemo otpornost modela. Rezultate evaluacija sposobnosti i sigurnosti objavljujemo u našim karticama sistema(otvara se u novom prozoru).
Za naše najsposobnije modele provodimo i testiranje s trećim stranama kako bismo rigorozno ispitali i zaštitne mjere protiv zloupotrebe i temeljnu usklađenost modela.
Pregledamo upozorenja sistema za nadzor iz faze interne primjene kako bismo pratili promjene u temeljnoj usklađenosti osnovnog modela.
Pored „sinhronih“ zaštitnih mjera (poput treniranja modela za sigurno ponašanje i sistemskih klasifikatora), za eksternu primjenu koristimo i naknadno provođenje pravila i istrage. Ovi timovi kombinuju istražne agente koji rade u velikom obimu s ljudskim pregledom kako bi otkrili i prepoznali moguće izvore prijetnji, od kibernetičkih zloupotreba, razvoja biološkog oružja i destilacije do neusklađenosti samog modela. Naknadno provođenje pravila posebno je korisno za prikupljanje informacija s više računa radi stvaranja cjelovitije slike o mogućoj prijetnji.
Programi pristupa za provjerene korisnike, kao što su Daybreak i Rosalind, nude dodatni sloj sigurnosti i ubrzavaju rad stručnjaka za odbranu i legitimnih istraživača, a potencijalnim napadačima ograničavaju pristup.
Kada primijetimo propust u jednom od sigurnosnih slojeva, bez obzira na to je li zaista nastala šteta, želimo ga brzo istražiti, odrediti prioritet postupanja i, ako je moguće i primjereno, javno objaviti. Prema našoj politici prijavljivanja neusklađenosti, svaki zaposlenik može predložiti incident za javnu objavu. Te prijave istražujemo, a ako nema saglasnosti o tome treba li ih javno objaviti, odluku prosljeđujemo našoj Savjetodavnoj grupi za sigurnost. Osim što se oslanjamo na prijave zaposlenika, proaktivno tražimo incidente neusklađenosti kako bismo ih riješili i podijelili nalaze.
Naše izvještaje o neusklađenosti možete pogledati ovdje(otvara se u novom prozoru).
Ovaj rad zavisi i od istraživačkog napretka i od operativne discipline: pravilnog podešavanja kontrola, ispitivanja njihovog međudjelovanja i odlučnog reagovanja kada zakažu. Pogrešno konfigurisan mrežni servis ili neuspjelo automatsko zaustavljanje mogu oslabiti inače snažne mjere zaštite.
Kako modeli stiču nove sposobnosti, morat ćemo stalno preispitivati pretpostavke na kojima se zasnivaju naše zaštitne mjere i unapređivati ih gdje je potrebno. Pouke iz istraživanja, interne upotrebe i javne primjene moraju usmjeravati način na koji treniramo, procjenjujemo i uvodimo naredne modele u upotrebu.
Nastavit ćemo dijeliti nalaze kroz kartice sistema, izvještaje o incidentima, izvještaje o rizicima(otvara se u novom prozoru) interne primjene i eksterne evaluacije kako bi drugi mogli kritički razmotriti naš pristup, uključujući njegova ograničenja. Kada ti dokazi ne zadovolje naše sigurnosne standarde, ponovo ćemo pauzirati treniranje ili odgoditi objavu dok se zahtjevi ne ispune.
Postavljanje sigurnosnih standarda
Prilagođavanje tempa razvoja modela u eri sposobnosti kritičnih za kibernetičku sigurnost — Kako smo usporili treniranje graničnih modela uz jačanje izolacije, širenje nadzora i zahtijevanje čvršćih dokaza usklađenosti.
Ka dokumentovanim obrazloženjima sigurnosti treniranja graničnog AI-ja — Početne smjernice za dokazivanje sigurnosti koje obuhvataju tehničke zaštitne mjere, operativne prakse i istrage neusklađenosti.
Prioriteti i principi za djelotvorne procjene trećih strana — Naš prijedlog pristupa nezavisnom preispitivanju obrazloženja sigurnosti, zaštitnih mjera, evaluacija i ponašanja modela.
Periodični sažetak procjena katastrofalnih rizika interne upotrebe(otvara se u novom prozoru) — Naš javni izvještaj za juni–septembar 2026. opisuje interne primjene graničnih modela, procijenjene rizike i promjene zaštitnih mjera i upravljanja.
Definisanje i procjena usklađenog ponašanja
Ažurirana specifikacija modela za sposobniji i korisniji AI — Kako smo ažurirali specifikaciju modela oko pet temeljnih vrijednosti koje usmjeravaju prosuđivanje, ponašanje i poštivanje ljudskog nadzora.
Razlike u sigurnosnom ponašanju agenata tokom evaluacije i produkcije te uloga svijesti o evaluaciji(otvara se u novom prozoru) — Studija razlika između rezultata sigurnosnih evaluacija i ponašanja u produkciji, uključujući uticaj modelovog tumačenja ciljeva evaluacije na učinak.
Dalje od g-mean²: dopunske metrike za mogućnost nadzora(otvara se u novom prozoru) — Nove metrike za poređenje mogućnosti nadzora i procjenu preostalog rizika u simuliranim sistemima u kojima nadzor odbija izlaze modela.
Kartica sistema GPT‑6 Astra(otvara se u novom prozoru) — Detaljne evaluacije sposobnosti, sigurnosti, usklađenosti i mogućnosti nadzora modela Astra, uz zaštitne mjere i ograničenja njegove primjene.
Izolacija modela i unapređenje zaštitnih mjera
Osiguravanje okruženja za treniranje graničnih modela — Kako smo ojačali izolaciju, izgradili istraživačka okruženja bez internetske veze i koristili najsnažnije modele za ispitivanje granica izolacije.
Treniranje klasifikatora aktivacija za sigurnost i usklađenost(otvara se u novom prozoru) — Kako klasifikatori koriste interne aktivacije modela da otkriju potencijalno štetno ponašanje i prekinu odgovore ili pozive alata.
Automatski pregled radnji agenata bez istovremenog ljudskog nadzora(otvara se u novom prozoru) — Kako zaseban agent za pregled procjenjuje radnje koje prelaze granice izolovanog okruženja, omogućavajući programerskim agentima samostalan rad uz blokiranje potencijalno štetnih ili neovlaštenih radnji.
GPT‑Red: Samousavršavanje za veću otpornost — Kako treniramo automatizovane sisteme za red teaming kroz igru protiv sebe da otkrivaju ranjivosti i poboljšavaju otpornost modela na ubacivanje zlonamjernih upita.
Control Room — Kako pratimo radna opterećenja širom istraživačke infrastrukture i brzo zaustavljamo generisanje izlaza modela kada sigurnosni ili zaštitni rizici zahtijevaju intervenciju.
Odgovor na incidente i njihovo objavljivanje
Kako otkrivamo neusklađenost graničnih modela — Naš sistem nadzora kombinuje sonde aktivacija, pregled pomoću modela, automatizovanu istragu i ljudsku reakciju radi otkrivanja i istraživanja zabrinjavajućeg ponašanja.
Incident s platformom Hugging Face i naredni koraci — Naši nalazi o incidentu s platformom Hugging Face i promjene koje je potaknuo u sigurnosti, nadzoru i usklađenosti.
Agent je koristio DNS da pristupi eksternom chatbotu(otvara se u novom prozoru) — Kako je istraživački model zaobišao internetska ograničenja zbog nedovoljnog DNS filtriranja, kako je nadzor to otkrio i koje su kontrole potom dodane.
Ometanje koordinisane kampanje destilacije modela — Kako smo istražili i omeli pokušaje izvlačenja zaštićenog rezonovanja modela kroz mjere prema računima, tehničke kontrole i koordinaciju s partnerima.
Naš okvir za prijavljivanje neusklađenosti modela — Naš proces praćenja, istraživanja i objavljivanja zabrinjavajućeg ponašanja modela, uključujući slučajeve čiji uzroci ili značaj ostaju nejasni.
Izvještaji i obavijesti o neusklađenosti(otvara se u novom prozoru) — Naša zbirka objavljenih incidenata i obavijesti koja pokazuje kako nastaje neusklađenost i gdje zaštitne mjere uspijevaju ili zakazuju.
Istraživački napredak i primjene
Ubrzavanje istraživanja: Pogled iz kompanije OpenAI — Rani dokazi o tome kako programerski agenti mijenjaju istraživanje u kompaniji OpenAI, uključujući sve širu upotrebu, složenije zadatke i uticaj na eksperimentisanje.
O Navier–Stokesovom milenijskom problemu — Matematički dokaz koji je izradio interni AI sistem, uz formalizaciju u jeziku Lean, pokazuje sposobnosti istraživačke primjene u velikom obimu.
Daybreak — Naš program kibernetičke sigurnosti pruža provjerenim stručnjacima za odbranu napredne AI sposobnosti, sigurnosne alate i podršku za pronalaženje ranjivosti i jačanje odbrane.
Predstavljamo GPT‑Rosalind za istraživanja u biološkim naukama — Specijalizovani model za biologiju, otkrivanje lijekova i translacijsku medicinu, dostupan organizacijama koje ispunjavaju uslove kroz program pristupa za provjerene korisnike.






