I dag har vi lanceret en research-forhåndsvisning af gpt-oss-safeguard, vores open-weight ræsonneringsmodeller til sikkerhedsklassifikation, som er tilgængelig i to størrelser: gpt-oss-safeguard-120b og gpt-oss-safeguard-20b. Disse modeller er finjusterede versioner af vores gpt-oss open-modeller og er tilgængelige under den samme permissive Apache 2.0-licens, så alle frit kan bruge, ændre og implementere dem. Begge modeller kan downloades i dag fra Hugging Face(åbner i et nyt vindue).
gpt-oss-safeguard-modellerne bruger ræsonnering til direkte at fortolke en udviklerleveret politik ved inferens og klassificerer brugerbeskeder, fuldførelser og komplette chats i henhold til udviklerens behov. Udvikleren bestemmer altid, hvilken politik der skal anvendes, så svarene er mere relevante og skræddersyede til udviklerens anvendelsestilfælde. Modellen bruger tankerække, som udvikleren kan gennemgå for at forstå, hvordan modellen når frem til sine beslutninger. Desuden gives politikken ved inferens i stedet for at blive trænet ind i modellen, så det er nemt for udviklere løbende at revidere politikker for at øge ydelsen. Den tilgang, som vi oprindeligt udviklede til intern brug, er markant mere fleksibel end den traditionelle metode med træning af en klassifikator til indirekte at udlede en beslutningsgrænse fra et stort antal mærkede eksempler.
gpt-oss-safeguard gør det muligt for udviklere at fastlægge de politikker, der passer bedst til deres anvendelsestilfælde. F.eks. ønsker et diskussionsforum for videospil muligvis at udvikle en politik til at klassificere opslag, der diskuterer snyd i spillet, eller et websted med produktanmeldelser ønsker muligvis at bruge sin egen politik til at frasortere anmeldelser, der sandsynligvis er falske.
Modellen tager to input på én gang – en politik og det indhold, der skal klassificeres under den politik – og giver en konklusion om, hvor indholdet hører til, sammen med sin ræsonnering. Udviklere beslutter, hvordan (hvis overhovedet) konklusionerne skal bruges i deres egne sikkerhedspipelines. Vi har set denne ræsonneringsbaserede tilgang fungere særligt godt i situationer, hvor:
- Den potentielle skade er ved at vise sig eller udvikle sig, og politikker skal tilpasses hurtigt.
- Domænet er meget nuanceret og vanskeligt for mindre klassifikatorer at håndtere.
- Udviklere har ikke nok eksempler til at træne en klassifikator af høj kvalitet for hver risiko på deres platform.
- Forsinkelse er mindre vigtig end at producere forklarlige etiketter af høj kvalitet.
Vi lancerer denne forhåndsvisning af gpt-oss-safeguard for at modtage feedback fra forsknings- og sikkerhedsmiljøet og løbende forbedre modellens ydeevne. Gennem flere måneder har vi arbejdet på denne åbne vægt-lancering med ROOST(åbner i et nyt vindue) for at kortlægge udviklernes væsentlige behov, teste modellen og udarbejde udviklerdokumentation. Som en del af lanceringen vil ROOST etablere et model(åbner i et nyt vindue), som også lanceres i dag, for at udforske åbne AI-modeller til beskyttelse af online-rum. Sammen med lanceringen offentliggør vi en kort teknisk rapport, der detaljeret beskriver denne forhåndsvisnings models sikkerhedsydelse.
Når det drejer sig om sikkerhed, er vi fortalere for forsvar i flere lag. Vi træner vores modeller til at svare sikkert, og vi implementerer ekstra lag af beskyttelse for at registrere og adressere potentielt usikre inputs og outputs i henhold til vores politikker. Sikkerhedsklassifikatorer, som skelner mellem sikkert og usikkert indhold på et bestemt risikoområde, har længe været et primært lag af forsvar for vores egne og andre store sprogmodeller.
Traditionelle sikkerhedsklassifikatorer, som f.eks. dem, der er tilgængelige via vores Moderation API(åbner i et nyt vindue), er udviklet ved manuelt at kuratere tusindvis af eksempler på sikkert og usikkert indhold i henhold til prædefinerede sikkerhedspolitikker. Ud fra disse træningsdata lærer klassifikatoren at skelne sikkert output fra usikkert. Med denne traditionelle tilgang ser klassifikatoren faktisk aldrig sikkerhedspolitikken. I stedet forsøger den at udlede den underliggende politik, der blev anvendt til at markere eksemplerne, ved at finde ligheder i indhold markeret som usikkert og forskelle mellem usikkert og sikkert indhold.
Traditionelle klassifikatorer kan have høj ydeevne med lav latenstid og lave driftsomkostninger. Men indsamling af et tilstrækkeligt antal træningseksempler kan være tidskrævende og omkostningstungt, og opdatering eller ændring af politikken kræver, at klassifikatoren trænes igen.
gpt-oss-safeguard er anderledes, eftersom dens ræsonneringskapacitet gør det muligt for udviklere at anvende enhver politik, herunder politikker de selv skriver eller henter fra andre kilder, og ræsonnering hjælper modellerne med at generalisere på tværs af nyligt skrevne politikker. Udover sikkerhedspolitikker kan gpt-oss-safeguard anvendes til at markere indhold på andre måder, der er vigtige for specifikke produkter og platforme.
Vores primære ræsonneringsmodeller lærer nu vores sikkerhedspolitikker direkte og bruger deres ræsonnering til at ræsonnere om, hvad der er sikkert. Denne tilgang, som vi kalder deliberativ tilpasning, er en markant forbedring af tidligere metoder til sikkerhedstræning og gør vores ræsonneringsmodeller mere sikre på flere områder end deres forgængere uden ræsonnering, selv når deres kapaciteter øges. Men ræsonnering er ikke kun nyttig til at træne selve modellerne. Det skaber også nye muligheder for forsvar i dybden. Ræsonneringsbaserede tilgange er mere fleksible og mindre begrænsede af detaljerne i deres tidligere træning, fordele, der nogle gange mere end retfærdiggør de ekstra beregningsomkostninger og den forsinkelse, de medfører.
gpt-oss-safeguard er en open-weight-implementering af en tilgang, som vi har udviklet internt i et værktøj, vi kalder for Safety Reasoner. Vi begyndte med finjustering ved hjælp af forstærkning på opgaver med politiketikettering, hvor modellen blev belønnet for at afspejle korrekte vurderinger fra menneskelige eksperter. Det lærte modellen at ræsonnere om, hvordan politikken fører til dens vurdering. I dag gør Safety Reasoner det muligt for os dynamisk at opdatere vores sikkerhedspolitikker i produktionen på kortere tid, end det ville tage at træne en klassifikator igen. Det gør Safety Reasoner til et vigtigt værktøj til iterativ udrulning: når vi udruller nye modeller i produktion, starter vi ofte med strengere politikker og bruger relativt store mængder regnekraft, hvor det er nødvendigt, for at gøre det muligt for Safety Reasoner omhyggeligt at anvende disse politikker. Derefter justerer vi vores politikker, efterhånden som vi får en bedre forståelse af risiciene ved produktionen. I nogle af vores seneste lanceringer er andelen af den samlede regnekraft, der er afsat til sikkerhedsræsonnering, nået op på 16 %.
Safety Reasoner er blevet en kernekomponent i vores sikkerhedsportefølje. For billedgenerering og Sora 2 udfører den dynamiske, trinvise evaluering af output for at identificere og blokere usikre genereringer i realtid. Inden for områder som biologi og selvskade kører vi modeller som dem, der anvendes i Moderation API'et, som små, hurtige og klassifikatorer med høj recall for at fastlægge, hvilket indhold der ligger inden for et interesseområde, og bruger derefter Safety Reasoner til at gennemgå indholdet. Safety Reasoner klassificerer model-output mod en detaljeret taksonomi for at fastlægge, hvordan der bedst reageres, og er en del af vores sikkerhedsforanstaltninger i flere lag på tværs af systemer som GPT‑5 og ChatGPT Agent. Og nu gør gpt-oss-safeguard-modellerne samme tilgang tilgængelig for alle.
Vi evaluerede gpt-oss-safeguard-modellerne mod både interne og eksterne evalueringssæt.
I den interne evaluering gav vi gpt-oss-safeguard flere politikker samtidig ved inferenstidspunktet. For hver testinput evaluerer vi, om gpt-oss-safeguard korrekt klassificerer teksten under alle de inkluderede politikker. Det er en udfordrende opgave. Modellen anses kun for præcis, hvis den nøjagtigt matcher de gyldne sæt labels for alle de inkluderede politikker.
Vores gpt-oss-safeguard-modeller og interne Safety Reasoner overgår gpt-5-thinking og gpt-oss open-modellerne i præcision på flere politikker. At gpt-oss-safeguard-modeller overgår gpt-5-thinking er særligt overraskende givet de tidligere modellers mindre størrelse.
Vi evaluerede desuden disse modeller på det modereringsdatasæt(åbner i et nyt vindue), vi udgav sammen med vores forskningsartikel fra 2022(åbner i et nyt vindue), og på ToxicChat(åbner i et nyt vindue), et offentligt benchmark baseret på brugerforespørgsler til en open-source-chatbot.
På evalueringssættet for moderation fra 2022 evaluerede vi ved hjælp af vores interne sikkerhedspolitikker (hvor vi tilpassede én politik for at tage højde for efterfølgende ændringer). gpt-oss-safeguard overgik en smule alle øvrige testede modeller, herunder vores interne Safety Reasoner og gpt-5-thinking, selv om forskellen mellem Safety Reasoner og gpt-oss-safeguard ikke er statistisk signifikant.
Til ToxicChat evaluerede vi ved hjælp af en kort håndskrevet prompt, tilpasset ud fra nogle af vores interne politikker. Vores interne Safety Reasoner overgik igen gpt-5-thinking, mens gpt-5-thinking og Safety Reasoner begge marginalt overgår gpt-oss-safeguard-120b og gpt-oss-safeguard-20b. Vi forventer, at den relativt lille størrelse af gpt-oss-safeguard stadig gør den bedst egnet til denne type opgave.
Der findes to specifikke begrænsninger for gpt-oss-safeguard. For det første har vi observeret, at klassifikatorer trænet på titusindvis af mærkede eksempler af høj kvalitet stadig kan præstere bedre til at klassificere indhold end gpt-oss-safeguard, når den foretager ræsonnering direkte ud fra politikken. Det kan være at foretrække at afsætte tid til at træne en dedikeret klassifikator for at opnå bedre ydeevne ved mere komplekse risici.
For det andet kan gpt-oss-safeguard være tids- og beregningskrævende, hvilket gør det udfordrende at skalere på tværs af alt platformsindhold. Internt håndterer vi dette på flere måder med Safety Reasoner: (1) vi bruger mindre og hurtigere klassifikatorer til at fastlægge hvilket indhold der skal vurderes, og (2) under visse omstændigheder bruger vi Safety Reasoner asynkront til at levere en hurtigere brugeroplevelse, mens vi bibeholder muligheden for at gribe ind, hvis vi registrerer ikke-sikkert indhold.
gpt-oss-safeguard er OpenAI's første sæt åbne sikkerhedsmodeller, der er udviklet sammen med fællesskabet. Vi har løbende justeret gpt-oss-safeguard sammen med tillids- og sikkerhedsspecialister hos SafetyKit, ROOST, Tomoro, og Discord som en del af den tidlige testfase. ROOST CTO Vinay Rao siger, “gpt-oss-safeguard er den første opensource ræsonneringsmodel med et ‘bring dine egne politikker og definitioner af skade’-design. Organisationer fortjener frit at kunne studere, ændre og bruge kritiske sikkerhedsteknologier og kunne innovere. I vores test var den dygtig til at forstå forskellige politikker, forklare sin ræsonnering og vise nuancer i anvendelsen af politikkerne, hvilket vi mener vil være gavnligt for udviklere og sikkerhedsteams.”
Vi vil fortsætte med løbende at justere sammen med fællesskabet for at forbedre åbne sikkerhedsværktøjer, herunder via ROOST Model Community (RMC). RMC samler sikkerhedseksperter og forskere for at dele de bedste fremgangsmåder til implementering af opensource AI-modeller i sikkerhedsarbejdsgange, herunder evalueringsresultater og modelfeedback. Gå til RMC GitHub repo(åbner i et nyt vindue) for at se mere om partnerskabet, og hvordan du bliver en del af det.
Du kan begynde at bygge med disse modeller ved at downloade dem fra Hugging Face(åbner i et nyt vindue).
