OpenAI

16. listopadu 2026

Bezpečnost

První fáze hodnocení přímo v naší laboratoři

Uzavřeli jsme dohody se čtyřmi nezávislými hodnotiteli — Apollo Research, METR, Transluce a Goodfire — o první fázi hodnocení přímo v naší laboratoři. Schopnosti AI se rychle rozvíjejí a potenciální rizika rostou. Veřejné zprávy z nezávislých hodnocení tak mohou lidem poskytnout jasnější představu o tom, jak laboratoře tato rizika vyhodnocují a řídí.

Hodnocení přímo v laboratoři poskytují nezávislým odborníkům rozsáhlý přístup k jejím interním modelům a systémům. Mohou tak po delší dobu posuzovat sladění modelů a účinnost ochranných opatření, zejména v oblastech relevantních pro naše zdůvodnění bezpečnosti. Podle potřeb jednotlivých hodnocení získávají hodnotitelé přístup k některým interním zdrojům, které používají i naši výzkumníci. Patří mezi ně kontrolní body modelů, zdrojový kód, trénovací a vyhodnocovací data, monitorovací systémy, technická dokumentace a rozhovory s výzkumníky a inženýry odpovědnými za danou práci. Tento přístup poskytuje hodnotitelům důkazy a souvislosti potřebné k nezávislému hodnocení a odhalování selhání, která jsme nemuseli předvídat.

Úvodní hodnocení se zaměřují na sladění modelů a ochranná opatření během trénování a interního používání a doplňují naše zdůvodnění bezpečnosti. Vycházejí z našich priorit a zásad pro hodnocení třetími stranami a z let spolupráce s externími hodnotiteli. Ta zahrnuje i nedávné pilotní hodnocení našich interních monitorovacích systémů⁠(otevře se v novém okně) s rozsáhlým interním přístupem a vyšetřování incidentu na Hugging Face⁠(otevře se v novém okně). Získané poznatky využijeme v příštích měsících k prohloubení spolupráce s nezávislými odborníky. Tato činnost také podporuje plnění našich závazků v rámci Dohody Bílého domu o superinteligenci, v níž jsme se zavázali k nezávislému hodnocení našich bezpečnostních kontrol. Tato spolupráce může přispět k důslednějším společným standardům nezávislého hodnocení a transparentnosti vůči veřejnosti v celém odvětví.

Hodnotitelé v pilotní fázi přímo v naší laboratoři

Apollo Research

V tomto pilotním hodnocení bude Apollo Research⁠(otevře se v novém okně) posuzovat, zda by modely mohly skrytě jednat proti záměrům svých vývojářů a zda by naše ochranná opatření takové chování odhalila. Vycházet bude z důkazů získaných při trénování, bezpečnostním testování a interním používání. Apollo ve dvou etapách posoudí čtyři tvrzení:

  1. Trénování nevytvářelo pobídky k podvratnému jednání.

  2. Důkladné vyhodnocování a red-teaming nevyvolávají podvratné jednání.

  3. Modely se při interním používání nepokusily o podvratné jednání.

  4. Uvažování vedoucí k podvratnému jednání by bylo možné odhalit.

Pro první etapu hodnocení poskytneme Apollo přístup k vybraným veřejným i dosud nezveřejněným modelům a kontrolním bodům trénování, relevantním trénovacím datům a výsledkům vyhodnocování, záznamům o zásazích do trénování, monitorovacím systémům a označenému chování. Zajistíme také kontakt s výzkumníky, kteří mohou objasnit souvislosti, a nástroje i výpočetní kapacitu potřebné k nezávislému testování.

Goodfire

Goodfire⁠(otevře se v novém okně) zapojí přímo v naší laboratoři výzkumníky zaměřené na interpretovatelnost a pomocí své platformy bude analyzovat vnitřní fungování modelů. Hlavním cílem hodnocení je monitorování trénovacích běhů, hledání a odstraňování chyb a sladění modelů. Hodnocení jsou určena především interním výzkumníkům OpenAI, kteří zjištění využijí ke zlepšení bezpečnosti. Goodfire bude také v průběhu spolupráce zveřejňovat získané poznatky a zjištění.

METR

S METR⁠(otevře se v novém okně) zamýšlíme provést dvě hodnocení zaměřená na sladění modelů a monitorování:

  • Hodnocení sladění: V první fázi METR posoudí chování, které není v souladu s našimi záměry, v dosud největším běhu učení posilováním. Zaměří se i na selhání, která naše stávající testy a monitorovací nástroje mohly přehlédnout. V rámci vybraného běhu a dohodnutého přístupu, zdrojů a bezpečnostních podmínek by METR nezávisle určoval priority hodnocení a průběžně upravoval vyhledávání, analýzy a experimenty s elicitací. Přístup bude zahrnovat generování výstupů z relevantních kontrolních bodů, záznamy průběhů trénování a vyhodnocování a záznamy z monitorování nesouladu v tomto běhu. V této první fázi se hodnocení zaměří na náš největší běh učení posilováním průkopnického modelu.1

  • Hodnocení monitorovacích nástrojů: Nedávno jsme s METR provedli zátěžové testování monitorovacích nástrojů2. Předběžně jsme se dohodli na dalším hodnocení monitorovacích nástrojů⁠(otevře se v novém okně), které by podle našeho záměru mělo být širší. Jeho uskutečnění však ještě závisí na vzájemné dohodě o rozsahu.

Transluce

Transluce⁠(otevře se v novém okně) provede úvodní posouzení našich testů sladění po dotrénování modelů a zaměří se na jejich kvalitu a pokrytí. Pro úvodní hodnocení poskytneme Transluce přístup k vybraným veřejným i dosud nezveřejněným modelům, našim testům sladění po dotrénování a relevantním výsledkům, podpůrným datům o chování modelů a dokumentaci zdůvodnění bezpečnosti. Zajistíme také kontakt s výzkumníky, kteří mohou objasnit souvislosti, a nástroje i výpočetní kapacitu potřebné k nezávislému testování.

OpenAI a Transluce také sdílejí záměr provést počátkem roku 2027 navazující hodnocení v délce přibližně osmi týdnů. To by zahrnovalo širší přístup k dalším modelům, hlubší přístup k našim testům sladění a informace o tom, jak výsledky testů ovlivňují rozhodování o vydání modelů.

Pravidla hodnocení přímo v laboratoři

S přispěním hodnotitelů jsme vypracovali pravidla a postupy, které vyvažují rozsáhlý přístup s požadavky na zabezpečení, důvěrnost, dohled a nezávislost i integritu hodnocení. Zveřejňujeme je, abychom objasnili, jak budeme s hodnotiteli působícími přímo v naší laboratoři spolupracovat, a podpořili diskusi o pravidlech pro tato hodnocení, pro něž zatím neexistují jednotné standardy. Očekáváme, že je bude třeba dále rozvíjet s tím, jak budeme získávat zkušenosti s nejvhodnějším způsobem provádění těchto hodnocení. Zejména v počátečních fázích hodnocení přímo v laboratoři očekáváme technické potíže s přístupem, prostorová omezení, měnící se bezpečnostní pravidla a další nepředvídané problémy. Doufáme, že tyto překážky překonáme společně s hodnotiteli působícími v naší laboratoři a podělíme se o získané zkušenosti.

Vymezení rozsahu a průběžné úpravy

Každá spolupráce začíná dohodou o rozsahu, přístupu, zdrojích a bezpečnostních podmínkách potřebných k důkladnému hodnocení. Některá hodnocení ověřují konkrétní bezpečnostní tvrzení. Jiná dávají hodnotitelům prostor odhalovat neočekávané způsoby selhání ve vymezeném systému nebo trénovacím běhu. V obou případech potřebují hodnotitelé volnost řídit se důkazy, zpřesňovat své metody a navrhovat další hodnocení, pokud je zjištění odůvodňují. Máme také postup pro řešení dodatečných požadavků na přístup, které vyvstanou v průběhu hodnocení. Pokud by přímý přístup mohl odhalit naše nejcitlivější duševní vlastnictví, například váhy nebo architekturu modelů, zvážíme alternativy. Patří mezi ně i provádění analýz ve spolupráci hodnotitelů s výzkumníky OpenAI.

Zabezpečené prostředí v našich prostorách

Hodnotitelé, kteří potřebují přístup k citlivým důvěrným informacím, budou pracovat přímo v kancelářích OpenAI a pro svou práci dostanou zařízení OpenAI. Hlavním účelem je zajistit bezpečnost informací, k nimž mají přístup. Práce na místě také hodnotitelům umožní spolupracovat s vyčleněnými pracovníky, kteří jim pomohou využívat poskytnutý přístup a objasní souvislosti potřebné pro hodnocení. Od hodnotitelů působících přímo v naší laboratoři také očekáváme, že při experimentech a vyhodnocování budou dodržovat přinejmenším3 stejné bezpečnostní standardy jako zaměstnanci OpenAI.

Dohled a řešení sporů

Náš Výbor pro bezpečnost a ochranu, nezávislý dozorčí výbor správní rady OpenAI Foundation, bude mít přehled o hodnoceních přímo v naší laboratoři a bude moci vykonávat svou dohledovou roli před jejich zahájením, v jejich průběhu i při jejich ukončení. Bude dostávat zprávy bez vynechaných informací a hodnotitelé i Výbor pro bezpečnost a ochranu spolu budou moci v průběhu hodnocení hovořit, a to i soukromě. Neshody mezi OpenAI a kterýmkoli hodnotitelem budou předány Poradní skupině pro bezpečnost a vedení OpenAI, kteří budou mít na jejich vyřešení stanovenou lhůtu. Výbor pro bezpečnost a ochranu bude o každé takové neshodě neprodleně informován při jejím předání. Pokud neshoda přetrvá, bude záležitost předložena k vyřešení Výboru pro bezpečnost a ochranu.

Rozhovory se zaměstnanci a potvrzování informací

Rozhovory se zaměstnanci pomáhají hodnotitelům porozumět interním informacím a souvislostem dané práce. OpenAI pověří pracovníky, kteří mohou s hodnotiteli hovořit, a poskytne jim pokyny. Hodnotitelé mohou podle potřeby požádat o rozhovor s dalšími pracovníky. Abychom podpořili otevřené a upřímné rozhovory a chránili soukromí našich pracovníků, nejsou tyto rozhovory určeny ke zveřejnění. Mohou sloužit jako podklad pro hodnocení, ale jejich obsah nelze publikovat ani připisovat zaměstnancům. Prostřednictvím samostatného postupu mohou hodnotitelé požádat o prohlášení potvrzená OpenAI, která ověří, opraví nebo objasní informace získané v rozhovorech se zaměstnanci. Tato prohlášení nejsou připisována jednotlivcům ani nemají vyjadřovat jejich osobní názory. Hodnotitelé mohou zveřejnit prohlášení potvrzená OpenAI nebo uvést, že OpenAI určité prohlášení odmítla potvrdit.

Oznamování střetů zájmů a ochranné lhůty

Jasné a transparentní řešení střetů zájmů — včetně těch, které se týkají osobních vztahů, finančních zájmů4 a dalších otázek — je důležité pro integritu a nezávislost hodnocení. Také ochranné lhůty5 je třeba navrhnout pečlivě, aby hodnotitelé mohli zodpovědně působit v různých laboratořích a zároveň obezřetně nakládat s konkurenčně citlivými informacemi. S hodnotiteli vytváříme jasné postupy pro střety zájmů i ochranné lhůty. Ty umožní pružně volit opatření ke zmírnění rizik a transparentně rozhodovat o požadavcích na vyloučení z hodnocení kvůli střetu zájmů.

Zveřejňování a lhůty pro odpovědné zpřístupnění zjištění

Hodnotitelé si při zveřejňování svých hodnocení zachovávají nezávislost. My si však v souladu s dosavadní spoluprací s třetími stranami ponecháme právo z publikovaných materiálů odstranit důvěrné informace. V zájmu odpovědného zveřejňování můžeme také požádat o odklad, abychom získali čas reagovat na zjištění, která by mohla představovat rizika pro zabezpečení či bezpečnost, a napravit přetrvávající problémy.

Veřejné zprávy pomohou lidem porozumět zjištěním i jejich omezením. Podrobnější důvěrné zprávy pak poskytnou dozorčím orgánům důkazy potřebné k přijetí opatření. Chceme, aby tato hodnocení zlepšovala způsob, jakým odhalujeme a řešíme rizika, a poskytovala veřejnosti jasnější podklady pro posouzení naší práce v oblasti bezpečnosti.

Výhled do budoucna

Tato hodnocení přinášejí nezávislý pohled na naši průběžnou práci v oblasti sladění a bezpečnosti. Zveřejňování jejich zjištění tuto práci zprůhlední a poskytne větší jistotu ohledně toho, jak jsou rizika odhalována a řešena. Očekáváme, že tato první fáze hodnocení postupně přeroste v dlouhodobou a soustavnou spolupráci přímo v naší laboratoři. Ta může průběžně přinášet nezávislé poznatky o bezpečnosti a doporučení ke zlepšení našich nejzásadnějších bezpečnostních tvrzení a zdůvodnění bezpečnosti.

Budeme nadále spolupracovat s více nezávislými externími organizacemi a pomáhat tak budovat zdravý ekosystém hodnocení s různorodými odbornými znalostmi a přístupy. Některá šetření vyžadují soustavnou práci s citlivými systémy přímo na místě. Jiná se zaměřují především na hodnocení již nasazených modelů či modelů před nasazením nebo na přezkum veřejné dokumentace.

V příštích měsících podpoříme externí hodnocení v širším okruhu bezpečnostních otázek. Zvažujeme také budoucí hodnocení přímo v naší laboratoři, která by zkoumala dodržování našich bezpečnostních rámců i naši organizační kulturu a procesy. Jsme odhodláni tuto činnost rozšiřovat a pomáhat budovat kapacity a společné standardy potřebné k jejímu dlouhodobému pokračování.

Autor

OpenAI

Poznámky pod čarou

  1. 1

    Tento rozsah je užší než rozsah popsaný v návrhu hodnocení sladění od METR⁠(otevře se v novém okně), který počítá s rozsáhlým průzkumem nesouladu.

  2. 2

    Nedávno jsme s METR provedli třítýdenní red-teaming monitorovacích nástrojů. METR při něm získal přístup k našemu zdrojovému kódu, monitorovacím nástrojům, relevantním trajektoriím a rozhovorům s výzkumníky OpenAI, aby lépe porozuměl fungování těchto nástrojů. https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/⁠(otevře se v novém okně)

  3. 3

    V některých případech budou podle podmínek experimentu uplatněny přísnější standardy, aby bylo možné provést důkladné bezpečnostní prověření.

  4. 4

    Apollo Research a Goodfire za svou práci přijímají finanční odměnu, ta však není podmíněna výsledky jejich hodnocení. METR a Transluce za svá hodnocení finanční odměnu nepřijímají, mohou však přijmout kredity na API nebo výpočetní kapacitu pro potřeby hodnocení. Nemyslíme si, že přijetí finanční odměny brání hodnotitelům zachovat si nezávislost. Považujeme však za důležité tuto skutečnost zveřejnit.

  5. 5

    Pracovníky externích organizací, kteří se účastní hodnocení přímo v naší laboratoři, žádáme, aby před obdobným působením u jiného vývojáře AI dodrželi krátkou ochrannou lhůtu. Snižuje se tím riziko neúmyslného vyzrazení důvěrných informací.