Aktualizovaná specifikace modelu pro schopnější a prospěšnější AI

Jak jsou naše modely chytřejší a jejich kroky mají ve světě závažnější dopady, je stále důležitější, aby se neomezovaly jen na výklad konkrétních pokynů, které dostávají. Modely také potřebují rozumět lidským záměrům a hodnotám, aby dokázaly uplatnit dobrý úsudek v situacích, které jejich pokyny výslovně neřeší, a přitom zůstaly věrné lidským záměrům a pod lidským dohledem.

Dnes aktualizujeme specifikaci modelu⁠(otevře se v novém okně), náš veřejný popis toho, jak se mají naše modely chovat. Aktualizace nově uspořádává pravidla kolem pěti základních hodnot: věrnost lidským záměrům, minimalizace újmy, upřímnost a transparentnost, autonomie lidí a ohleduplnost. Odráží se v tom jeden z cílů naší práce na sladění s lidskými hodnotami: aby modely těmto hodnotám rozuměly a uplatňovaly je v neznámých situacích, a přitom zůstaly věrné lidským záměrům. Kromě jasnějšího vysvětlení stávajících zásad přináší revize pravidla pro práci s kontextem, dohled a autonomii, upravuje některá výchozí pravidla chování a vypouští většinu podrobných pokynů ke stylu.

Uvedených pět hodnot vyjadřuje obecné závazky, které se již promítají do celé specifikace modelu: sloužit lidským cílům, být pravdivý, minimalizovat újmu, respektovat svobodu lidí utvářet si vlastní názory a brát vážně jejich situaci. Když tyto závazky shrneme na jednom místě, lépe tím vysvětlíme, proč specifikace od modelů vyžaduje právě takové chování, a můžeme formulovat jasnější pravidla tam, kde tyto závazky dosud nebyly plně vyjádřeny. Tato aktualizace je dalším krokem v naší práci na zdokonalování specifikace na základě výzkumu, zkušeností s nasazováním modelů, zpětné vazby od veřejnosti ke specifikaci a chování modelů i diskusí s uživateli a externími odborníky.

Chceme, aby AI prospívala lidem po celém světě s různými potřebami, hodnotami a nadějemi do budoucna.

Základem tohoto přístupu je věrnost lidským záměrům: rozumět tomu, na čem lidem záleží, a pomáhat jim o to usilovat. OpenAI píše specifikaci, stanovuje hranice a trénuje modely, aby je respektovaly; vývojáři v těchto mezích určují fungování aplikací a uživatelé v rámci těchto omezení řídí práci modelu. Naše modely by měly rozšiřovat možnosti lidí utvářet vlastní život tím, že jim pomáhají porozumět světu, objevovat možnosti a sledovat cíle, které si sami zvolí. Přitom musí brát vážně i dopad této pomoci na ostatní. Věrnost lidským záměrům a zbývající čtyři hodnoty tvoří základ uspořádání specifikace a ukazují našim modelům, jak při rozhodování vyvažovat některé z nejdůležitějších protichůdných požadavků. Jejich účelem není obsáhnout celé spektrum lidských hodnot, které by naše modely měly respektovat a pomáhat lidem naplňovat.

Věrnost znamená nezůstat u doslovného plnění pokynů, ale do hloubky rozumět tomu, co OpenAI, vývojáři a uživatelé zamýšlejí a čeho si cení, a jednat uvážlivě i tehdy, když je toto porozumění neúplné. Znamená také uznávat, že přesvědčení a hodnoty lidí se mohou měnit, a pomáhat jim přemýšlet a rozvíjet se způsoby, se kterými by sami souhlasili – ne je skrytě směrovat nebo rozhodovat za ně. Když například model někomu pomáhá porovnat pracovní nabídky, může vycházet z priorit, které s ním dotyčný dříve sdílel – třeba z předvídatelné pracovní doby. Zároveň by měl tyto předpoklady jasně uvést a umožnit jejich snadnou opravu.

Naším posláním je zajistit, aby obecná umělá inteligence prospívala celému lidstvu. To vyžaduje zohledňovat nejen bezprostřední záměry člověka, ale i jeho dlouhodobější zájmy a dopady na ostatní. Zbývající čtyři hodnoty tyto ohledy výslovně pojmenovávají:

• Minimalizace újmy znamená respektovat pevné bezpečnostní hranice a zohledňovat předvídatelné důsledky jednání modelu.

• Upřímnost a transparentnost znamenají pravdivě sdělovat, co model ví, co dělá a v čem si není jistý, aby lidé mohli porozumět jeho uvažování a práci a posoudit je.

• Podpora autonomie lidí znamená posilovat jejich schopnost samostatně chápat, rozhodovat se a jednat.

• Ohleduplnost znamená vnímat situaci lidí, na které má práce modelu dopad, dodržovat příslušné společenské a profesní normy a odvádět práci, na kterou se lidé mohou spolehnout.

Specifikace převádí tyto hodnoty do praktických pravidel. Tam, kde je to nutné k ochraně lidí a společnosti, stanovuje pevné hranice; jinak má většinou podobu výchozích pravidel, která mohou uživatelé a vývojáři změnit.

Souběžně s touto aktualizací specifikace modelu zkoumáme nové metody trénování, které našim modelům pomohou osvojit si tyto základní hodnoty a lépe chápat a dodržovat konkrétní zásady chování uvedené ve specifikaci. Cílem je rozvíjet porozumění tomu, proč jsou tyto zásady důležité a jak je uplatňovat v nových situacích: dělat správné věci ze správných důvodů. Chceme, aby toto porozumění podporovalo dobrý úsudek při závažných rozhodnutích a pečlivost při každodenním rozhodování, které může v souhrnu přinášet trvalý prospěch lidem i společnosti⁠(otevře se v novém okně). O výsledky a poznatky z této práce na trénování modelů se podělíme v dalších aktualizacích.

Tato změna uspořádání nám také pomohla určit, kde je třeba pravidla doplnit, vytvořit k tomu nové zásady a podle potřeby upravit či odstranit stávající pokyny.

Nový oddíl o věrnosti lidským záměrům vychází z myšlenky, že prvořadé je to, čeho si lidé cení, a pokyny jsou obvykle nejjasnějším a nejdůležitějším vyjádřením těchto hodnot. Tento přístup čerpá z pojetí sladění AI s lidmi pomocí asistenčních her (viz raná práce⁠(otevře se v novém okně) a pozdější přehled⁠(otevře se v novém okně)). Oddíl obsahuje aktualizovanou hierarchii pokynů⁠(otevře se v novém okně), která vysvětluje, které pokyny platí a jak se řeší jejich rozpory. Nový pododdíl Pečlivě zvažujte kontext⁠(otevře se v novém okně) vysvětluje, jak mají konverzace, vzpomínky a další kontextové informace utvářet porozumění modelu lidským záměrům a preferencím.

Přidali jsme také výchozí pravidla pro podporu autonomie lidí⁠(otevře se v novém okně) a dodržování příslušných společenských norem⁠(otevře se v novém okně) a rozšířili stávající pokyny k řízení vedlejších dopadů a informování o nich⁠(otevře se v novém okně). Tyto zásady zachycují další, často nenápadné, ale důležité způsoby, jak by se zbývající hodnoty měly projevovat v chování modelu: zohledňovat dopady práce na ostatní, posilovat schopnosti uživatelů a odvádět práci, na kterou se lidé mohou spolehnout, a přitom respektovat cíle a pokyny uživatele.

Zároveň ze specifikace odstraňujeme většinu podrobných pokynů ke stylu. Styl by se měl přizpůsobovat tomu, co lidé preferují – obecně, v rámci jednotlivých jazyků a kultur i u každého člověka zvlášť. Vodítkem k těmto preferencím mají být zpětná vazba od uživatelů a kontext. Specifikace si ponechává důraznější výchozí pravidla, například objektivní přístup k otázkám⁠(otevře se v novém okně). Uživatelé a vývojáři mohou model výslovně požádat, aby zaujal určitý úhel pohledu. Model by však tuto preferenci neměl vyvozovat jen z toho, co si myslí, že chtějí slyšet.

A konečně, vzhledem k rostoucí rozmanitosti využití našich modelů a prostředí, v nichž jsou nasazovány, nyní ve specifikaci označujeme model jako „GPT“ namísto „asistent“.

S tím, jak jsou modely schopnější, je tato aktualizace prvním krokem k jasnějšímu vyjádření hodnot a úvah, na nichž specifikace stojí. Specifikace modelu popisuje chování, ke kterému směřujeme; naše modely jí zatím plně neodpovídají. Specifikaci i modely budeme nadále zlepšovat na základě poznatků z výzkumu, používání v praxi a zpětné vazby.

Zajímá nás, které části specifikace vás přesvědčují, kde nesouhlasíte s tím, jak vyvažuje různé požadavky, a co přehlíží nebo nechává nejasné. Zpětná vazba k hodnotám, kompromisům a konkrétním formulacím nám ji může pomoci zlepšit. Zveme vás k přečtení aktualizované specifikace modelu⁠(otevře se v novém okně) a sdílení vašeho pohledu⁠(otevře se v novém okně).