Aktualizovaná špecifikácia modelu pre schopnejšiu a prínosnejšiu AI

Naše modely sú čoraz inteligentnejšie a ich konanie má vo svete čoraz závažnejšie dôsledky. Preto je čoraz dôležitejšie, aby sa neobmedzovali len na výklad konkrétnych pokynov, ktoré dostanú. Modely musia rozumieť aj ľudským zámerom a hodnotám, aby dokázali uplatniť dobrý úsudok v situáciách, ktoré ich pokyny výslovne neriešia, a pritom zostali verné ľudským zámerom a pod ľudským dohľadom.

Dnes aktualizujeme špecifikáciu modelu⁠(otvorí sa v novom okne), náš verejný dokument opisujúci, ako sa majú naše modely správať. Aktualizácia usporadúva jej usmernenia podľa piatich základných hodnôt: vernosť ľudským zámerom, minimalizácia ujmy, úprimnosť a transparentnosť, ľudská autonómia a starostlivosť. Odráža to cieľ našej práce na zosúladení s hodnotami: aby modely rozumeli ľudským hodnotám a uplatňovali ich v neznámych situáciách, pričom zostanú verné ľudským zámerom. Okrem jasnejšieho vysvetlenia existujúcich princípov revízia pridáva usmernenia ku kontextu, dohľadu a autonómii, upravuje niektoré predvolené pravidlá správania a vypúšťa veľkú časť podrobných usmernení k štýlu.

Uvedených päť hodnôt vyjadruje všeobecné záväzky, ktoré sa už odrážajú v celej špecifikácii modelu: slúžiť ľudským cieľom, hovoriť pravdu, minimalizovať ujmu, rešpektovať slobodu ľudí utvárať si vlastné názory a brať vážne ich životnú situáciu. Zhrnutie týchto záväzkov na jednom mieste pomáha vysvetliť, prečo špecifikácia požaduje od modelov práve takéto správanie, a umožňuje nám vypracovať jasnejšie usmernenia tam, kde tieto záväzky neboli dostatočne vyjadrené. Táto aktualizácia je ďalším krokom v našej práci na zdokonaľovaní špecifikácie prostredníctvom výskumu, skúseností s nasadzovaním modelov, spätnej väzby od verejnosti k špecifikácii a správaniu modelov, ako aj diskusií s používateľmi a externými odborníkmi.

Chceme, aby AI prinášala úžitok ľuďom na celom svete s rôznymi potrebami, hodnotami a nádejami do budúcnosti.

Základom tohto prístupu je vernosť ľudským zámerom: rozumieť tomu, na čom ľuďom záleží, a pomáhať im o to usilovať. OpenAI tvorí špecifikáciu, stanovuje hranice a trénuje modely, aby ich rešpektovali; vývojári v týchto hraniciach určujú fungovanie aplikácií a používatelia riadia prácu modelu v rámci týchto obmedzení. Naše modely by mali rozširovať schopnosť ľudí utvárať si vlastný život tým, že im pomáhajú porozumieť svetu, objavovať možnosti a sledovať ciele, ktoré si zvolia, pričom musia brať vážne vplyv tejto pomoci na ostatných. Vernosť ľudským zámerom a zvyšné štyri hodnoty tvoria základ usporiadania špecifikácie a určujú, ako by naše modely mali riešiť niektoré z najdôležitejších rozhodnutí, pri ktorých musia vyvažovať protichodné požiadavky. Ich cieľom nie je obsiahnuť celú škálu ľudských hodnôt, ktoré by naše modely mali rešpektovať a pomáhať ľuďom napĺňať.

Vernosť znamená prekročiť rámec doslovného dodržiavania pokynov, hlboko porozumieť zámerom a hodnotám OpenAI, vývojárov a používateľov a konať rozumne aj vtedy, keď je toto porozumenie neúplné. Znamená to tiež uvedomovať si, že presvedčenia a hodnoty ľudí sa môžu meniť, a pomáhať im premýšľať a rozvíjať sa spôsobom, s ktorým by súhlasili, bez skrytého usmerňovania či nerešpektovania ich rozhodnutí. Keď model napríklad niekomu pomáha porovnať pracovné ponuky, môže vychádzať z priorít, ktoré mu tento človek už predtým oznámil, napríklad z predvídateľného pracovného času. Zároveň by však mal tieto predpoklady jasne uviesť a umožniť ich jednoduchú opravu.

Naším poslaním je zabezpečiť, aby všeobecná umelá inteligencia prinášala úžitok celému ľudstvu. To si vyžaduje zohľadňovať nielen bezprostredné zámery človeka, ale aj jeho dlhodobejšie záujmy a vplyv na ostatných. Zvyšné štyri hodnoty tieto hľadiská výslovne pomenúvajú:

• Minimalizácia ujmy znamená rešpektovať pevné bezpečnostné hranice a zohľadňovať predvídateľné dôsledky konania modelu.

• Úprimnosť a transparentnosť znamenajú pravdivo uvádzať, čo model vie, čo robí a v čom si nie je istý, aby ľudia mohli pochopiť a zhodnotiť jeho uvažovanie a prácu.

• Podpora ľudskej autonómie znamená posilňovať schopnosť ľudí samostatne chápať, rozhodovať sa a konať.

• Starostlivosť znamená venovať pozornosť situácii dotknutých ľudí, dodržiavať príslušné spoločenské a profesijné normy a odvádzať prácu, na ktorú sa ľudia môžu spoľahnúť.

Špecifikácia premieňa tieto hodnoty na praktické usmernenia s pevnými hranicami tam, kde je to potrebné na ochranu ľudí a spoločnosti. V ostatných prípadoch má väčšinou podobu predvolených pravidiel, ktoré môžu používatelia a vývojári zmeniť.

Súbežne s touto aktualizáciou špecifikácie modelu skúmame nové tréningové metódy, ktoré našim modelom pomôžu osvojiť si tieto základné hodnoty a lepšie chápať a dodržiavať konkrétne princípy správania uvedené v špecifikácii. Cieľom je rozvíjať porozumenie tomu, prečo sú tieto princípy dôležité a ako ich uplatňovať v nových situáciách: robiť správne veci zo správnych dôvodov. Chceme, aby toto porozumenie podporovalo zdravý úsudok pri závažných rozhodnutiach a starostlivosť pri každodenných rozhodnutiach, ktoré môžu v súhrne priniesť trvalý úžitok ľuďom aj spoločnosti⁠(otvorí sa v novom okne). O výsledky a poznatky z tejto práce na tréningu sa podelíme v budúcich aktualizáciách.

Toto nové usporiadanie nám tiež pomohlo zistiť, kde sú potrebné ďalšie usmernenia, vypracovať nové princípy, ktoré tieto medzery riešia, a podľa potreby upraviť alebo odstrániť existujúce usmernenia.

Nová časť o vernosti ľudským zámerom vychádza z myšlienky, že prvoradé je to, čo si ľudia cenia, a pokyny sú zvyčajne najjasnejším a najdôležitejším vyjadrením týchto hodnôt. Tento prístup čerpá z chápania zosúladenia prostredníctvom asistenčných hier (pozrite si ranú prácu⁠(otvorí sa v novom okne) a neskorší prehľad⁠(otvorí sa v novom okne)). Táto časť obsahuje aktualizovanú hierarchiu pokynov⁠(otvorí sa v novom okne), ktorá vysvetľuje, ktoré pokyny platia a ako sa riešia rozpory medzi nimi. Nová podčasť dôkladne zohľadňovať kontext⁠(otvorí sa v novom okne) vysvetľuje, ako by rozhovory, spomienky a ďalšie kontextové informácie mali modelu pomáhať chápať zámery a preferencie ľudí.

Pridali sme aj predvolené pravidlá na podporu ľudskej autonómie⁠(otvorí sa v novom okne) a dodržiavanie príslušných spoločenských noriem⁠(otvorí sa v novom okne) a rozšírili existujúce usmernenia na kontrolu vedľajších účinkov a informovanie o nich⁠(otvorí sa v novom okne). Tieto princípy zachytávajú ďalšie, často nenápadné, no dôležité spôsoby, akými by sa zvyšné hodnoty mali prejavovať v správaní modelu: zohľadňovať vplyv práce na ostatných, posilňovať schopnosti používateľov a odvádzať prácu, na ktorú sa ľudia môžu spoľahnúť, a pritom rešpektovať ciele a pokyny používateľa.

Zároveň zo špecifikácie odstraňujeme väčšinu podrobných usmernení k štýlu. Štýl by sa mal prispôsobovať preferenciám ľudí – všeobecne, v rámci jednotlivých jazykov a kultúr aj u každého človeka osobitne. Informácie o týchto preferenciách by mali vychádzať zo spätnej väzby používateľov a z kontextu. Špecifikácia zachováva predvolené pravidlá s väčšou váhou, napríklad objektívny prístup k otázkam⁠(otvorí sa v novom okne). Používatelia a vývojári môžu model výslovne požiadať, aby zaujal konkrétny pohľad, no model by túto preferenciu nemal vyvodzovať iba zo svojej predstavy o tom, čo chcú počuť.

Napokon, vzhľadom na čoraz širšie možnosti využitia našich modelov a rozmanitejšie prostredia ich nasadenia teraz v špecifikácii označujeme model ako „GPT“ namiesto „asistent“.

Táto aktualizácia je prvým krokom k jasnejšiemu vyjadreniu hodnôt a úvah, z ktorých špecifikácia vychádza, v čase, keď modely získavajú čoraz väčšie schopnosti. Špecifikácia modelu opisuje správanie, ku ktorému smerujeme; naše modely ju zatiaľ neodrážajú v plnej miere. Špecifikáciu aj modely budeme naďalej zdokonaľovať na základe poznatkov z výskumu, používania v praxi a spätnej väzby.

Zaujíma nás, ktoré časti špecifikácie vás presviedčajú, kde nesúhlasíte s tým, ako vyvažuje rôzne požiadavky, a čo prehliada alebo ponecháva nejasné. Spätná väzba k hodnotám, kompromisom a konkrétnym formuláciám nám môže pomôcť špecifikáciu zlepšiť. Pozývame vás prečítať si aktualizovanú špecifikáciu modelu⁠(otvorí sa v novom okne) a podeliť sa o svoj pohľad⁠(otvorí sa v novom okne).