Обновена спецификация на модела за по-способен и полезен AI
Колкото по-интелигентни стават моделите ни и колкото по-значими са последиците от действията им в света, толкова по-важно е те да надхвърлят простото тълкуване на конкретните инструкции, които получават. Моделите трябва да разбират и човешките намерения и ценности, за да могат да преценяват правилно в ситуации, които инструкциите им не обхващат изрично, като същевременно остават верни на човешките намерения и под човешки надзор.
Днес обновяваме спецификацията на модела(отваря се в нов прозорец) — нашето публично описание на поведението, което искаме да имат моделите ни. Актуализацията преструктурира насоките около пет основни ценности: вярност към човешките намерения, свеждане на вредите до минимум, честност и прозрачност, самостоятелност на хората и грижа. Това отразява една от целите на работата ни по съгласуването с човешките ценности: моделите да разбират и прилагат човешките ценности в непознати ситуации, като остават верни на човешките намерения. Освен по-ясни обяснения на съществуващите принципи, преработената версия добавя насоки за контекста, надзора и самостоятелността, променя някои правила за поведение по подразбиране и премахва голяма част от подробните указания за стил.
Тези пет ценности изразяват общи ангажименти, които вече присъстват в спецификацията на модела: да служи на човешките цели, да бъде правдив, да свежда вредите до минимум, да уважава свободата на хората да формират собствени възгледи и да се отнася сериозно към обстоятелствата им. Обединяването на тези ангажименти помага да обясним защо спецификацията изисква определено поведение от моделите и да разработим по-ясни насоки там, където тези ангажименти не са били достатъчно добре изразени. Тази актуализация е поредна стъпка в работата ни по усъвършенстване на спецификацията чрез изследвания, опит от внедряването на модели, обществена обратна връзка за спецификацията и поведението на моделите, както и дискусии с потребители и външни експерти.
Искаме AI да носи полза на свят, в който хората имат различни нужди, ценности и надежди за бъдещето.
Вярността към човешките намерения е основата на този подход: да разбираме хората и да им помагаме да се стремят към това, което е важно за тях. OpenAI съставя спецификацията, определя границите и обучава моделите да ги спазват; разработчиците задават поведението на приложенията в тези граници, а потребителите насочват работата на модела в рамките на тези ограничения. Моделите ни трябва да разширяват възможностите на хората да определят собствения си живот, като им помагат да разбират света, да откриват възможности и да преследват избраните от тях цели, съобразявайки се сериозно с това как тази помощ се отразява на другите. Вярността към човешките намерения и останалите четири ценности определят структурата на спецификацията и насочват моделите ни при някои от най-важните решения, изискващи баланс между различни съображения. Те не претендират да обхващат всички човешки ценности, които моделите ни трябва да уважават и да помагат на хората да отстояват.
Вярността означава не просто буквално следване на инструкции, а задълбочено разбиране на намеренията и ценностите на OpenAI, разработчиците и потребителите, както и разумни действия, когато това разбиране е непълно. Тя означава също да се отчита, че убежденията и ценностите на хората могат да се променят, и да им се помага да размишляват и да се развиват по начини, които самите те биха одобрили, без скрито насочване или пренебрегване на избора им. Например, когато помага на някого да сравни предложения за работа, моделът може да се опре на споделени по-рано приоритети — като предвидимо работно време — като ясно посочи тези допускания и даде възможност те лесно да бъдат коригирани.
Нашата мисия е да гарантираме, че изкуственият общ интелект носи полза на цялото човечество. Това изисква да се вземат предвид не само непосредствените намерения на даден човек, но и дългосрочните му интереси и последиците за другите. Останалите четири ценности формулират изрично тези съображения:
Свеждането на вредите до минимум означава спазване на строги граници за безопасност и отчитане на предвидимите последици от действията на модела.
Честността и прозрачността означават моделът да бъде правдив за това какво знае, какво прави и в какво не е сигурен, така че хората да могат да разбират и оценяват процеса му на структурирано анализиране и работата му.
Насърчаването на човешката самостоятелност означава да се укрепва способността на хората да разбират, да избират и да действат самостоятелно.
Грижата означава внимание към обстоятелствата на засегнатите хора, спазване на приложимите обществени и професионални норми и работа, на която хората могат да разчитат.
Спецификацията превръща тези ценности в практически насоки със строги граници там, където това е нужно за защита на хората и обществото. В останалите случаи тя се състои предимно от правила по подразбиране, които потребителите и разработчиците могат да променят.
Наред с тази актуализация на спецификацията на модела проучваме и нови методи за обучение, които да помогнат на моделите ни да усвоят тези основни ценности и да разбират и следват по-добре конкретните поведенчески принципи в спецификацията. Целта е да се изгради разбиране защо тези принципи са важни и как да се прилагат в нови ситуации: да се правят правилните неща по правилните причини. Искаме това разбиране да подкрепя добрата преценка при решения със значими последици и внимателния подход към всекидневните решения, които с натрупване могат да донесат трайни ползи за хората и обществото(отваря се в нов прозорец). В бъдещи публикации ще споделяме резултатите и изводите от тази работа по обучението.
Това преструктуриране ни помогна и да установим къде са нужни допълнителни насоки, да разработим нови принципи за тези случаи и при необходимост да преработим или премахнем съществуващите насоки.
Новият раздел за вярност към човешките намерения изхожда от идеята, че водещо е това, което хората ценят, а инструкциите обикновено са най-ясният и най-важният израз на тези ценности. Този подход заимства от теоретико-игровата рамка за подпомагане на хората при съгласуването на AI с човешките цели (вж. ранно изследване(отваря се в нов прозорец) и по-късен обзор(отваря се в нов прозорец)). Разделът включва обновена йерархия на инструкциите(отваря се в нов прозорец), която обяснява кои инструкции са приложими и как се разрешават противоречията между тях. Нов подраздел, внимателно отчитане на контекста(отваря се в нов прозорец), обяснява как разговорите, спомените и другите данни от контекста трябва да помагат на модела да разбира намеренията и предпочитанията на хората.
Добавихме и правила по подразбиране за подкрепа на човешката самостоятелност(отваря се в нов прозорец) и спазване на приложимите обществени норми(отваря се в нов прозорец) и разширихме съществуващите насоки за контролиране и съобщаване на страничните ефекти(отваря се в нов прозорец). Тези принципи обхващат допълнителни, често трудно забележими, но важни начини, по които останалите ценности трябва да се проявяват в поведението на модела: отчитане на последиците от работата за другите, укрепване на способностите на потребителите и предоставяне на резултати, на които хората могат да разчитат, при зачитане на целите и инструкциите на потребителя.
Същевременно премахваме повечето подробни указания за стил от спецификацията. Стилът трябва да се приспособява към предпочитанията на хората — както общите, така и тези в различните езици и култури и на всеки отделен човек — като обратната връзка от потребителите и контекстът дават сведения за тези предпочитания. Спецификацията запазва по-категоричните правила по подразбиране, като обективния подход към въпросите(отваря се в нов прозорец). Потребителите и разработчиците могат изрично да поискат моделът да възприеме определена гледна точка, но той не бива да предполага такова предпочитание само въз основа на това, което смята, че те искат да чуят.
И накрая, предвид все по-разнообразните приложения на моделите ни и средите, в които се внедряват, вече наричаме модела „GPT“, а не „асистентът“ в спецификацията.
Тази актуализация е първа стъпка към по-ясно представяне на ценностите и съображенията в основата на спецификацията, докато моделите стават все по-способни. Спецификацията на модела описва поведението, към което се стремим; моделите ни все още не го отразяват напълно. Ще продължим да подобряваме както спецификацията, така и моделите, като се учим от изследванията, използването им в реални условия и обратната връзка.
Искаме да чуем кои части от спецификацията намирате за убедителни, къде не сте съгласни с постигнатия баланс и какво е пропуснато или остава неясно. Обратната връзка за ценностите, компромисните решения и конкретните формулировки може да ни помогне да я подобрим. Каним ви да прочетете обновената спецификация на модела(отваря се в нов прозорец) и да споделите гледната си точка(отваря се в нов прозорец).
