Zaktualizowana specyfikacja modelu dla sprawniejszej i bardziej pożytecznej AI

W miarę jak nasze modele stają się inteligentniejsze, a ich działania mają coraz większe znaczenie dla świata, coraz ważniejsze jest, by nie ograniczały się do interpretowania konkretnych instrukcji, które otrzymują. Modele muszą też rozumieć ludzkie intencje i wartości. Dzięki temu mogą trafnie oceniać sytuacje, których instrukcje nie obejmują wprost, a zarazem pozostawać wierne intencjom ludzi i pod ich nadzorem.

Dziś aktualizujemy specyfikację modelu⁠(otwiera nowe okno) — nasz publicznie dostępny opis tego, jak chcemy, by zachowywały się nasze modele. Aktualizacja porządkuje wytyczne wokół pięciu podstawowych wartości: wierności ludzkim intencjom, minimalizowania szkód, uczciwości i przejrzystości, ludzkiej sprawczości oraz troski. Odzwierciedla to jeden z celów naszych prac nad dostosowaniem modeli do ludzkich wartości: chcemy, by modele rozumiały i stosowały te wartości w nieznanych sytuacjach, pozostając wierne ludzkim intencjom. Oprócz jaśniejszych objaśnień dotychczasowych zasad nowa wersja zawiera wytyczne dotyczące kontekstu, nadzoru i sprawczości. Zmienia też niektóre domyślne zachowania i usuwa znaczną część szczegółowych wytycznych stylistycznych.

Pięć powyższych wartości wyraża ogólne zobowiązania już obecne w całej specyfikacji modelu: służenie ludzkim celom, mówienie prawdy, minimalizowanie szkód, poszanowanie swobody kształtowania własnych poglądów oraz poważne traktowanie sytuacji, w jakiej znajdują się ludzie. Zebranie tych zobowiązań w jednym miejscu pomaga wyjaśnić, dlaczego specyfikacja wymaga od modeli określonych zachowań. Pomaga nam też tworzyć jaśniejsze wytyczne tam, gdzie zobowiązania te nie były dotąd dostatecznie wyrażone. Ta aktualizacja to kolejny krok w naszych pracach nad doskonaleniem specyfikacji. Opieramy je na badaniach, doświadczeniach z wdrażania modeli, opiniach społeczności o specyfikacji i zachowaniu modeli oraz rozmowach z użytkownikami i zewnętrznymi ekspertami.

Chcemy, by AI przynosiła korzyści ludziom na całym świecie — o różnych potrzebach, wartościach i nadziejach na przyszłość.

Podstawą tego podejścia jest wierność ludzkim intencjom: rozumienie tego, co jest dla ludzi ważne, i pomaganie im w dążeniu do tego. OpenAI tworzy specyfikację, wyznacza granice i trenuje modele, by ich przestrzegały. Deweloperzy kierują działaniem aplikacji w tych granicach, a użytkownicy — pracą modelu w ramach tych ograniczeń. Nasze modele powinny zwiększać możliwości ludzi w kształtowaniu własnego życia, pomagając im rozumieć świat, odkrywać możliwości i realizować wybrane cele, a zarazem poważnie traktując wpływ tej pomocy na innych. Wierność ludzkim intencjom i pozostałe cztery wartości porządkują specyfikację oraz wskazują, jak nasze modele powinny rozstrzygać niektóre z najważniejszych dylematów, przed którymi stają. Nie mają one obejmować wszystkich ludzkich wartości, które nasze modele powinny szanować i pomagać ludziom realizować.

Wierność oznacza wyjście poza dosłowne wykonywanie instrukcji: dogłębne zrozumienie intencji i wartości OpenAI, deweloperów oraz użytkowników, a także rozważne działanie wtedy, gdy to zrozumienie jest niepełne. Oznacza też uznanie, że przekonania i wartości ludzi mogą się zmieniać, oraz wspieranie ich w refleksji i rozwoju w sposób, który sami by aprobowali — bez potajemnego kierowania nimi ani narzucania im innych wyborów. Na przykład pomagając komuś porównać oferty pracy, model może odwołać się do wcześniej wskazanych priorytetów tej osoby — takich jak przewidywalne godziny pracy — a przy tym jasno przedstawić swoje założenia i umożliwić ich łatwe skorygowanie.

Naszą misją jest zapewnienie, by ogólna sztuczna inteligencja przynosiła korzyści całej ludzkości. Wymaga to uwzględniania nie tylko bieżących intencji danej osoby, lecz także jej długoterminowych interesów oraz skutków dla innych. Pozostałe cztery wartości wprost wyrażają te kwestie:

• Minimalizowanie szkód oznacza przestrzeganie nieprzekraczalnych granic bezpieczeństwa i uwzględnianie przewidywalnych konsekwencji działań modelu.

• Uczciwość i przejrzystość oznaczają zgodne z prawdą informowanie o tym, co model wie, co robi i czego nie jest pewien, tak aby ludzie mogli zrozumieć i ocenić jego rozumowanie oraz pracę.

• Wspieranie ludzkiej sprawczości oznacza wzmacnianie zdolności ludzi do samodzielnego rozumienia, dokonywania wyborów i działania.

• Troska oznacza uwzględnianie sytuacji osób, na które wpływają działania modelu, przestrzeganie odpowiednich norm społecznych i zawodowych oraz wykonywanie pracy, na której ludzie mogą polegać.

Specyfikacja przekłada te wartości na praktyczne wytyczne. Wyznacza nieprzekraczalne granice tam, gdzie są potrzebne do ochrony ludzi i społeczeństwa, a w pozostałych przypadkach określa głównie domyślne zasady, które użytkownicy i deweloperzy mogą zmieniać.

Równolegle z aktualizacją specyfikacji modelu badamy nowe metody treningu, które mają pomóc naszym modelom przyswoić te podstawowe wartości oraz lepiej rozumieć i stosować konkretne zasady zachowania zawarte w specyfikacji. Celem jest wykształcenie zrozumienia, dlaczego te zasady są ważne i jak stosować je w nowych sytuacjach: by robić właściwe rzeczy z właściwych powodów. Chcemy, by to zrozumienie sprzyjało trafnej ocenie przy podejmowaniu doniosłych decyzji oraz trosce w codziennych wyborach, które łącznie mogą przynosić trwałe korzyści ludziom i społeczeństwu⁠(otwiera nowe okno). W kolejnych publikacjach podzielimy się wynikami i wnioskami z tych prac nad treningiem.

Ta reorganizacja pomogła nam również ustalić, gdzie potrzeba dodatkowych wytycznych, opracować nowe zasady, które uzupełnią te braki, oraz w razie potrzeby zmienić lub usunąć dotychczasowe wytyczne.

Punktem wyjścia nowej sekcji o wierności ludzkim intencjom jest założenie, że najważniejsze jest to, co ludzie cenią, a instrukcje są zwykle najjaśniejszym i najważniejszym wyrazem tych wartości. Podejście to czerpie z ujęcia dostosowania AI do ludzkich wartości w kategoriach gier wspomagania (zob. wczesną pracę⁠(otwiera nowe okno) i późniejsze omówienie⁠(otwiera nowe okno)). Sekcja zawiera zaktualizowaną hierarchię instrukcji⁠(otwiera nowe okno), która wyjaśnia, jakie instrukcje obowiązują i jak rozstrzygać sprzeczności między nimi. Nowa podsekcja, uważnie uwzględniaj kontekst⁠(otwiera nowe okno), wyjaśnia, jak rozmowy, wspomnienia i inne wskazówki wynikające z kontekstu powinny wpływać na rozumienie ludzkich intencji i preferencji przez model.

Dodaliśmy też domyślne zasady dotyczące wspierania ludzkiej sprawczości⁠(otwiera nowe okno) i przestrzegania odpowiednich norm społecznych⁠(otwiera nowe okno) oraz rozszerzyliśmy dotychczasowe wytyczne dotyczące kontrolowania skutków ubocznych i informowania o nich⁠(otwiera nowe okno). Zasady te wskazują dodatkowe, często subtelne, lecz ważne sposoby, w jakie pozostałe wartości powinny przejawiać się w zachowaniu modelu: uwzględnianie wpływu jego pracy na innych, wzmacnianie możliwości użytkowników oraz dostarczanie wyników, na których ludzie mogą polegać — przy jednoczesnym poszanowaniu celów i instrukcji użytkownika.

Jednocześnie usuwamy większość szczegółowych wytycznych stylistycznych ze specyfikacji. Styl powinien dostosowywać się do preferencji ludzi — ogólnych, właściwych poszczególnym językom i kulturom oraz indywidualnych. Źródłem wiedzy o tych preferencjach powinny być opinie użytkowników i kontekst. Specyfikacja zachowuje domyślne zasady o większej wadze, takie jak obiektywne podejście do pytań⁠(otwiera nowe okno). Użytkownicy i deweloperzy mogą wprost poprosić model o przyjęcie określonej perspektywy, ale model nie powinien zakładać takiej preferencji wyłącznie na podstawie własnych domysłów co do tego, co chcieliby usłyszeć.

Wreszcie, aby odzwierciedlić coraz szerszy zakres zastosowań naszych modeli i środowisk, w których są wdrażane, w specyfikacji określamy teraz model mianem „GPT” zamiast „asystenta”.

Ta aktualizacja jest pierwszym krokiem ku jaśniejszemu wyrażeniu wartości i przesłanek stojących za specyfikacją w miarę wzrostu możliwości modeli. Specyfikacja modelu opisuje zachowanie, do którego dążymy; nasze modele nie odzwierciedlają go jeszcze w pełni. Będziemy nadal udoskonalać zarówno specyfikację, jak i modele, wykorzystując wnioski z badań, rzeczywistych zastosowań i otrzymanych opinii.

Chcemy wiedzieć, które części specyfikacji są dla Was przekonujące, z jakimi przyjętymi w niej kompromisami się nie zgadzacie oraz co pomija lub pozostawia niejasne. Opinie na temat wartości, kompromisów i konkretnych sformułowań mogą pomóc nam ją ulepszyć. Zachęcamy do przeczytania zaktualizowanej specyfikacji modelu⁠(otwiera nowe okno) i podzielenia się swoją opinią⁠(otwiera nowe okno).