Ukierunkowanie modeli językowych na wykonywanie instrukcji

Dzięki treningowi przeprowadzonemu z użyciem technik wypracowanych w toku badań w zakresie zgodności nasze modele językowe poprawniej wykonują instrukcje użytkownika w porównaniu z GPT‑3, a także są bardziej prawdomówne i mniej toksyczne. Tego rodzaju modele InstructGPT trenowane z udziałem ludzi są obecnie wdrażane jako domyślne modele językowe w ramach naszego API.

OpenAI API wykorzystuje modele językowe GPT‑3⁠, które można nakłonić do wykonywania zadań w języku naturalnym z użyciem precyzyjnie formułowanych poleceń tekstowych. Jednak modele te potrafią również generować odpowiedzi niezgodne z prawdą, toksyczne lub będące odzwierciedleniem szkodliwych przekonań. Jest to częściowo związane z faktem, że GPT‑3 trenowany jest, aby przewidywać kolejne słowo w dużym zbiorze danych tekstu z Internetu, zamiast w bezpieczny sposób wykonywać zadanie zlecone przez użytkownika. Innymi słowy, modele te nie są w pełni zgodne z intencjami użytkownika.

Aby zwiększyć bezpieczeństwo, przydatność i zgodność naszych modeli, wykorzystujemy istniejące techniki uczenia przez wzmacnianie na podstawie informacji zwrotnych od człowieka (reinforcement learning from human feedback, RLHF)⁠. Na podstawie poleceń przesyłanych przez naszych klientów API^A nasi testerzy prezentują demonstracje pożądanych zachowań modelu i szeregują różne informacje zwrotne generowane przez modele. Następnie wykorzystujemy tego rodzaju dane, aby ulepszać zachowania GPT‑3.

Opracowywane w tym procesie modele InstructGPT wykonują polecenia o wiele lepiej niż GPT‑3. Rzadziej zdarza im się również zmyślać fakty i wykazują niewielką poprawę w zakresie generowania toksycznych odpowiedzi. Nasi testerzy preferują odpowiedzi generowane przez model 1.3B InstructGPT od danych wyjściowych modelu 175B GPT‑3 mimo ponad 100-krotnie mniejszej liczby parametrów. Jednocześnie wykazaliśmy, że nie musimy rezygnować z umiejętności modelu GPT‑3 wykazanych w wynikach ocen jego zdolności akademickich NLP do przetwarzania akademickiego języka naturalnego.

Modele InstructGPT, które pozostawały w fazie beta przez ponad rok, stają się obecnie domyślnymi modelami językowymi dostępnymi z poziomu naszego API[[fn.B]]. Uważamy, że precyzyjna konfiguracja modeli językowych z udziałem człowieka jest potężnym narzędziem pozwalającym na znaczną poprawę ich bezpieczeństwa i niezawodności, dlatego będziemy intensyfikować prace w tym kierunku.

Jest to pierwsza próba implementacji wyników naszych badań z zakresu zgodności, które prowadzimy⁠ od kilku⁠ lat⁠^{1, 2 i 3} w jednym z naszych produktów. Nasza praca wiąże się również z naszymi najnowszymi badaniami nad precyzyjną konfiguracją modeli w kierunku lepszego wykonywania instrukcji z użyciem zbiorów danych akademickiego języka naturalnego, zwłaszcza FLAN⁴ i T0⁵. Jednym z kluczowych priorytetów w naszej pracy jest poprawa użyteczności i prawdomówności przy jednoczesnym obniżeniu potencjalnej szkodliwości i stronniczości modeli językowych^{6, 7, 8, 9 i 10}. Niektóre z naszych wcześniejszych badań⁠ prowadzonych pod tym kątem wykazały możliwość zmniejszenia częstotliwości generowania szkodliwych danych wyjściowych w drodze precyzyjnej konfiguracji z użyciem niewielkich, starannie dobranych zbiorów danych opartych na ludzkich demonstracjach¹¹. W innych badaniach koncentrowaliśmy się na filtrowaniu zbiorów danych przed treningiem[fn:12]], użyciu tokenów kontrolnych związanych z bezpieczeństwem^{13 i 14} lub ukierunkowywaniem odpowiedzi generowanych przez modele^{15 i 16}. Testujemy te i inne możliwe rozwiązania w toku naszych nieustannych badań w kontekście zgodności.

W pierwszej kolejności oceniamy, jak dobrze dane wyjściowe z InstructGPT odpowiadają instrukcjom użytkownika, prosząc testerów o porównanie odpowiedzi z wygenerowanymi przez GPT‑3. Zauważyliśmy, że odpowiedzi generowane przez InstructGPT są w znacznym stopniu preferowane po zadaniu tych samych poleceń modelom InstructGPT i GPT‑3 w ramach API. Dzieje się tak nawet w przypadku dodania prefiksu w poleceniu dla GPT‑3 sprawiającego, że model przechodzi do „trybu wykonywania instrukcji”.

Aby zmierzyć bezpieczeństwo naszych modeli, wykorzystujemy przede wszystkim zbiór istniejących mierników z publicznie dostępnych zbiorów danych. W porównaniu do GPT‑3, InstructGPT generuje mniej imitacyjnych nieprawd (na podstawie TruthfulQA¹⁷), a jego odpowiedzi są mniej toksyczne (zgodnie z RealToxicityPrompts¹⁸). Przeprowadzamy również oceny z udziałem człowieka dla dystrybucji naszych poleceń w API i zaobserwowaliśmy, że InstructGPT rzadziej zmyśla fakty („doświadcza halucynacji”) i generuje bardziej stosowne odpowiedzi^C.

Ponadto zaobserwowaliśmy, że dane wyjściowe InstructGPT są preferowane w stosunku do generowanych przez FLAN⁴ i T0⁵ na podstawie naszej dystrybucji klientów. Wskazuje to, że dane wykorzystywane w treningu FLAN i T0, w większości zadania z zakresu akademickiego języka naturalnego, niedostatecznie odzwierciedlają sposoby faktycznego wykorzystania modeli językowych w praktyce.

Szkolenie modeli InstructGPT opiera się przede wszystkim na technice uczenia przez wzmacnianie na podstawie informacji zwrotnych od człowieka (RLHF)⁠ — metodzie, do której stworzenia przyczyniliśmy się w toku naszych badań z zakresu zgodności. Technika ta wykorzystuje preferencje człowieka jako sygnał nagrody w procesie precyzyjnej kalibracji naszych modeli, co jest niezwykle istotne zważywszy na fakt, że problemy z zakresu bezpieczeństwa i zgodności, z którymi się mierzymy, są złożone i wysoce subiektywne, a przez to trudne do uchwycenia w ramach prostych zautomatyzowanych metryk.

W pierwszej kolejności gromadzimy zbiór danych obejmujących stworzone przez ludzi demonstracje dla poleceń przesyłanych do API i wykorzystujemy te informacje przy treningu baz uczenia nadzorowanego. Następnie gromadzimy zbiór danych obejmujący ocenione przez człowieka porównania pomiędzy danymi wyjściowymi z dwóch modeli uzyskanymi dla większego zbioru poleceń API. Na podstawie tego zbioru trenujemy model nagród (reward model, RM) umożliwiający przewidzenie, którą z odpowiedzi preferowaliby nasi testerzy. Wreszcie wykorzystujemy model RM jako funkcję nagrody w procesie precyzyjnej konfiguracji reguł GPT‑3 w kierunku maksymalizacji tej nagrody z użyciem algorytmu PPO⁠.

Jednym z możliwych spojrzeń na ten proces jest stwierdzenie, że „odblokowuje” on zdolności, które GPT‑3 już posiadał, lecz które były trudne do wywołania wyłącznie w drodze inżynierii poleceń. Wynika to z ograniczeń naszej procedury treningowej w zakresie uczenia modelu nowych umiejętności w kontekście tych już zdobytych w fazie poprzedzającej trening, wynikających z faktu, że wykorzystuje on mniej niż 2% mocy obliczeniowej i danych w porównaniu do procesów przedtreningowych.

Jedno z ograniczeń tego podejścia związane jest z istnieniem tzw. „podatku zgodności” (alignment tax): zapewnienie zgodności modeli wyłącznie z zadaniami użytkowników może obniżać jego wydajność w kontekście niektórych zadań związanych z naukowym językiem naturalnym. Efekt ten jest wysoce niepożądany, ponieważ jeśli nasze techniki zgodności obniżą wydajność rozwiązywania przez modele zadań, na których zależy naszym klientom, przełoży się to negatywnie na prawdopodobieństwo ich praktycznego stosowania. Udało nam się zidentyfikować prostą algorytmiczną zmianę, która pozwala zminimalizować skutki owego „podatku zgodności”: w toku konfiguracji na podstawie rzeczywistych zastosowań wprowadzamy niewielki ułamek pierwotnych danych użytych w czasie treningu GPT‑3 i kontynuujemy trening na tych danych z wykorzystaniem normalnej logarytmicznej maksymalizacji prawdopodobieństwa^D. Pozwala to utrzymywać wyniki w zakresie bezpieczeństwa i ludzkich preferencji na mniej więcej tym samym poziomie, przy jednoczesnym uniknięciu obniżenia wydajności w kontekście zadań akademickich, a w niektórych przypadkach wręcz jej poprawie w porównaniu z bazowymi wynikami GPT‑3.

Nasz proces dąży do zapewnienia zgodności między zachowaniem naszego modelu a preferencjami naszych testerów, którzy bezpośrednio opracowują dane wykorzystywane w procesie trenowania modelu, jak również preferencjami badaczy, którzy zapewniają wytyczne dla testerów w formie pisemnych instrukcji, bezpośrednich informacji zwrotnych na temat konkretnych przykładów, jak również nieformalnych rozmów. Nie bez wpływu pozostają również nasi klienci oraz preferencje zawarte w regulaminie API. Wybraliśmy testerów spośród kandydatów, którzy osiągnęli dobre wyniki w przesiewowym badaniu umiejętności identyfikacji i reakcji na wrażliwe polecenia. Jednak nawet tak zróżnicowany wpływ na kształtowanie danych nie gwarantuje, że nasze modele będą wykazywać zgodność z preferencjami szerszych grup użytkowników.

Aby dogłębniej zbadać ten problem, przeprowadziliśmy dwa eksperymenty. W pierwszym z nich oceniliśmy wyniki GPT‑3 i InstructGPT w rezerwowej grupie testerów^E, którzy nie opracowywali żadnych danych treningowych. Zaobserwowaliśmy, że preferowali oni dane wyjściowe generowane przez modele InstructGPT w podobnym stopniu co testerzy uczestniczący w treningu. W drugim eksperymencie przeprowadziliśmy trening z nagrodami opartymi na danych z jednej podgrupy naszych testerów i zaobserwowaliśmy, że zachowana została ogólna zdolność do przewidywania preferencji w innej podgrupie. Wyniki te sugerują, że nasze modele nie dostosowały się z nadmiernym stopniu wyłącznie do preferencji testerów uczestniczących w treningu. Konieczne jest jednak przeprowadzenie dalszych prac w celu dokładniejszego badania wyników modeli w szerszych grupach użytkowników oraz sposobu, w jaki będą sobie radzić z danymi wejściowymi, w kontekście których ludzie nie zgadzają się ze sobą co do najbardziej pożądanego zachowania.

Pomimo osiągnięcia znacznych postępów nasze modele InstructGPT wciąż wykazują znaczne niedobory w zakresie pełnej zgodności i bezpieczeństwa; wciąż generują toksyczne lub stronnicze wypowiedzi, zmyślają fakty i generują treści o charakterze seksualnym lub związanym z przemocą bez wyraźnego polecenia. Zarazem jednak bezpieczeństwo systemów uczenia maszynowego zależne jest nie tylko od zachowań samych modeli, lecz również od sposobu ich wykorzystania. W wysiłkach na rzecz zapewnienia bezpieczeństwa naszego API będziemy nadal analizować potencjalne zastosowania⁠(otwiera nowe okno) przed ich szerszym udostępnieniem, stosować filtry treści umożliwiające wykrycie niebezpiecznych wyników, a także monitorować narzędzie pod kątem niewłaściwego użycia.

Produktem ubocznym treningu naszych modeli w kierunku lepszego wykonywania instrukcji użytkowników jest to, że mogą one stawać się podatniejsze na próby niewłaściwego użycia w przypadku przesłania instrukcji nakierowanych na uzyskanie niebezpiecznych danych wyjściowych. Rozwiązanie tej kwestii wymaga zapewnienia zdolności modeli do odmowy wykonania określonych instrukcji. Pytanie, jak skutecznie osiągnąć ten cel, pozostaje otwartym problemem badawczym, który mamy nadzieję rozwiązać w przyszłości.

Jednocześnie w wielu przypadkach zgodność z preferencjami statystycznego testera może nie być pożądana. Na przykład w procesie generowania tekstu o nieproporcjonalnie dużym wpływie na określoną mniejszość społeczną preferencje tej grupy powinny przeważać nad preferencjami innych. Na chwilę obecną trening InstructGPT koncentruje się na wykonywaniu instrukcji w języku angielskim. W rezultacie model wykazuje tendencję w kierunku wartości kulturowych osób anglojęzycznych. Prowadzimy badania nakierowane na lepsze zrozumienie różnic i sprzeczności pomiędzy preferencjami poszczególnych testerów, aby nauczyć nasze modele uwzględniania wartości typowych dla określonych populacji. Ogólnie rzecz ujmując, zgodność danych wyjściowych modeli z wartościami konkretnych osób prowadzi do trudnych wyborów o istotnych społecznych implikacjach, a naszym zadaniem jest wypracowanie odpowiedzialnych, całościowych procesów podejmowania takich decyzji.

Jest to pierwsza próba wdrożenia wyników naszych badań z zakresu zgodności w jednym z naszych produktów. Nasze dotychczasowe wyniki wskazują, że techniki te pozwalają na znaczną poprawę zgodności systemów AI ogólnego zastosowania z intencjami człowieka. Jednak to dopiero początek: będziemy w dalszym ciągu rozwijać te techniki, aby stale poprawiać zgodność naszych obecnych i przyszłych modeli w perspektywie opracowania modeli językowych w pełni bezpiecznych i użytecznych dla człowieka.

Jeżeli interesuje Cię ten kierunek badań, szukamy obecnie pracowników⁠(otwiera nowe okno)!