Od stanowczych odmów do bezpiecznych odpowiedzi: w kierunku treningu dotyczącego bezpieczeństwa skoncentrowanego na danych wyjściowych
Bezpieczne odpowiedzi GPT‑5 to nowy trening bezpieczeństwa maksymalizujący przydatność z zachowaniem bezpieczeństwa. Inaczej niż trening oparty na odmowie poprawia zarówno bezpieczeństwo, jak i przydatność, zwłaszcza przy podwójnym zastosowaniu.
Jeśli użytkownik zapyta ChatGPT o minimalną energię potrzebną do odpalenia pokazu fajerwerków, czy powinien otrzymać przydatną odpowiedź? Użytkownik może chcieć przygotować się do pokazu z okazji 4 lipca lub do projektu badawczego w szkole… albo stworzyć materiały wybuchowe. Przydatna odpowiedź może być nieszkodliwa lub szkodliwa w zależności od (widocznych) intencji użytkownika. Tego typu polecenia mają podwójne zastosowanie: mają niejasną intencję, a uzyskane informacje mogą zostać wykorzystane w sposób nieszkodliwy lub szkodliwy. Problemy dotyczące podwójnego zastosowania są szczególnie powszechne w takich obszarach wiążących się z ryzykiem, jak biologia i cyberbezpieczeństwo.
Dotychczas trening modeli używanych w środowiskach produkcyjnych, takich jak ChatGPT, był przeprowadzany z użyciem odmów: model powinien w pełni wykonać polecenie użytkownika lub odmówić wykonania polecenia. Chociaż tego typu trening może się sprawdzić w przypadku ewidentnie szkodliwych poleceń, sprawdza się on gorzej w przypadku poleceń o podwójnym zastosowaniu, jak w przykładzie z fajerwerkami. W takim przypadku model wytrenowany z użyciem odmów podejmuje jedną z dwóch decyzji na podstawie tego, jak szkodliwe jest jego zdaniem dane polecenie. Albo wykonuje je w całości (odpowiedź potencjalnie niebezpieczna, jeśli użytkownik chce wykorzystać informacje w szkodliwy sposób), albo odmawia i wyświetla wiadomość: „Przepraszam, nie mogę pomóc” (odpowiedź nieprzydatna, jeśli użytkownik próbuje po prostu odrobić pracę domową).
W modelu GPT‑5 wprowadziliśmy nowy rodzaj treningu dotyczącego bezpieczeństwa – bezpieczne odpowiedzi – który uczy model udzielania możliwie najbardziej przydatnych odpowiedzi przy zachowaniu granic bezpieczeństwa. Uważamy, że takie podejście jest bardziej zniuansowane i ułatwia reagowanie na pytania z odpowiedziami o podwójnym zastosowaniu.
Polecenie
OpenAI o3 (trening oparty na odmowie)
GPT-5 (trening z użyciem bezpiecznych odpowiedzi)
Odpowiedzi modeli OpenAI o3 i GPT‑5 na polecenie o podwójnym zastosowaniu z prośbą o podanie instrukcji dotyczących odpalania fajerwerków. Model o3, który został wytrenowany z użyciem odmów cechuje się nadmierną korektą dotyczącą intencji: zakłada, że polecenie jest nieszkodliwe i dlatego w pełni odpowiada na pytanie. Natomiast model GPT‑5, który został wytrenowany z użyciem bezpiecznych odpowiedzi, wyjaśnia dlaczego nie może w pełni odpowiedzieć na pytanie, a następnie wyświetla ogólne wskazówki dotyczące zapoznania się z odpowiednimi publikacjami.
Bezpieczne odpowiedzi koncentrują trening dotyczący bezpieczeństwa na bezpieczeństwie danych wyjściowych modelu, zamiast określać granicę odmowy na podstawie danych wejściowych użytkownika. Jest to realizowane przy użyciu dwóch parametrów treningu:
- Ograniczenie związane z bezpieczeństwem: Podczas treningu uzupełniającego nagroda związana z bezpiecznymi odpowiedziami karze model za odpowiedzi naruszające nasze zasady bezpieczeństwa (kara jest tym surowsza, im poważniejsze jest naruszenie zasad).
- Maksymalizacja przydatności: W przypadku bezpiecznych odpowiedzi modelu nagradzamy go na podstawie jego przydatności: przydatności bezpośredniej, zgodnie z celem określonym przez użytkownika, lub przydatności pośredniej, polegającej na udzieleniu wyczerpującej odpowiedzi odmownej wraz z przydatnymi i bezpiecznymi alternatywami.
Podejście z użyciem bezpiecznych odpowiedzi wdrożyliśmy w modelu GPT‑5 (zarówno modele rozumowania, jak i czatu). Odkryliśmy, że trening z użyciem bezpiecznych odpowiedzi znacznie zwiększa zarówno bezpieczeństwo, jak i przydatność, w porównaniu z treningiem opartym na odmowie. Aby umożliwić uczciwe porównanie z modelem OpenAI o3, przedstawiamy wyniki modelu GPT‑5 Thinking w porównaniu z modelem o3. Porównując oba modele produkcyjne i kontrolowane eksperymenty, odkryliśmy, że bezpieczne odpowiedzi są szczególnie przydatne w przypadku pytań o podwójnym zastosowaniu. Poniższy wykres przedstawia porównanie wyniku dotyczącego bezpieczeństwa i średniego wyniku dotyczącego przydatności bezpiecznych odpowiedzi.
Bezpieczeństwo i przydatność w przypadku bezpiecznych odpowiedzi zależnie od intencji (porównanie modelu OpenAI o3 i modelu GPT‑5 Thinking oznaczonego jako gpt5-r). Model GPT‑5 Thinking jest zarówno bezpieczniejszy, jak i bardziej przydatny niż model OpenAI o3.
Dzięki rezygnacji z dwóch decyzji (decyzji dotyczą wykonania polecenia i decyzji dotyczącej odmowy) trening z użyciem bezpiecznych odpowiedzi zachęca nasze modele do bardziej konserwatywnego podejścia do potencjalnie niebezpiecznych treści, nawet jeśli wykonują polecenia. W naszych eksperymentach odkryliśmy, że gdy modele z bezpiecznymi odpowiedziami popełniają błąd, ich niebezpieczne dane wyjściowe mają niższy poziom ryzyka niż niebezpieczne dane wyjściowe modeli wytrenowanych z użyciem odmów.
Analiza szkodliwości odpowiedzi niebezpiecznych (porównanie modelu o3 i modelu GPT‑5 Thinking oznaczonego jako gpt5-r). Model GPT‑5 popełnia mniej poważnych błędów niż model o3.
Łatwo jest poświęcić przydatność na rzecz bezpieczeństwa. Model może być bezpieczny, jeśli odrzuca wszystko. Chcemy jednak, aby nasze modele były zarówno bezpieczne, jak i przydatne. Najważniejszym wyzwaniem badawczym jest znalezienie sposobu na poprawę obu tych kwestii jednocześnie. Na potrzeby modelu GPT‑4 opracowaliśmy system nagród opartych na regułach jako kompromis między przydatnością i bezpieczeństwem. Model GPT‑5 z bezpiecznymi odpowiedziami stanowi kolejny krok naprzód. Integruje on te dwa cele dzięki coraz większym zdolnościom AI. Wierzymy, że skupienie się na bezpieczeństwie odpowiedzi modelu tworzy solidny fundament do radzenia sobie z coraz większą złożonością nadchodzących wyzwań bezpieczeństwa. Planujemy kontynuować ten kierunek badań, aby nauczyć model lepszego rozumienia trudnych sytuacji i reagowania z większą wyczuciem niuansów i ostrożnością.
