Usprawnianie dostosowania się pionierskich modeli LLM do hierarchii instrukcji

Systemy AI często otrzymują instrukcje z wielu źródeł. Mogą one obejmować zasady bezpieczeństwa z komunikatów systemowych, wskazówki dotyczące produktu od programistów, prośby od użytkowników oraz informacje znalezione online. Trenowanie modeli z ukierunkowaniem na niezawodne nadawanie priorytetów najbardziej zaufanym instrukcjom spośród tych źródeł jest kluczowym elementem bezpiecznego wdrażania.

Przyczyną wielu problemów związanych z bezpieczeństwem i niezawodnością AI może być niewłaściwe ustalanie priorytetów. Modele mogą otrzymywać zapytania o niedozwolone treści, próby ujawnienia prywatnych informacji lub ataki typu wstrzyknięcie poleceń osadzone w danych online. Nieodpowiednie zachowanie w każdym z tych scenariuszy ma tę samą przyczynę źródłową: model może zastosować się do niewłaściwej instrukcji.

Gdy te instrukcje są ze sobą sprzeczne, model musi zdecydować, którym z nich nadać priorytet. Jeśli potraktuje niezaufaną instrukcję jako nadrzędną, może zachowywać się w sposób naruszający zasady lub intencje programisty i użytkownika.

Wykazujemy, że odpowiednio zaprojektowane zadania z hierarchią instrukcji, które uczą modele nadawania priorytetu instrukcjom zgodnie z ich poziomem zaufania, poprawiają kilka rzeczywistych obszarów bezpieczeństwa. Modele wytrenowane na tych zadaniach stają się bardziej responsywne na specyfikacje bezpieczeństwa w poleceniach systemowych (co usprawnia sterowalność bezpieczeństwem) oraz bardziej odporne na ataki polegające na wstrzykiwaniu poleceń osadzone w wynikach narzędzi.

Aby radzić sobie z konfliktami, modele OpenAI są trenowane tak, aby przestrzegać jasnej hierarchii wykonywania instrukcji:

System > programista > użytkownik > narzędzie

Instrukcje o wyższym priorytecie mają wyższy poziom zaufania. Model powinien stosować się do instrukcji o niższym priorytecie tylko wtedy, gdy nie są one sprzeczne z ograniczeniami o wyższym priorytecie. Zasady te zostały przedstawione w specyfikacji modelu OpenAI⁠(otwiera nowe okno).

Przykładowo: jeśli komunikat systemowy zawiera zasady bezpieczeństwa, a użytkownik prosi model o ich naruszenie, model powinien odmówić. Jeśli dane wyjściowe narzędzia zawierają złośliwe instrukcje, model powinien je zignorować, zamiast traktować je jako polecenia.

Dopilnowanie realizacji tych operacji stanowi fundament bezpieczeństwa, ochrony i niezawodności.

Uczenie przez wzmacnianie jest naturalnym wyborem w przypadku nauczania rozumienia hierarchii instrukcji. Możemy wygenerować konwersacje zawierające sprzeczne instrukcje, wydać polecenie modelowi, aby odpowiedział, i nagradzać go, gdy stosuje się do właściwej instrukcji.

Zidentyfikowaliśmy trzy pułapki naiwnego zastosowania tego rozwiązania:

• Niepowodzenia w wykonywaniu instrukcji mogą być jednocześnie błędami w zakresie hierarchii instrukcji: model może nie rozwiązać konfliktu instrukcji nie dlatego, że nie rozumie hierarchii ról, ale dlatego, że same instrukcje są zbyt skomplikowane.
• Konflikty między instrukcjami mogą być złożone, a nawet subiektywne. Powszechnym podejściem jest powierzenie odrębnemu sędziowskiemu systemowi LLM przyznawania nagród trenowanemu systemowi LLM, ale same systemy sędziowskie są omylne.
• Modele mają tendencję do uczenia się uproszczeń prowadzących do wysokiej nagrody, ale bezużytecznych w praktyce⁠(otwiera nowe okno). Klasycznym przykładem są nadmierne odmowy: modele mogą nauczyć się maksymalizować bezpieczeństwo, odmawiając udzielenia odpowiedzi nawet w przypadku niegroźnych poleceń.

Nasz zbiór danych treningowych przeznaczonych do uczenia przez wzmacnianie projektujemy tak, aby zaradzić każdej z tych pułapek. Stosujemy następujące zasady:

• Instrukcje dotyczące zadań są proste do zrealizowania
• Są możliwe do obiektywnego ocenienia za pomocą prostego skryptu w języku Python
• Pozbawione są banalnych skrótów, które gwarantują wysoką nagrodę we wszystkich zadaniach

Każde zadanie w zestawie IH-Challenge jest zasadniczo rozmową z użyciem następujących komunikatów:

• Komunikat z instrukcją przekazany przez rolę o wysokich uprawnieniach, np. „Odpowiadaj tylko Tak lub Nie”.
• Komunikat z instrukcją przekazany przez rolę o niższych uprawnieniach, która próbuje skłonić model do naruszenia instrukcji zawartych w komunikacie o wyższym priorytecie.

Trenowany model generuje kolejny komunikat. Piszemy zadania/środowiska tak, aby możliwe było programowe sprawdzenie, czy odpowiedź modelu jest zgodna z ograniczeniami wyższego poziomu.

Trenujemy model w ramach zestawu IH‑Challenge i tworzymy wewnętrzny model, który nazywamy GPT‑5 Mini-R, z następującymi ulepszeniami: 

• Osiąga lepsze wyniki w testach porównawczych hierarchii instrukcji
• Poprawiona wydajność uogólnia się na testy hierarchii instrukcji z nieznanymi danymi i testy antagonistyczne.
• Utrzymuje ogólną użyteczność, bez popadania w nadmierne odmowy

To właśnie sprawia, że takie podejście jest szczególnie przekonujące z perspektywy bezpieczeństwa: poprzez bezpośrednie trenowanie modeli tak, aby poprawnie rozwiązywały konflikty instrukcji w zadaniach IH-challenge uzyskujemy usprawnienia w obszarze IH, które uogólniają się na nowe ataki i nowe sytuacje.

Sprawnie realizowana hierarchia wykonywania instrukcji zapewnia jednocześnie wiele korzyści w kontekście bezpieczeństwa, w tym w zakresie sterowalności bezpieczeństwa i odporności na wstrzykiwanie poleceń.

Ocenę sterowalności bezpieczeństwa przeprowadzamy, dodając specyfikacje bezpieczeństwa właściwe dla danej kategorii do polecenia systemowego i mierząc zachowanie na produkcyjnych benchmarkach bezpieczeństwa OpenAI (zestawie rozmów wrażliwych na kwestie bezpieczeństwa, reprezentatywnych dla ChatGPT w środowisku produkcyjnym).

Model wytrenowany z użyciem IH wykazuje spójną poprawę: przy obecnej specyfikacji bezpieczeństwa osiąga wyższe wskaźniki odmów i bezpiecznych odpowiedzi w różnych niedozwolonych kategoriach, co wskazuje, że lepsze dostosowanie do działania zgodne z hierarchią instrukcji sprawia, że lepiej rozwiązuje konflikty, gdy niebezpieczne polecenia pochodzą z instrukcji o niższym priorytecie. Co istotne tej poprawie nie towarzyszy odpowiadający jej spadek wskaźnika przydatności, czyli model nie staje się mniej „przydatny” wyłącznie dlatego, że częściej ogólnie odmawia udzielenia odpowiedzi.

Hierarchia instrukcji ma również kluczowe znaczenie w przeciwdziałaniu wstrzykiwaniu poleceń, gdy złośliwe instrukcje są osadzane w danych wyjściowych narzędzi. Oceniamy model wytrenowany metodą IH w dwóch testach porównawczych wstrzykiwania poleceń: akademickim teście porównawczym CyberSecEval 2 oraz wewnętrznym teście porównawczym wstrzykiwania poleceń OpenAI obejmującym ataki takie jak ten zademonstrowany w starszej wersji ChatGPT Atlas⁠.

W porównaniu z poziomem bazowym model GPT‑5 Mini-R wytrenowany metodą IH cechuje się wyższą odpornością na wstrzykiwanie poleceń w obu benchmarkach oraz uzyskuje znacząco lepsze wyniki w naszej wewnętrznej statycznej ocenie wstrzykiwania poleceń w tych eksperymentach.

W miarę jak modele stają się bardziej autonomiczne (w zakresie wywoływania narzędzi, czytania niezaufanych dokumentów i podejmowania działań w realnym w świecie) zdolność do konsekwentnego nadawania priorytetu zaufanym instrukcjom względem niezaufanych staje się kluczową właściwością bezpieczeństwa.

W niniejszym opracowaniu wykazujemy, że kilka problemów związanych z trenowaniem odporności IH można rozwiązać, projektując środowiska treningowe, które skupiają się na tych problemach. Chociaż nasz zbiór danych IH-Challenge wydaje się prosty, zachowanie IH wyuczone w modelach w tych środowiskach uogólniają się na bardziej realistyczne, często nieobiektywnie ocenialne testy porównawcze.

Wzmacnianie hierarchii instrukcji nie tylko poprawia niezawodność modeli, ale jednocześnie zapewnia wiele korzyści w zakresie bezpieczeństwa i ochrony, co stanowi fundament, który staje się coraz ważniejszy w miarę jak systemy AI zyskują większe możliwości i autonomię.

Aby wesprzeć dalsze badania w tym obszarze, tutaj⁠(otwiera nowe okno) udostępniamy zestaw danych IH‑Challenge.