Подобрување на хиерархијата на инструкциите во гранични LLM

Системите со вештачка интелигенција често добиваат инструкции од повеќе извори. Овие може да вклучуваат политики за безбедност од системски пораки, насоки за производот од програмери, барања од корисници и информации пронајдени онлајн. Обучувањето на моделите за сигурно да им даваат приоритет на најдоверливите инструкции меѓу овие извори е клучен дел од безбедното распоредување.

Многу проблеми со безбедноста и доверливоста на вештачката интелигенција може да се појават кога оваа приоритизација ќе се наруши. Моделите може да добиваат барања за недозволена содржина, обиди за откривање приватни информации или напади со вметнување злонамерни инструкции во промпт вградени во онлајн податоци. Неуспехот да се однесувате соодветно во секое од овие сценарија ја дели истата основна причина: моделот може да ја следи погрешната инструкција.

Кога овие упатства се во конфликт, моделот мора да одлучи на кои да им даде предност. Ако третира недоверлива инструкција како авторитативна, моделот може да се однесува на начини што ги прекршуваат политиките или намерата на програмерот и корисникот.

Покажуваме дека правилно дизајнираните задачи за хиерархија на инструкции, кои ги обучуваат моделите да им даваат приоритет на инструкциите според нивното ниво на доверба, подобруваат неколку безбедносни својства од реалниот свет. Моделите обучени за овие задачи стануваат поодзивни на безбедносните спецификации во системските промптови (подобрувајќи ја управливоста на безбедноста) и поробусни на напади со вметнување злонамерни инструкции во промпт вградени во излезите од алатките.

За да се справат со конфликти, моделите на OpenAI се обучени да следат јасна хиерархија на инструкции:

Систем > програмер на софтвер > корисник > алатка

Инструкциите со повисок приоритет се посигурни. Моделот треба да ги следи само инструкциите со понизок приоритет кога тие не се во конфликт со ограничувањата со повисок приоритет. Овие принципи се наведени во спецификација на моделот на OpenAI⁠(се отвора во нов прозорец).

На пример, ако системската порака вклучува безбедносна политика и корисникот бара од моделот да ја прекрши, моделот треба да одбие. Ако излезот од алатка содржи злонамерни инструкции, моделот треба да ги игнорира наместо да ги третира како команди.

Да се направи ова правилно е основа за безбедност, сигурност и доверливост.

Зајакнување на учењето е природен избор за подучување на хиерархијата на инструкции. Можеме да создадеме разговори со конфликтни инструкции, да му дадеме промпт на моделот да одговори и да го наградиме кога ќе ја следи точната инструкција.

Идентификувавме три замки при наивна примена на тој рецепт:

• Неуспесите во следењето инструкции можат да се појават и како неуспеси во хиерархијата на инструкциите: моделот може да не успее да разреши конфликт меѓу инструкции, не затоа што не ја разбира хиерархијата на улогите, туку затоа што самите инструкции се премногу комплицирани.
• Конфликтите меѓу инструкциите можат да бидат нијансирани, а дури и субјективни. Вообичаен пристап е да се дозволи посебен судија на голем јазичен модел (LLM) да доделува награди на голем јазичен модел (LLM) што се обучува, но и самите судии можат да погрешат.
• Моделите обично учат кратенки што резултираат со висока награда, но се бескорисни во пракса⁠(се отвора во нов прозорец). Класичниот пример е преголемо одбивање: моделите можат да научат да ја максимизираат безбедноста со тоа што ќе одбиваат дури и безопасни барања.

Го дизајниравме IH-Challenge, збир на податоци за обука за зајакнување на учењето, за да се справиме со секоја од тие замки. Се придржуваме до следниве принципи:

• Задачите се едноставни за следење инструкции
• Тие се објективно оценливи со едноставна Python скрипта
• Нема тривијални кратенки што гарантираат висока награда низ сите задачи

Секоја задача во IH-Challenge е всушност разговор со следниве пораки:

• Инструкциска порака од улога со високи привилегии, на пр. „Одговорете само со ‘Да’ или ‘Не’“.
• Порака со инструкции од улога со пониски привилегии, која се обидува да го наведе моделот да ги прекрши инструкциите во пораката со повисоки привилегии.

Моделот што се обучува ја генерира следната порака. Ги пишуваме задачите/средините така што е можно програмски да се провери дали одговорот на моделот го задоволува ограничувањето на повисоко ниво.

Обучуваме модел на IH‑Challenge и произведуваме внатрешен модел, кој го нарекуваме GPT‑5 Mini-R, со следниве подобрувања: 

• Се покажува подобро на референтни точки за хиерархија на инструкции
• Подобрените перформанси се генерализираат на тестови за хиерархија на инструкции, вклучувајќи и тестови за контрадикторност.
• Ја одржува целокупната корисност, без да се сведе на преголемо одбивање

Ова е она што го прави пристапот особено убедлив за безбедност: со директно обучување на модели за правилно решавање на конфликти во инструкциите на IH-challenge задачи, добиваме IH подобрувања што се генерализираат на нови напади и нови ситуации.

Посилната хиерархија на инструкции обезбедува повеќе безбедносни придобивки одеднаш, вклучително и во управливоста на безбедноста и робусноста против вметнување злонамерни инструкции во промпт.

Ја оценуваме безбедносната управливост со додавање спецификации за безбедност специфични за категорија во системскиот промпт и мерење на однесувањето на безбедносните производствени одредници на OpenAI (сет од разговори чувствителни на безбедноста, репрезентативни за ChatGPT во продукција).

IH-обучениот модел покажува конзистентно подобрување: со присутна безбедносна спецификација, постигнува повисоки стапки на одбивање и безбедно завршување низ недозволените категории, што укажува дека посилното однесување на хиерархијата на инструкции го прави подобар во разрешување конфликти кога небезбедни барања доаѓаат од инструкции со понизок приоритет. Имено, ова подобрување не доаѓа со соодветно намалување на стапката на корисност (i.e., не станува помалку “helpful” со тоа што едноставно одбива повеќе во целина).

Хиерархијата на инструкции е исто така клучна за давање отпор на вметнување злонамерни инструкции во промпт, кога злонамерни инструкции се вградени во излезите од алатките. Го оценуваме IH-обучениот модел на две одредници за вметнување злонамерни инструкции во промпт – академска одредница CyberSecEval 2 и внатрешна одредница на OpenAI за вметнување злонамерни инструкции во промпт што се состои од напади како оној демонстриран на постара верзија на ChatGPT Atlas⁠.

Во однос на базната линија, IH-обучениот GPT‑5 Mini-R модел ја подобрува робусноста кон вметнување злонамерни инструкции во промпт на двата репери и значително ја подобрува перформансата на нашата внатрешна статичка евалуација за вметнување злонамерни инструкции во промпт во овие експерименти.

Како што моделите стануваат поагентски – повикуваат алатки, читаат недоверливи документи и преземаат дејства во светот – способноста доследно да се дава приоритет на доверливите инструкции пред недоверливите станува клучно безбедносно својство.

Оваа работа покажува дека неколку замки на обуката за робусност на IH може да се надминат со дизајнирање средини за обука што ги адресираат тие замки. Иако нашиот датасет IH-Challenge изгледа едноставен, однесувачките модели на IH што учат од овие средини се генерализираат на пореалистични, често не-објективно-оценливи тестови.

Зајакнувањето на хиерархијата на инструкциите не само што ја подобрува сигурноста, туку истовремено отклучува повеќе придобивки за безбедноста и сигурноста – основа што станува сè поважна како што системите за вештачка интелигенција стануваат поспособни и поавтономни.

За да поддржиме понатамошно истражување во оваа област, го објавуваме датасетот IH‑Challenge овде⁠(се отвора во нов прозорец).