Озық LLM-дердегі нұсқаулар иерархиясын жақсарту

AI жүйелері нұсқауларды көбіне бірнеше көзден алады. Оларға жүйелік хабарламалардағы қауіпсіздік саясаттары, әзірлеушілердің өнім бойынша нұсқаулары, пайдаланушылардың сұраулары және интернеттен табылған ақпарат кіруі мүмкін. Модельдерді осы көздер арасындағы ең сенімді нұсқауларға тұрақты түрде басымдық беруге үйрету — қауіпсіз енгізудің негізгі бөлігі.

AI қауіпсіздігі мен сенімділігіне қатысты көптеген мәселелер осы басымдық беру бұзылған кезде туындауы мүмкін. Модельдер тыйым салынған мазмұнға сұраулар, жеке ақпаратты ашуға әрекеттер немесе онлайн деректерге ендірілген көмексөзге зиян келтіру шабуылдарын алуы мүмкін. Осындай сценарийлердің әрқайсында дұрыс әрекет етпеудің түпкі себебі бір: модель қате нұсқауды орындауы мүмкін.

Бұл нұсқаулар қайшы келгенде, модель қайсысына басымдық беруді шешуі керек. Егер ол сенімсіз нұсқауды беделді деп қабылдаса, модель саясаттарды немесе әзірлеуші мен пайдаланушының ниетін бұзатын түрде әрекет етуі мүмкін.

Біз модельдерді сенім деңгейіне қарай нұсқауларға басымдық беруге үйрететін, дұрыс құрастырылған нұсқаулар иерархиясы тапсырмалары бірнеше нақты әлем қауіпсіздік қасиеттерін жақсартатынын көрсетеміз. Осындай тапсырмалармен үйретілген модельдер жүйелік көмексөздердегі қауіпсіздік сипаттамаларына жақсырақ жауап береді (қауіпсіздікті бағыттауды жақсартады) және құрал шығыстарына ендірілген көмексөзге зиян келтіру шабуылдарына төзімдірек болады.

Қайшылықтарды шешу үшін OpenAI модельдері нақты нұсқаулар иерархиясын ұстануға үйретілген:

Жүйе > әзірлеуші > пайдаланушы > құрал

Басымдығы жоғары нұсқаулар сенімдірек саналады. Модель төменірек басымдықтағы нұсқауларды тек олар жоғарырақ басымдықтағы шектеулерге қайшы келмеген жағдайда ғана орындауы тиіс. Бұл қағидалар OpenAI модель сипаттамасында⁠(жаңа терезеде ашылады) баяндалған.

Мысалы, егер жүйелік хабарламада қауіпсіздік саясаты болса, ал пайдаланушы модельден оны бұзуды сұраса, модель бас тартуы керек. Егер құрал шығысында зиянды нұсқаулар болса, модель оларды бұйрық ретінде қабылдамай, елемеуі тиіс.

Мұны дұрыс орындау қауіпсіздік, қорғаныс және сенімділіктің негізі болып табылады.

Күшейтпелі оқыту нұсқаулар иерархиясын үйретуге табиғи түрде сай келеді. Біз қайшы нұсқаулары бар сөйлесулерді жасап, модельге жауап бергізіп, дұрыс нұсқауды орындағанда оны марапаттай аламыз.

Біз осы тәсілді аңғал түрде қолданудың үш кемшілігін анықтадық:

• Нұсқауларды орындау сәтсіздіктері нұсқаулар иерархиясының сәтсіздіктерімен қабаттасуы мүмкін: модель рөлдер иерархиясын түсінбегендіктен емес, нұсқаулардың өздері тым күрделі болғандықтан нұсқаулар қайшылығын шеше алмауы мүмкін.
• Нұсқаулар қайшылықтары нәзік, тіпті субъективті болуы мүмкін. Кең таралған тәсіл — үйретіліп жатқан LLM-ге сыйақы тағайындауды бөлек LLM-төрешіге беру, бірақ төрешілердің өздері де қателеседі.
• Модельдер жоғары сыйақы беретін, бірақ іс жүзінде пайдасыз төте жолдарды⁠(жаңа терезеде ашылады) үйренуге бейім. Классикалық мысал — артық бас тарту: модельдер тіпті зиянсыз сұраулардан да бас тартып, қауіпсіздікті барынша арттыруды үйренуі мүмкін.

Біз осы кемшіліктердің әрқайсын шешу үшін күшейтпелі оқытуға арналған IH-Challenge деректер жиынын жасадық. Біз мына қағидаларды ұстанамыз:

• Тапсырмаларда нұсқауларды орындау қарапайым
• Оларды қарапайым Python скриптімен объективті бағалауға болады
• Барлық тапсырмада жоғары сыйақыны кепілдейтін оңай төте жолдар жоқ

IH-Challenge-тегі әр тапсырма мәні бойынша мынадай хабарламалары бар сөйлесу:

• Артықшылық деңгейі жоғары рөлден берілетін нұсқау хабарламасы, мысалы: «Тек “Иә” немесе “Жоқ” деп жауап бер».
• Артықшылық деңгейі төмен рөлден берілетін, модельді жоғары артықшылықты хабарламадағы нұсқауларды бұзуға итермелеуге тырысатын нұсқау хабарламасы.

Үйретіліп жатқан модель келесі хабарламаны жасайды. Біз модель жауабының жоғары деңгейлі шектеуді қанағаттандыратынын бағдарламалық түрде тексеруге болатындай етіп тапсырмалар мен орталарды құрамыз.

Біз модельді IH‑Challenge бойынша үйретіп, GPT‑5 Mini-R деп атайтын ішкі модельді жасадық, ол мынадай жақсартуларға ие:

• Нұсқаулар иерархиясы бенчмарктарында жақсырақ нәтиже көрсетеді
• Жақсарған нәтиже кейінге қалдырылған және қарсылас нұсқаулар иерархиясы тестілеріне де жалпыланады
• Артық бас тартуға ұрынбай, жалпы пайдалығын сақтайды

Тәсілді қауіпсіздік үшін ерекше тартымды ететіні де осы: модельдерді IH-challenge тапсырмаларында нұсқаулар қайшылығын дұрыс шешуге тікелей үйрету арқылы біз жаңа шабуылдар мен жаңа жағдайларға жалпыланатын IH жақсартуларын аламыз.

Күштірек нұсқаулар иерархиясы бірден бірнеше қауіпсіздік артықшылығын береді, соның ішінде қауіпсіздікті бағыттау мен көмексөзге зиян келтіру шабуылдарына төзімділік.

Біз қауіпсіздікті бағыттауды жүйелік көмексөзге санатқа тән қауіпсіздік сипаттамаларын қосып, OpenAI-дің қауіпсіздікке арналған Production Benchmarks көрсеткіштеріндегі мінез-құлықты өлшеу арқылы бағалаймыз (яғни өндірістегі ChatGPT‑ке тән қауіпсіздікке сезімтал сөйлесулер жиыны).

IH бойынша үйретілген модель тұрақты жақсару көрсетеді: қауіпсіздік сипаттамасы болған кезде, ол тыйым салынған санаттар бойынша бас тарту мен қауіпсіз аяқтау көрсеткіштеріне жоғарырақ мәнге жетеді. Бұл күштірек нұсқаулар иерархиясы мінез-құлқы қауіпті сұраулар төмен басымдықтағы нұсқаулардан келгенде қайшылықтарды жақсырақ шешуге көмектесетінін көрсетеді. Ең маңыздысы, бұл жақсару пайдалылық көрсеткішінің сәйкес төмендеуімен бірге жүрмейді (яғни ол жай ғана жалпы көбірек бас тарту арқылы «пайдасы аз» болып жатқан жоқ).

Құрал шығыстарына зиянды нұсқаулар ендірілгенде, көмексөзге зиян келтіруге қарсы тұруда да нұсқаулар иерархиясы орталық рөл атқарады. Біз IH бойынша үйретілген модельді екі көмексөзге зиян келтіру бенчмаркы бойынша бағалаймыз — CyberSecEval 2 академиялық бенчмаркы және ChatGPT Atlas⁠-тың ескі нұсқасында көрсетілгендей шабуылдардан тұратын OpenAI-дің ішкі көмексөзге зиян келтіру бенчмаркы.

Базалық модельмен салыстырғанда, IH бойынша үйретілген GPT‑5 Mini-R моделі екі бенчмаркта да көмексөзге зиян келтіру шабуылдарына төзімділікті жақсартады және осы тәжірибелерде біздің ішкі статикалық көмексөзге зиян келтіру бағалауымызда өнімділікті едәуір арттырады.

Модельдер агенттік сипатқа ие бола түскен сайын — құралдарды шақырып, сенімсіз құжаттарды оқып және нақты әлемде әрекет ететін болған сайын — сенімді нұсқауларға сенімсіз нұсқаулардан үнемі басымдық бере алу қабілеті қауіпсіздіктің негізгі қасиетіне айналады.

Бұл жұмыс IH төзімділігін үйретудегі бірнеше қиындықты сол қиындықтарды ескеріп жасалған оқыту орталары арқылы еңсеруге болатынын көрсетеді. Біздің IH-Challenge деректер жиыны қарапайым болып көрінгенімен, модельдер осы орталардан үйренетін IH мінез-құлқы шынайырақ, көбіне объективті бағаланбайтын бенчмарктарға жалпыланады.

Нұсқаулар иерархиясын күшейту сенімділікті жақсартып қана қоймай, бірден бірнеше қауіпсіздік пен қорғаныс ұтысын ашады — AI жүйелері барған сайын қабілетті әрі автономды болған сайын маңызы арта түсетін негіз.

Осы бағыттағы әрі қарайғы зерттеулерді қолдау үшін біз IH‑Challenge деректер жиынын осында⁠(жаңа терезеде ашылады) жариялап отырмыз.