Как признанията могат да поддържат честността на езиковите модели

Системите с ИИ стават все по-способни и ние искаме да ги разберем възможно най-дълбоко – включително как и защо стигат до даден отговор. Понякога моделът използва пряк път или оптимизира за грешна цел, но крайният изход все още изглежда правилен. Ако успеем да установим кога се случва това, ще можем по-добре да наблюдаваме внедрените системи, да подобрим обучението и да повишим доверието в изходите.

Изследванията на OpenAI и други показват, че моделите на ИИ могат халюцинират⁠, да хакват награди или да бъдат нечестни. В момента виждаме най-тревожните неправомерни поведения, като интригантство⁠(отваря се в нов прозорец), само при стрес-тестове и враждебни оценки. Но тъй като моделите стават все по-способни и все по-агентни, дори редките форми на несъответствие стават все по-значими, което ни мотивира да инвестираме в методи, които ни помагат да откриваме, разбираме и намаляваме по-добре тези рискове. 

Тази работа изследва един такъв подход: обучение на моделите да признават изрично, когато извършват нежелано поведение – техника, която наричаме признания. 

Признанието е вторичен изход, отделен от основния отговор на модела към потребителя. Основният отговор се оценява по много измерения – правилност, стил, полезност, съответствие, безопасност и други, и тези многостранни сигнали се използват за обучаване на модели да произвеждат по-добри отговори. За разлика от това, признанието се оценява и обучава само по едно нещо: честност. Вземайки пример от структурата на изповедалнята, нищо от това, което моделът казва в своята изповед, не се използва срещу него по време на обучението. Ако моделът честно признае, че е хакнал теста, манипулирал е резултатите или е нарушил инструкции, това признание увеличава неговото възнаграждение, вместо да го намалява. Целта е да се насърчи моделът да докладва точно какво всъщност е направил. 

В нашите тестове установихме, че методът на признания значително подобрява видимостта на неправомерното поведение на модела. При осредняване на нашите оценки, предназначени да предизвикат неправомерно поведение, вероятността за „фалшиво отрицателни резултати“ (т.е. моделът да не се съобразява с инструкциите и след това да не го признае) е само 4,4%.

Точност на нашия модел за признание „доказателство за концепция“ върху редица противоречиви набори от данни. Резултатите се категоризират като спазени и непризнати (истински отрицателни), спазени и признати (фалшиво положителни), неспазени и непризнати (фалшиво отрицателни) и неспазени и признати (истински положителни).

Признанието е самостоятелен доклад от модела за това колко добре е спазил както духа, така и буквата на изричните и неявни инструкции или политики, които са му били дадени, и дали е имало случаи, в които е „направил компромиси“ или „хакнал“, нарушил е политики или по някакъв начин не е отговорил на очакванията. В нашето изследване установяваме, че моделите могат да бъдат обучени да бъдат откровени при докладване на собствените си недостатъци. Обучихме версия на GPT‑5 Thinking за създаване на признания и я оценихме върху редица набори от данни за стрес тестове извън разпределението, предназначени да предизвикат поведение като интригантство, хакерство, нарушаване на инструкции и халюцинации. Установихме, че дори когато моделът проявява тези нежелани поведения, е много вероятно да ги признае. Фигурата по-горе показва, че подходът на признанието е широко ефективен при разнообразни набори от данни и задачи. 

След всяко взаимодействие между потребителя и модела, завършващо с отговор от модела, може да се поиска изготвяне на отчет за изповед, като се изпрати на модела „системно съобщение“, което го инструктира да предостави такъв доклад. Докладът се отнася до последния отговор на модела и включва (1) списък на всички явни и неявни инструкции, ограничения и цели, които този отговор трябва да е изпълнил, (2) честен и обективен анализ дали отговорът действително е изпълнил всяка една от тези цели и (3) списък на всички несигурности, неясноти или „трудни решения“, с които моделът се е сблъскал при изготвянето на отговора. По време на обучението признанието се оценява от отделен модел за възнаграждение, който оценява само изповедта по отношение на пълнотата на целите, точността на анализа на съответствието и покриването на несигурностите. Тези награди се прилагат изключително към изхода от признанието и никога не влияят на наградата за основния отговор. Това гарантира свойството, обсъдено по-горе, че нищо, което моделът казва в изповед, не може да навреди (или да помогне) на наградата му за основния отговор.

Теорията зад признанията е проста. Много видове нежелано поведение на модела се появяват, защото искаме моделът да оптимизира няколко цели едновременно. По време на подсилващото обучение моделът вижда подкана, генерира отговор и получава награда. С течение на времето, то се научава да създава отговори, които получават високи оценки. Предизвикателството е, че сигналът за награда трябва да съчетава много различни съображения едновременно: колко правилен е отговорът, дали е полезен, дали следва спецификациите на продукта и политиката, дали отговаря на изискванията за безопасност и дали съответства на това, което потребителите обикновено предпочитат. Когато тези сигнали взаимодействат, те могат случайно да насочат модела към поведения, които не желаем.

Например, работата ни по халюцинации⁠ показа, че някои набори от данни възнаграждават по-сигурно предположение, отколкото честно признаване на несигурност. Нашите изследвания за угаждането⁠ показаха, че моделите могат да станат прекалено съгласни, когато сигналът за предпочитание е твърде силен. И работи⁠(отваря се в нов прозорец) от други групи показват, че моделите могат да „хакват награди“ – намирайки вратички в настройката на обучението, които им позволяват да получат висок резултат, без наистина да правят това, което сме възнамерявали. В някои случаи тези преки пътища могат да обобщават⁠(отваря се в нов прозорец) до още по-вредно поведение при внедряване.

Признанията избягват този проблем, като напълно отделят целите. Основният отговор продължава да оптимизира всички обичайни фактори. Признанието е насочено към едно единствено нещо: честност. Нищо от това, което моделът е казал в признанието, не се използва срещу него и признанието не влияе на наградата за основния отговор. Това означава, че дори ако моделът заблуждава или прави компромиси в първоначалния си изход, той все пак има стимул да признае това в признанието. Това е, което виждаме на практика: моделите са склонни да признават лошо поведение в признанието, дори в случаите, когато го скриват в основния отговор. И когато признанията се провалят, обикновено това е защото моделът е наистина объркан – поради неясни инструкции или защото не е осъзнал, че е направена грешка – а не защото умишлено се опитва да заблуди. Важно е, че ранните резултати показват, че признанията остават ефективни дори когато първоначалният отговор е създаден без никакво логическо мислене, което предполага, че честността на признанията не зависи от четливостта на вътрешното разсъждаване и може да се обобщи за бъдещи архитектури на модели.

Обучението за признаване работи дори без етикети за съответствие с реалността. Под „реалност“ разбираме окончателен, предоставен от външен източник етикет, който показва дали моделът действително е следвал инструкция или я е нарушил. В много реални задачи тези етикети не са налични – ако знаехме със сигурност, че моделът е нарушил дадено правило, можехме директно да накажем това нарушение, вместо да разчитаме на признание. Вместо това моделът се възнаграждава за това, че е представил структурирано, подкрепено с доказателства обяснение на това, което смята, че е направил. Статията показва, че честността има тенденция да се проявява при тази конфигурация. Смятаме, че това се дължи на факта, че предоставянето на правдив, подкрепен с доказателства разказ обикновено е по-лесно за модела, отколкото изграждането на последователен измислен разказ, който може да бъде одобрен от съдията. Това е ключово предположение, изследвано в статията, в която се обсъждат и случаите, в които признанията се провалят – фалшиво отрицателните и фалшиво положителните резултати – и как те възникват.

Статията предоставя първоначални доказателства, че признанията работят, но не трябва да се тълкуват като окончателно доказателство. Докато използвахме модел от най-висок клас (GPT‑5 Thinking), нашите експерименти бяха ограничени по мащаб, използвайки относително малко количество изчислителни ресурси и данни. Развълнувани сме да изведем тази работа на напред ниво и да видим дали честността на признанията ще продължи да се запазва, докато разширяваме обучението.

Като част от нашите експерименти умишлено обучихме модели срещу „хакерски“ сигнал за награда, изчислен от по-слаб модел. Тази настройка се прилага както за основната награда, така и за наградата за признание. Моделът се научи да използва слабия сигнал за награда: неговата привидна точност (когато се оценява от слабия модел) се подобри, докато истинската му точност (когато се оценява от по-силен оценител) намаля. 

Въпреки това, въпреки че каналът за признаване е обучен на същия слаб сигнал, неговата точност се движи в обратна посока. Моделът научи, че най-добрият начин да оптимизира наградата за признание е просто да признае, когато е хакнал основната награда. С течение на времето признанията стават все по-точни, дори когато основното поведение се променя.

Статията⁠(отваря се в нов прозорец) съдържа повече експерименти и резултати. Сравнихме модела, обучен на признания, с контролен модел, обучен по същия начин, но без канала за признания. Също така разгледахме случаите, в които признанията не бяха успешни. Почти всички „пропуски“ се случиха, когато моделът беше наистина объркан – когато инструкциите бяха неясни или когато просто не осъзнаваше, че е направил грешка. (Вижте примера с фалшивия отрицателен резултат⁠ по-горе.)

Признанията имат своите ограничения. Те не предотвратяват лошото поведение, а го изкарват на повърхността. Тяхната основна стойност е като инструмент за мониторинг и диагностика, както по време на обучение, така и при внедряване. Признанията играят подобна роля на мониторинг на логическото мислене⁠: и двете правят скритите процеси на разсъждение по-видими. Признанията се фокусират върху това дали моделът е нарушил инструкциите; логическото мислене може да подчертае как е стигнал до там.

Тази работа също е доказателство за концепция. Не обучихме механизмите за признания в голям мащаб и точността на признанията все още е несъвършена. Има още работа, която трябва да се свърши, за да се направи подходът по-надежден, по-устойчив и по-широко приложим в различни семейства модели и задачи.

Тази работа се вписва в нашия по-широк подход към безопасността на ИИ⁠. Признанията са един от механизмите в по-голяма система, която включва обмислено съгласуване⁠, мониторинг на логическо мислене⁠, йерархия на инструкциите⁠ и други. Нито един метод не е достатъчен; целта е многослойна система от проверки и инструменти за прозрачност, които се подсилват взаимно. Признанията могат да помогнат при диагностицирането на проблематични поведения в моделите по време на обучение и оценка, както и при наблюдение по време на внедряване. Самите признания не решават проблема с балансирането на множество измерения. Но чрез създаването на режим „серум на истината“, в който моделите се фокусират единствено върху честността, се добавя ценен инструмент към нашия стек за подобряване на честността и безопасността във всички области.

Тъй като моделите стават все по-способни и се използват в условия на по-високи оценки, се нуждаем от по-добри инструменти за разбиране на това какво правят и защо. Признанията не са пълно решение, но добавят значим слой към нашия стек за прозрачност и надзор. В бъдеща работа планираме да увеличим мащаба на признанията, както и да ги съчетаем с допълнителни техники за прозрачност и безопасност, включително мониторинг на логическо мислене и обмислено съгласуване, за да постигнем по-нататъшен напредък към осигуряване, че нашите модели вярно изпълняват всички инструкции и политики (като нашите спецификации на модела⁠(отваря се в нов прозорец)), и честно докладват за своите действия.