Разбиране на невронни мрежи чрез разредени вериги

​​Невронните мрежи са в основата на най-способните съвременни системи за ИИ, но те остават трудни за разбиране. Ние не пишем тези модели с ясни инструкции стъпка по стъпка. Вместо това, те се учат, като коригират милиарди вътрешни връзки, или „тежести“, докато усвоят дадена задача. Ние определяме правилата на обучението, но не и конкретните поведения, които възникват, а резултатът е плътна мрежа от връзки, която никой човек не може лесно да дешифрира. 

Тъй като системите с ИИ стават все по-способни и оказват реално въздействие върху решенията в областта на науката, образованието и здравеопазването, разбирането на начина, по който работят, е от съществено значение. Интерпретируемост се отнася до методи, които ни помагат да разберем защо даден модел е дал даден изход. Има много начини, по които бихме могли да постигнем това. 

Например моделите за разсъждение са стимулирани да обясняват работата си по пътя към крайния отговор. Интерпретируемостта на логическото мислене използва тези обяснения, за да наблюдава поведението на модела. Това е незабавно полезно: логическото мислене на настоящите модели за разсъждение изглеждат информативни по отношение на притеснителни поведения като измама. Въпреки това, пълното разчитане на това свойство е крехка стратегия, която може да се разпадне с течение на времето.

От друга страна, механистичната интерпретируемост, която е основният фокус на тази работа, има за цел да направи пълен обратен анализ на изчисленията на модела. Досега не е била толкова непосредствено полезна, но по принцип би могла да предложи по-пълно обяснение на поведението на модела. Чрез стремежа си да обясни поведението на модела на най-подробно ниво, механистичната интерпретируемост може да направи по-малко предположения и да ни даде повече увереност. Но пътят от детайли на ниско ниво до обяснения на комплексни поведения е много по-дълъг и по-труден.

Интерпретируемостта поддържа няколко ключови цели, като например да позволява по-добър надзор и да предоставя ранни предупредителни сигнали за опасно или стратегически несъобразено поведение. Допълва и другите ни усилия за безопасност, като например мащабируемия надзор, обучението на противници и редицата екипи. 

В тази работа показваме, че често можем да обучаваме модели по начини, които ги правят по-лесни за интерпретация. Виждаме нашата работа като обещаващо допълнение към пост-хок анализа на плътни мрежи. 

Това е много амбициозен залог; от нашата работа до пълното разбиране на сложното поведение на най-мощните ни модели има дълъг път. Въпреки това за прости поведения откриваме, че разредените модели, обучени по нашия метод, съдържат малки, разчленени вериги, които са разбираеми и достатъчни за изпълнение на поведението. Това подсказва, че може да има лесен път към обучението на по-големи системи, чиито механизми можем да разберем.

Досегашната работа по механистична интерпретируемост започваше с плътни, заплетени мрежи и се опитваше да ги разплете. В тези мрежи всеки отделен неврон е свързан с хиляди други неврони. Повечето неврони изглежда изпълняват много различни функции, което ги прави на пръв поглед невъзможни за разбиране. 

Но какво би станало, ако обучим разплетени невронни мрежи с много повече неврони, но в които всеки неврон има само няколко десетки връзки? Тогава може би получената мрежа ще бъде по-проста и по-лесна за разбиране. Това е основният изследователски залог на нашата работа.

Имайки предвид този принцип, ние обучихме езикови модели с много подобна архитектура на съществуващите езикови модели като GPT‑2, с една малка модификация: принуждаваме по-голямата част от теглата на модела да бъдат нули. Това ограничава модела да използва само много малко от възможните връзки между невроните си. Това е проста промяна, която според нас значително разединява вътрешните изчисления на модела.

Искаме да измерим степента, в която изчисленията на нашите разредени модели са разединени. Разгледахме различни прости поведения на модела и проверихме дали можем да изолираме частите на модела, отговорни за всяко поведение—които наричаме вериги.

Избрахме ръчно набор от прости алгоритмични задачи. За всяка от тях съкратихме модела до най-малката верига, която все още може да изпълнява задачата, и проверихме колко проста е тази верига. (За подробности вижте нашата статия⁠(отваря се в нов прозорец).) Установихме, че чрез обучение на по-големи и по-разредени модели можем да създаваме все по-способни модели с все по-прости вериги.

За да конкретизираме това, разгледайте задача, при която модел, обучен на код в Python, трябва да попълни низ с правилния тип кавички. В Python ‘hello’ трябва да завършва с единична кавичка, а “hello” – с двойна кавичка. Моделът може да реши този проблем, като запомни кой тип кавички е отворил низа и го възпроизведе в края.

Нашите най-интерпретируеми модели изглежда съдържат разплетени вериги, които прилагат точно този алгоритъм.

В нашата дефиниция точните връзки, показани по-горе, са достатъчни за изпълнение на задачата – ако премахнем останалата част от модела, тази малка верига все още работи. Те са и необходими – изтриването на тези няколко ръба води до провал на модела.

Също така разгледахме някои по-сложни поведения. По-трудно е да се обяснят напълно нашите вериги за тези поведения (например променливото свързване, показано по-долу). Дори и тогава можем да постигнем сравнително прости частични обяснения, които предсказват поведението на модела.

Тази работа е начална стъпка към една по-голяма цел: да се улесни разбирането на изчисленията на моделите. Но все още има дълъг път напред. Нашите разредени модели са много по-малки от авангардните модели и голяма част от изчисленията им остават неинтерпретирани. 

След това се надяваме да разширим обхвата на нашите техники до по-големи модели и да обясним повече от поведението на моделите. Чрез изброяване на мотивите на веригите, които лежат в основата на по-сложните разсъждения в способни разредени модели, бихме могли да развием разбиране, което да ни помогне по-добре да насочим изследванията си към авангардните модели.

За да преодолеем неефективността на обучението на разредени модели, виждаме два пътя напред. Една от тях е да се извлекат разредени вериги от съществуващи плътни модели, вместо да се обучават разредени модели от нулата. Плътните модели са по същество по-ефективни за внедряване от разредените модели. Другият път е да се разработят по-ефективни техники за обучение на модели за интерпретируемост, които може да са по-лесни за внедряване в производство.

Обърнете внимание, че нашите открития тук не гарантират, че този подход ще се приложи към по-способни системи, но тези ранни резултати са обещаващи. Нашата цел е постепенно да разширим обхвата на моделите, които можем да интерпретираме надеждно, и да създадем инструменти, които да улеснят анализа, отстраняването на грешки и оценката на бъдещите системи.