Forståelse af neurale netværk gennem sparsomme kredsløb

​​Neurale netværk driver nutidens mest avancerede AI-systemer, men de er stadig svære at forstå. Vi udvikler ikke disse modeller med udtrykkelige, trinvise instruktioner. I stedet lærer de ved at justere milliarder af interne forbindelser eller "vægte", indtil de mestrer en opgave. Vi designer reglerne for træning, men ikke de specifikke adfærdsmønstre, der opstår, og resultatet er et tæt netværk af forbindelser, som det ikke er lette for mennesker at forstå. 

Efterhånden som AI-systemer bliver mere avancerede og har reel indflydelse på beslutninger inden for videnskab, uddannelse og sundhedsvæsenet, er det afgørende at forstå, hvordan de fungerer. Fortolkningsevne refererer til metoder, der hjælper os med at forstå, hvorfor en model producerede et givet output. Der er mange måder, vi kan opnå dette på. 

For eksempel er ræsonneringsmodeller motiveret til at forklare deres arbejde på vej til et endeligt svar. Fortolkningsevnen i tankekæden udnytter disse forklaringer til at overvåge modellens adfærd. Dette er straks nyttigt: De nuværende ræsonneringsmodellers tankekæder ser ud til at være informative med hensyn til bekymrende adfærd, som f.eks. bedrag. At stole fuldt ud på denne egenskab er dog en skrøbelig strategi, og kan bryde sammen over tid.

På den anden side søger mekanistisk fortolkningsevne, som er fokus for dette arbejde, at fuldstændigt reverse engineere en models beregninger. Det har indtil videre været mindre umiddelbart nyttigt, men kan i princippet give en mere fuldstændig forklaring på modellens adfærd. Ved at forsøge at forklare modeladfærd på det mest detaljerede niveau kan mekanistisk fortolkningsevne lave færre antagelser og give større tillid. Men vejen fra detaljer på lavt niveau til forklaringer på komplekse adfærdsmønstre er meget længere og mere udfordrende.

Fortolkningsevne er en understøttelse af flere vigtige mål, f.eks. at muliggøre bedre overvågning og give tidlige advarselssignaler om usikker eller strategisk forkert adfærd. Det supplerer også vores andre sikkerhedsindsatser, såsom skalerbart tilsyn, modstandertræning og red-teaming. 

I dette arbejde viser vi, at vi ofte kan træne modeller på måder, der gør dem lettere at fortolke. Vi ser vores arbejde som et lovende supplement til post-hoc-analyse af tætte netværk. 

Dette er en meget ambitiøs satsning. Der er en lang vej fra vores arbejde til fuldt ud at kunne forstå de komplekse adfærdsmønstre i vores mest kraftfulde modeller. Alligevel finder vi, at for simpel adfærd indeholder sparsomme modeller, der er trænet med vores metode, små, adskilte kredsløb, som både er forståelige og tilstrækkelige til at udføre adfærden. Dette tyder på, at der kan være en farbar vej til træning af større systemer, hvis mekanismer vi kan forstå.

Tidligere mekanistisk fortolkningsarbejde har taget udgangspunkt i tætte, sammenfiltrede netværk og forsøgt at udrede dem. I disse netværk er hver enkelt neuron forbundet med tusindvis af andre neuroner. De fleste neuroner ser ud til at udføre mange forskellige funktioner, hvilket gør det tilsyneladende umuligt at forstå. 

Men hvad nu hvis vi trænede ufiltrede neurale netværk med mange flere neuroner, men hvor hver neuron kun har et par dusin forbindelser? Så vil det resulterende netværk måske være enklere og lettere at forstå. Dette er det centrale punkt i vores forskningsarbejde.

Med dette princip i tankerne trænede vi sprogmodeller med en arkitektur, der minder meget om eksisterende sprogmodeller såsom GPT‑2, med en lille ændring: vi tvinger langt størstedelen af modellens vægte til at være nuller. Dette begrænsede modellen til kun at bruge meget få af de mulige forbindelser mellem dens neuroner. Dette er en enkel ændring, som vi hævder i væsentlig grad adskiller modellens interne beregninger.

Vi ønsker at måle, i hvor stor grad vores sparsomme modellers beregninger er adskilte. Vi overvejede forskellige simple modeladfærdsmønstre og undersøgte, om vi kunne isolere de dele af modellen, der var ansvarlige for hver adfærd, hvilket vi kalder for kredsløb.

Vi håndplukkede en række simple algoritmiske opgaver. For hver af dem har vi skåret modellen ned til det mindste kredsløb, der stadig kan udføre opgaven, og undersøgt, hvor enkelt det kredsløb er. (Se vores artikel⁠(åbner i et nyt vindue) for nærmere oplysninger.) Vi fandt ud af, at ved at træne større og mere sparsomme modeller kunne vi producere stadig bedre modeller med stadigt mere simple kredsløb.

Forestil dig f.eks. en opgave, hvor en model, der er trænet på Python-kode, skal fuldføre en streng med den korrekte type anførselstegn. I Python skal 'hej' slutte med en enkelt anførselstegn, og "hej" skal slutte med dobbelt anførselstegn. Modellen kan løse dette ved at huske, hvilken citattype der åbnede strengen, og gengive den i slutningen.

Vores modeller med den bedste fortolkningsevne ser ud til at indeholde adskilte kredsløb, som implementerer præcis denne algoritme.

I vores definition er netop de forbindelser, der er vist ovenfor, tilstrækkelige til at udføre opgaven. Hvis vi fjerner resten af modellen, fungerer dette lille kredsløb stadig. De er også nødvendige. Sletning af disse få ændringer får modellen til at fejle.

Vi har også set på nogle mere komplicerede adfærdsmønstre. Vores kredsløb for disse adfærdsmønstre (f.eks. variabel binding vist nedenfor) er sværere at forklare fuldstændigt. Selv da kan vi stadig opnå relativt enkle delvise forklaringer, der kan forudsige modellens adfærd.

Dette arbejde er et tidligt skridt mod et større mål: at gøre modelberegninger lettere at forstå. Men der er stadig lang vej endnu. Vores sparsomme modeller er meget mindre end frontier-modeller, og store dele af deres beregninger forbliver ufortolkede. 

Fremover håber vi at kunne skalere vores teknikker til større modeller og forklare mere af modellernes adfærd. Ved at opregne de kredsløbsmotiver, der ligger til grund for mere avanceret tænkning i dygtige sparse modeller, kunne vi udvikle en forståelse, der hjælper os med bedre at målrette undersøgelser af frontiermodeller.

For at overvinde ineffektiviteten ved træning af sparsomme modeller ser vi to muligheder fremad. En mulighed er at lave udsnit af sparsomme kredsløb fra eksisterende tætte modeller i stedet for at træne sparsomme modeller fra bunden. Tætte modeller er fundamentalt mere effektive at implementere end sparse modeller. Den anden mulighed er at udvikle mere effektive teknikker til at træne modeller for fortolkning, hvilket kan være lettere at sætte i produktion.

Bemærk, at vores resultater her ikke er nogen garanti for, at denne tilgang vil kunne anvendes på mere avancerede systemer, men disse tidlige resultater er lovende. Vores mål er gradvist at udvide, hvor meget af en model vi pålideligt kan fortolke, og at udvikle værktøjer, der gør fremtidige systemer lettere at analysere, fejlsøge og evaluere.