Neuronale Netzwerke durch dünn besetzte Schaltkreise verstehen

​​Neuronale Netzwerke sind die treibende Kraft hinter den leistungsfähigsten KI-Systemen von heute, aber sie sind schwer nachzuvollziehen. Wir erstellen diese Modelle nicht mit expliziten Schritt-für-Schritt-Anleitungen. Stattdessen lernen sie, indem sie Milliarden interner Verbindungen oder „Gewichte“ anpassen, bis sie eine Aufgabe meistern. Wir entwerfen die Trainingsregeln, nicht aber die spezifischen Verhaltensweisen, die dabei entstehen. Das Ergebnis ist ein dichtes Netz von Verbindungen, das für Menschen kaum zu entschlüsseln ist. 

Da KI-Systeme immer leistungsfähiger werden und reale Auswirkungen auf Entscheidungen in Wissenschaft, Bildung und Gesundheitswesen haben, ist es unerlässlich, ihre Funktionsweise zu verstehen. Interpretierbarkeit bezieht sich auf Methoden, die uns dabei helfen zu verstehen, warum ein Modell einen bestimmten Output erzeugt hat. Es gibt viele Möglichkeiten, dies zu erreichen. 

Schlussfolgernde Modelle werden beispielsweise dazu ermutigt, ihre Arbeit bei der Suche nach einer endgültigen Antwort zu erläutern. Die Interpretierbarkeit des Denkvorgangs nutzt diese Erklärungen, um das Verhalten des Modells zu überwachen. Daraus ergibt sich sofort ein Nutzen: Die Gedankengänge aktueller schlussfolgernder Modelle scheinen in Bezug auf besorgniserregende Verhaltensweisen wie Täuschung aufschlussreich zu sein. Sich jedoch vollständig auf diese Eigenschaft zu verlassen, ist eine riskante Strategie, die mit der Zeit scheiter kann.

Andererseits zielt die mechanistische Interpretierbarkeit, die im Mittelpunkt dieser Arbeit steht, darauf ab, die Berechnungen eines Modells vollständig nachvollziehen zu können. Bisher war dies weniger unmittelbar nützlich, könnte aber grundsätzlich eine umfassendere Erklärung für das Verhalten des Modells bieten. Wenn wir versuchen, das Modellverhalten auf der granularsten Ebene zu erklären, können wir mit weniger Annahmen auskommen und erhalten mehr Sicherheit. Der Weg von den Details auf niedriger Ebene zu Erklärungen komplexer Verhaltensweisen ist jedoch viel länger und schwieriger.

Die Interpretierbarkeit unterstützt mehrere wichtige Ziele: Zum einen ermöglicht sie eine bessere Übersicht, zum anderen liefert sie Frühwarnzeichen für unsichere oder strategisch ungünstige Verhaltensweisen. Zudem ergänzt sie unsere anderen Sicherheitsmaßnahmen wie die skalierbare Aufsicht, das Adversarial-Training und das Red-Teaming. 

In dieser Arbeit zeigen wir, dass sich Modelle häufig so trainieren lassen, dass sie leichter interpretierbar sind. Wir betrachten unsere Arbeit als eine vielversprechende Ergänzung zur nachträglichen Analyse dichter Netzwerke. 

Das ist ein ambitioniertes Unterfangen, denn es liegt noch ein langer Weg vor uns, bis wir die komplexen Verhaltensweisen unserer leistungsfähigsten Modelle vollständig verstehen. Dennoch stellen wir bei einfachen Verhaltensweisen fest, dass die mit unserer Methode trainierten, dünn besetzten Modelle nur kleine, überschaubare Schaltkreise enthalten. Diese reichen aus, um das Verhalten auszuführen. Dies deutet darauf hin, dass es möglich sein könnte, auch größere Systeme zu trainieren, deren Mechanismen wir verstehen können.

Frühere Arbeiten zur mechanistischen Interpretierbarkeit haben bei dichten, verworrenen Netzwerken begonnen und versucht, sie zu entwirren. In diesen Netzwerken ist jedes einzelne Neuron mit Tausenden anderer Neuronen verbunden. Die meisten Neuronen scheinen viele verschiedene Funktionen zu erfüllen, was es scheinbar unmöglich macht, sie zu verstehen. 

Doch was wäre, wenn wir entwirrte neuronale Netzwerke mit viel mehr Neuronen trainieren würden, bei denen jedes Neuron nur einige Dutzend Verbindungen hätte? Dann wäre das resultierende Netzwerk vielleicht einfacher und leichter zu verstehen. Dies ist die zentrale Forschungsfrage unserer Arbeit.

Unter Berücksichtigung dieses Prinzips haben wir Sprachmodelle mit einer Architektur trainiert, die der von bestehenden Sprachmodellen wie GPT‑2 sehr ähnlich ist – mit einer kleinen Änderung: Wir stellen sicher, dass die überwiegende Mehrheit der Gewichte des Modells den Wert Null hat. Dadurch ist das Modell nur in der Lage, sehr wenige der möglichen Verbindungen zwischen seinen Neuronen zu nutzen. Diese einfache Änderung entwirrt unserer Meinung nach die internen Berechnungen des Modells erheblich.

Wir möchten ermitteln, inwieweit die Berechnungen unserer dünn besetzten Modelle entwirrt sind. Wir haben verschiedene einfache Verhaltensweisen des Modells betrachtet und überprüft, ob wir die dafür verantwortlichen Teile des Modells – wir nennen sie Schaltkreise – isolieren können.

Wir haben eine Sammlung einfacher algorithmischer Aufgaben von Hand zusammengestellt. Dabei haben wir für jede Aufgabe das Modell auf den kleinsten Schaltkreis reduziert, der die Aufgabe noch ausführen kann, und untersucht, wie einfach dieser Schaltkreis ist. (Weitere Informationen dazu findest du in diesem Artikel⁠(wird in einem neuen Fenster geöffnet).) Wir stellten fest, dass wir durch das Trainieren größerer und dünn besetzter Modelle immer leistungsfähigere Modelle mit immer einfacheren Schaltkreisen erstellen konnten.

Um das Ganze zu veranschaulichen, kann man sich folgende Aufgabe vorstellen: Ein auf Python-Code trainiertes Modell muss eine Zeichenkette mit der richtigen Art von Anführungszeichen vervollständigen. In Python muss ‚hallo‘ mit einem einfachen Anführungszeichen enden, und „hallo“ muss mit einem doppelten. Das Modell kann dieses Problem lösen, indem es sich merkt, welcher Anführungszeichen-Typ die Zeichenkette eröffnet hat, und diesen am Ende wiedergibt.

Unsere am besten interpretierbaren Modelle scheinen entkoppelte Schaltkreise zu enthalten, die genau diesen Algorithmus umsetzen.

In unserer Definition genügen die oben gezeigten exakten Verbindungen, um die Aufgabe zu erfüllen. Wenn wir den Rest des Modells entfernen, funktioniert dieser kleine Schaltkreis weiterhin. Sie sind auch notwendig, denn das Löschen dieser wenigen Verbindungen führt zum Scheitern des Modells.

Wir haben uns auch einige komplexere Verhaltensweisen angesehen. Die Schaltkreise für diese Verhaltensweisen (wie die unten gezeigte Variablenbindung) sind nur schwer vollständig zu erklären. Trotzdem können wir relativ einfache Teilerklärungen erzielen, die das Verhalten des Modells vorhersagen.

Diese Arbeit ist ein erster Schritt in Richtung eines größeren Ziels: Modellberechnungen leichter verständlich zu machen. Doch der Weg dorthin ist noch lang. Unsere dünn besetzten Modelle sind viel kleiner als die Frontier-Modelle, und große Teile ihrer Berechnungen sind weiterhin nicht interpretierbar. 

Wir hoffen, unsere Techniken in Zukunft auf größere Modelle skalieren zu können und damit ein größeres Spektrum des Modellverhaltens erklären zu können. Durch die Aufzählung von Schaltkreismotiven, die dem komplexeren Denken in leistungsstarken, dünn besetzten Modellen zugrunde liegen, könnten wir ein Verständnis entwickeln, das uns dabei hilft, Untersuchungen von Frontier-Modellen gezielter durchzuführen.

Um die Ineffizienz beim Training dünn besetzter Modelle zu überwinden, sehen wir zwei Möglichkeiten. Eine Möglichkeit besteht darin, dünn besetzte Schaltkreise aus vorhandenen dichten Modellen zu extrahieren, anstatt spärliche Modelle von Grund auf neu zu trainieren. Grundsätzlich sind dichte Modelle effizienter bereitzustellen als spärliche Modelle. Eine andere Möglichkeit besteht darin, effizientere Techniken zu entwickeln, um Modelle für die Interpretierbarkeit zu trainieren, die möglicherweise leichter in die Produktion überführt werden können.

Unsere Erkenntnisse sind keine Garantie dafür, dass sich dieser Ansatz auf leistungsfähigere Systeme übertragen lässt. Diese ersten Ergebnisse sind jedoch vielversprechend. Unser Ziel ist es, den Umfang von Modellen, die wir zuverlässig interpretieren können, schrittweise zu erweitern und Werkzeuge zu entwickeln, mit denen sich zukünftige Systeme leichter analysieren, debuggen und bewerten lassen.