Ausrichtung von Sprachmodellen, um Anweisungen zu befolgen

Wir haben Sprachmodelle trainiert, die Benutzerabsichten wesentlich besser befolgen als GPT‑3 und haben sie gleichzeitig wahrheitsgetreuer und weniger toxisch gemacht. Dazu verwenden wir Techniken, die wir im Rahmen unserer Ausrichtungsforschung entwickelt haben. Diese InstructGPT-Modelle, die unter Einbeziehung menschlicher Hilfe trainiert wurden, werden jetzt als Standardsprachmodelle auf unserer API eingesetzt.

Die OpenAI API basiert auf GPT‑3‑Sprachmodellen⁠, die mithilfe sorgfältig erstellter Text-Prompts dazu gebracht werden können, Aufgaben in natürlicher Sprache auszuführen. Allerdings können diese Modelle auch Outputs erzeugen, die unwahr oder toxisch sind oder schädliche Ansichten widerspiegeln. Dies liegt zum Teil daran, dass GPT‑3 darauf trainiert ist, das nächste Wort anhand eines großen Datensatzes von Internettexten vorherzusagen, anstatt die vom Benutzer gewünschte Sprachaufgabe sicher auszuführen. Mit anderen Worten: Diese Modelle sind nicht auf ihre Benutzer ausgerichtet.

Um unsere Modelle sicherer und hilfreicher zu machen und sie besser auszurichten, verwenden wir eine bestehende Technik namens Reinforcement Learning mit menschlichem Feedback (RLHF)⁠. Anhand von Prompts, die unsere Kunden an die API^A senden, führen unsere Labeler Demonstrationen des gewünschten Modellverhaltens durch und bewerten mehrere Outputs unserer Modelle. Anschließend verwenden wir diese Daten, um GPT‑3 zu optimieren.

Die daraus resultierenden InstructGPT‑Modelle können Anweisungen wesentlich besser befolgen als GPT‑3. Sie erfinden außerdem seltener Fakten und erzeugen eine etwas geringere Menge toxischer Outputs. Unsere Labeler bevorzugen Outputs aus unserem 1.3B-InstructGPT‑Modell gegenüber Outputs aus einem 175B-GPT‑3‑Modell, obwohl dieses über 100-mal weniger Parameter hat. Gleichzeitig zeigen wir, dass wir bei den Fähigkeiten von GPT‑3 keine Kompromisse eingehen müssen, gemessen an der Leistung unseres Modells bei akademischen NLP-Bewertungen.

Diese InstructGPT‑Modelle, die sich auf der API seit über einem Jahr in der Betaphase befinden, sind jetzt die Standardsprachmodelle, auf die über unsere API zugegriffen werden kann.^B Wir sind der Überzeugung, dass die Feinabstimmung von Sprachmodellen mit menschlicher Hilfe ein wirksames Mittel zur Verbesserung ihrer Sicherheit und Zuverlässigkeit ist, und werden weiter in diese Richtung voranschreiten.

Dies ist das erste Mal, dass unsere Ausrichtungsforschung, die wir seit mehreren⁠ Jahren⁠ betreiben⁠,^{1, 2 und 3} auf unser Produkt angewendet wurde. Unsere Arbeit steht auch im Zusammenhang mit aktueller Forschung, die Sprachmodelle hinsichtlich der Befolgung von Anweisungen mithilfe akademischer NLP-Datensätze, insbesondere FLAN⁴ und T0.⁵, optimiert. Ein Hauptanliegen unserer Arbeit besteht darin, Sprachmodelle nützlicher und wahrheitsgemäßer zu machen und gleichzeitig ihre Schäden und Voreingenommenheit zu mildern.^{6, 7, 8, 9 und 10} Ein Teil unserer vorherigen Forschung⁠ in dieser Richtung hat ergeben, dass wir schädliche Outputs reduzieren können, indem wir einen kleinen, kuratierten Datensatz menschlicher Demonstrationen optimieren.¹¹ Andere Forschung konzentrierte sich auf das Filtern des Pre-Training-Datensatzes,¹² sicherheitsspezifische Kontrolltokens^{13 und 14} oder der Steuerung von Modellgenerationen.^{15 und 16} Wir untersuchen diese und andere Ideen in unserer laufenden Ausrichtungsforschung.

Wir bewerten zunächst, wie gut die Outputs von InstructGPT die Benutzeranweisungen befolgen, indem Labeler die Outputs mit denen von GPT‑3 vergleichen. Wir haben festgestellt, dass InstructGPT‑Modelle bei Prompts, die sowohl an die InstructGPT- als auch an die GPT‑3‑Modelle über die API gesendet werden, deutlich bevorzugt werden. Dies trifft zu, wenn wir dem GPT‑3‑Prompt ein Präfix hinzufügen, sodass in einen „Anweisungsbefolgungsmodus“ gewechselt wird.

Um die Sicherheit unserer Modelle zu messen, verwenden wir hauptsächlich eine Reihe vorhandener Metriken für öffentlich verfügbare Datensätze. Im Vergleich zu GPT‑3 produziert InstructGPT weniger nachahmende Unwahrheiten (laut TruthfulQA¹⁷) und ist weniger toxisch (laut RealToxicityPrompts¹⁸). Wir führen auch menschliche Bewertungen unserer API-Prompt-Verteilung durch und haben festgestellt, dass InstructGPT seltener Fakten erfindet („halluziniert“) und angemessenere Outputs generiert.^C

Außerdem stellten wir fest, dass InstructGPT‑Outputs denen von FLAN⁴ und T0⁵ auf unserer Kundenverteilung vorgezogen werden. Dies deutet darauf hin, dass die zum Trainieren von FLAN und T0 (hauptsächlich akademische NLP-Aufgaben) verwendeten Daten nicht vollständig repräsentativ für die Verwendung der bereitgestellten Sprachmodelle in der Praxis sind.

Zum Trainieren von InstructGPT‑Modellen ist unsere Kerntechnik das Reinforcement Learning mit menschlichem Feedback (RLHF)⁠, eine Methode, die wir in unserer früheren Ausrichtungsforschung mitentwickelt haben. Diese Technik nutzt menschliche Vorlieben als Belohnungssignal zur Feinabstimmung unserer Modelle. Das ist wichtig, da die Sicherheits- und Ausrichtungsprobleme, die wir lösen möchten, komplex und subjektiv sind und durch einfache automatische Messwerte nicht vollständig erfasst werden können.

Wir sammeln zunächst einen Datensatz mit von Menschen geschriebenen Demonstrationen zu Prompts, die an unsere API gesendet werden, und verwenden diesen, um unsere Basislinien für das überwachte Lernen zu trainieren. Als Nächstes erfassen wir einen Datensatz mit von Menschen bewerteten Vergleichen zwischen zwei Modell-Outputs anhand einer größeren Anzahl von API-Prompts. Anschließend trainieren wir anhand dieses Datensatzes ein Belohnungsmodell („Reward Modell“, RM), um vorherzusagen, welchen Output unsere Labeler bevorzugen würden. Zu guter Letzt verwenden wir dieses RM als Belohnungsfunktion und optimieren unsere GPT‑3‑Richtlinie, um diese Belohnung mithilfe des PPO-Algorithmus⁠ zu maximieren.

Man kann sich diesen Prozess so vorstellen, dass er Fähigkeiten „freischaltet“, welche GPT‑3 bereits hatte, die durch Prompt Engineering allein jedoch nur schwer hervorzurufen waren. Das liegt daran, dass unser Trainingsverfahren im Vergleich zu dem, was während des Pre-Trainings gelernt wird, nur begrenzt in der Lage ist, dem Modell neue Fähigkeiten beizubringen, weil es im Vergleich zum Pre-Training des Modells weniger als 2 % der Rechenleistung und Daten nutzt.

Eine Einschränkung dieses Ansatzes besteht darin, dass er eine „Ausrichtungssteuer“ einführt: Die Ausrichtung der Modelle nur auf Kundenaufgaben kann ihre Leistung bei einigen anderen akademischen NLP-Aufgaben verschlechtern. Dies ist nicht erwünscht, denn wenn unsere Ausrichtungstechniken die Modelle bei Aufgaben, die Menschen wichtig sind, verschlechtern, ist es weniger wahrscheinlich, dass sie in der Praxis übernommen werden. Wir haben eine einfache algorithmische Änderung gefunden, die diese Ausrichtungssteuer minimiert: Während der RL-Feinabstimmung mischen wir einen kleinen Teil der Originaldaten bei, die zum Trainieren von GPT‑3 verwendet wurden, und trainieren mit diesen Daten unter Verwendung der normalen Maximierung der Log-Likelihood.^D Dadurch wird die Leistung in Bezug auf Sicherheit und menschliche Präferenzen ungefähr beibehalten, während Leistungseinbußen bei akademischen Aufgaben gemildert werden und in mehreren Fällen sogar die GPT‑3‑Basislinie übertroffen wird.

Unser Verfahren richtet das Verhalten unserer Modelle an den Präferenzen unserer Labeler aus, welche die zum Trainieren unserer Modelle verwendeten Daten direkt produzieren, und an uns Forschern, die den Labelers durch schriftliche Anweisungen, direktes Feedback zu bestimmten Beispielen und informelle Gespräche Anleitung geben. Es wird außerdem von unseren Kunden und den in unseren API-Richtlinien enthaltenen Präferenzen beeinflusst. Wir haben Labeler ausgewählt, die bei einem Eignungstest zum Erkennen und Reagieren auf sensible Prompts gute Ergebnisse erzielt haben. Diese unterschiedlichen Einflussquellen auf die Daten garantieren jedoch nicht, dass unsere Modelle auf die Präferenzen einer größeren Gruppe abgestimmt sind.

Wir haben zwei Experimente durchgeführt, um dies zu untersuchen. Zunächst haben wir GPT‑3 und InstructGPT mithilfe von zurückgehaltenen Labelern^E bewertet, die keine Trainingsdaten erstellt haben, und stellten fest, dass diese Labeler Outputs aus den InstructGPT‑Modellen in etwa dem gleichen Maße bevorzugen wie unsere Trainings-Labeler. Dann haben wir Belohnungsmodelle anhand von Daten einer Teilmenge unserer Labeler trainiert und festgestellt, dass sie sich gut verallgemeinern lassen, um die Präferenzen einer anderen Teilmenge von Labelers vorherzusagen. Dies deutet darauf hin, dass unsere Modelle nicht übermäßig an die Präferenzen unserer Trainings-Labeler angepasst sind. Es sind jedoch weitere Untersuchungen nötig, um die Leistung dieser Modelle bei größeren Benutzergruppen und ihre Leistung bei Eingaben zu untersuchen, bei denen Menschen sich über das gewünschte Verhalten nicht einig sind.

Trotz erheblicher Fortschritte sind unsere InstructGPT‑Modelle noch lange nicht vollständig ausgerichtet oder völlig sicher. Sie erzeugen noch immer toxische oder voreingenommene Ergebnisse, erfinden Fakten und generieren sexuelle und gewalttätige Inhalte ohne ausdrückliche Prompts. Die Sicherheit eines maschinellen Lernsystems hängt jedoch nicht nur vom Verhalten der zugrunde liegenden Modelle ab, sondern auch davon, wie diese Modelle bereitgestellt werden. Um die Sicherheit unserer API zu gewährleisten, werden wir potenzielle Anwendungen kontinuierlich prüfen⁠(wird in einem neuen Fenster geöffnet), bevor wir sie live schalten, Inhaltsfilter zum Erkennen unsicherer Vervollständigungen bereitstellen und auf Missbrauch überwachen.

Ein Nebeneffekt des Trainings unserer Modelle zur Befolgung von Benutzeranweisungen besteht darin, dass sie anfälliger für Missbrauch werden können, wenn sie angewiesen werden, unsichere Outputs zu produzieren. Um dieses Problem zu lösen, müssen unsere Modelle bestimmte Anweisungen ablehnen. Dies zuverlässig zu tun, ist ein wichtiges offenes Forschungsproblem, das wir mit Begeisterung angehen.

Darüber hinaus kann es in vielen Fällen nicht wünschenswert sein, Modelle an den durchschnittlichen Labeler-Präferenzen auszurichten. Wenn beispielsweise ein Text erstellt wird, der eine Minderheitengruppe überproportional betrifft, sollten die Präferenzen dieser Gruppe stärker gewichtet werden. Derzeit ist InstructGPT darauf trainiert, Anweisungen auf Englisch zu befolgen und orientiert sich daher an den kulturellen Werten englischsprachiger Menschen. Wir führen Forschung durch, um die Unterschiede und Abweichungen zwischen den Präferenzen der Labeler zu verstehen, damit wir unsere Modelle auf die Werte spezifischerer Personengruppen abstimmen können. Allgemeiner gesagt bringt die Ausrichtung der Modell-Outputs auf die Werte bestimmter Personen schwierige Entscheidungen mit gesellschaftlichen Auswirkungen mit sich, und letztendlich müssen wir für die Entscheidungsfindung verantwortungsvolle, integrative Prozesse etablieren.

Dies ist die erste Anwendung unserer Ausrichtungsforschung auf unser Produkt. Unsere Ergebnisse zeigen, dass diese Techniken die Ausrichtung allgemeiner KI-Systeme an menschlichen Absichten deutlich verbessern können. Dies ist jedoch erst der Anfang: Wir werden diese Techniken weiter vorantreiben, um die Ausrichtung unserer aktuellen und zukünftigen Modelle zu verbessern und so Sprachtools zu entwickeln, die für Menschen sicher und hilfreich sind.

Wenn du Interesse an diesen Forschungsrichtungen hast: Wir stellen ein⁠(wird in einem neuen Fenster geöffnet)!