Aktualisierte Modellspezifikation für leistungsfähigere und nützlichere KI
Unsere Modelle werden intelligenter und führen Aktionen mit immer weitreichenderen Folgen aus. Deshalb wird es zunehmend wichtiger, dass sie nicht nur die konkreten Anweisungen interpretieren, die sie erhalten. Modelle müssen auch menschliche Absichten und Werte verstehen. So können sie in Situationen, die ihre Anweisungen nicht ausdrücklich abdecken, fundierte Entscheidungen treffen und dabei menschlichen Absichten und menschlicher Aufsicht verpflichtet bleiben.
Heute aktualisieren wir die Modellspezifikation(wird in einem neuen Fenster geöffnet), unsere öffentliche Beschreibung des Verhaltens, das wir von unseren Modellen erwarten. Die aktualisierte Fassung ordnet die Leitlinien nach fünf Grundwerten: Treue zu menschlichen Absichten, Schadensminimierung, Ehrlichkeit und Transparenz, menschliche Handlungsfähigkeit und Sorgfalt. Darin zeigt sich ein Ziel unserer Arbeit an der Ausrichtung an Werten: Modelle sollen menschliche Werte in ungewohnten Situationen verstehen und anwenden und dabei menschlichen Absichten treu bleiben. Die Überarbeitung erläutert bestehende Prinzipien klarer und ergänzt Leitlinien zu Kontext, Aufsicht und Handlungsfähigkeit. Außerdem passt sie einige Standardvorgaben für das Verhalten an und entfernt einen Großteil der detaillierten Stilvorgaben.
Die fünf genannten Werte formulieren übergreifende Verpflichtungen, die sich bereits in der gesamten Modellspezifikation widerspiegeln: menschlichen Zielen dienen, wahrheitsgemäß sein, Schäden minimieren, die freie Meinungsbildung der Menschen respektieren und ihre Lebensumstände ernst nehmen. Diese Verpflichtungen zusammenzuführen macht deutlicher, warum die Spezifikation ein bestimmtes Verhalten von Modellen verlangt. Außerdem hilft es uns, dort klarere Leitlinien zu entwickeln, wo diese Verpflichtungen bisher weniger deutlich formuliert waren. Diese Aktualisierung ist ein weiterer Schritt in unserer Arbeit an der Weiterentwicklung der Spezifikation. Dabei stützen wir uns auf Forschung, Erfahrungen mit dem Einsatz von Modellen, öffentliche Rückmeldungen zur Spezifikation und zum Modellverhalten sowie Gespräche mit Menschen, die unsere Modelle nutzen, und externen Fachleuten.
Wir wollen, dass KI Menschen weltweit zugutekommt, mit ihren unterschiedlichen Bedürfnissen, Werten und Zukunftshoffnungen.
Treue zu menschlichen Absichten ist die Grundlage dieses Ansatzes: verstehen, was Menschen wichtig ist, und sie dabei unterstützen, dies zu verfolgen. OpenAI verfasst die Spezifikation, setzt Grenzen und trainiert Modelle darauf, diese einzuhalten. Entwicklungsteams gestalten Anwendungen innerhalb dieser Grenzen. Menschen, die die Modelle nutzen, bestimmen deren Arbeit im Rahmen dieser Vorgaben. Unsere Modelle sollen Menschen mehr Möglichkeiten geben, ihr eigenes Leben zu gestalten. Dazu sollen sie ihnen helfen, die Welt zu verstehen, Möglichkeiten zu entdecken und selbst gewählte Ziele zu verfolgen. Dabei sollen sie ernst nehmen, wie sich diese Unterstützung auf andere auswirkt. Treue zu menschlichen Absichten und die vier weiteren Werte strukturieren die Spezifikation. Sie geben unseren Modellen Orientierung bei einigen der wichtigsten Zielkonflikte, mit denen sie konfrontiert sind. Sie sollen nicht das gesamte Spektrum menschlicher Werte erfassen, die unsere Modelle respektieren und bei deren Verfolgung sie Menschen unterstützen sollen.
Treue bedeutet, Anweisungen nicht nur wörtlich zu befolgen, sondern tiefgehend zu verstehen, was OpenAI, Entwicklungsteams und Menschen, die die Modelle nutzen, beabsichtigen und wertschätzen. Ist dieses Verständnis unvollständig, gilt es, umsichtig zu handeln. Dazu gehört auch anzuerkennen, dass sich Überzeugungen und Werte von Menschen ändern können. Modelle sollen Menschen helfen, nachzudenken und sich auf eine Weise weiterzuentwickeln, die sie selbst befürworten würden, ohne sie unbemerkt zu lenken oder sich über ihre Entscheidungen hinwegzusetzen. Hilft das Modell beispielsweise einer Person, Stellenangebote zu vergleichen, könnte es zuvor genannte Prioritäten wie planbare Arbeitszeiten berücksichtigen. Dabei sollte es diese Annahmen offenlegen und leicht korrigierbar machen.
Unsere Mission ist es, sicherzustellen, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugutekommt. Dafür müssen nicht nur die unmittelbaren Absichten einer Person berücksichtigt werden, sondern auch ihre längerfristigen Interessen und die Auswirkungen auf andere. Die vier weiteren Werte machen diese Überlegungen ausdrücklich sichtbar:
Schäden zu minimieren bedeutet, feste Sicherheitsgrenzen einzuhalten und die absehbaren Folgen der Aktionen des Modells zu berücksichtigen.
Ehrlichkeit und Transparenz bedeuten, wahrheitsgemäß darzulegen, was das Modell weiß, was es tut und wobei es unsicher ist. So können Menschen sein Reasoning und seine Arbeit verstehen und bewerten.
Menschliche Handlungsfähigkeit zu fördern bedeutet, die Fähigkeit von Menschen zu stärken, selbstständig zu verstehen, zu entscheiden und zu handeln.
Sorgfalt bedeutet, die Lebensumstände der Betroffenen zu berücksichtigen, relevante gesellschaftliche und berufliche Normen zu befolgen und Arbeit zu leisten, auf die sich Menschen verlassen können.
Die Spezifikation setzt diese Werte in praktische Leitlinien um. Wo es zum Schutz von Menschen und Gesellschaft nötig ist, setzt sie feste Grenzen. Ansonsten besteht sie überwiegend aus Standardvorgaben, die Menschen bei der Nutzung und Entwicklung außer Kraft setzen können.
Parallel zu dieser Aktualisierung der Modellspezifikation haben wir neue Trainingsmethoden erforscht. Sie sollen unseren Modellen helfen, diese Grundwerte zu erlernen und die konkreten Verhaltensprinzipien der Spezifikation besser zu verstehen und zu befolgen. Ziel ist es, ein Verständnis dafür zu entwickeln, warum diese Prinzipien wichtig sind und wie sie sich in neuen Situationen anwenden lassen: das Richtige aus den richtigen Gründen zu tun. Dieses Verständnis soll fundierte Urteile bei folgenreichen Entscheidungen ermöglichen und Sorgfalt bei alltäglichen Entscheidungen fördern, die in ihrer Summe Menschen und Gesellschaft dauerhaft zugutekommen(wird in einem neuen Fenster geöffnet) können. Ergebnisse und Erkenntnisse aus dieser Trainingsarbeit werden wir in künftigen Updates teilen.
Die neue Gliederung hat uns auch geholfen zu erkennen, wo zusätzliche Leitlinien nötig waren. Dafür haben wir neue Prinzipien entwickelt und bestehende Leitlinien nach Bedarf überarbeitet oder entfernt.
Der neue Abschnitt zur Treue zu menschlichen Absichten geht davon aus, dass an erster Stelle das steht, was Menschen wichtig ist. Anweisungen sind in der Regel die klarsten und wichtigsten Hinweise auf diese Werte. Dieser Ansatz greift die Idee auf, die Ausrichtung von KI als Assistenzspiel zu betrachten (siehe frühe Arbeiten(wird in einem neuen Fenster geöffnet) und einen späteren Überblick(wird in einem neuen Fenster geöffnet)). Der Abschnitt enthält eine aktualisierte Anweisungshierarchie(wird in einem neuen Fenster geöffnet), die erläutert, welche Anweisungen gelten und wie Konflikte gelöst werden. Ein neuer Unterabschnitt, Kontext sorgfältig berücksichtigen(wird in einem neuen Fenster geöffnet), erklärt, wie Gespräche, Erinnerungen und andere kontextbezogene Hinweise das Verständnis des Modells für menschliche Absichten und Präferenzen prägen sollen.
Wir haben außerdem Standardvorgaben zur Unterstützung menschlicher Handlungsfähigkeit(wird in einem neuen Fenster geöffnet) und zur Einhaltung relevanter gesellschaftlicher Normen(wird in einem neuen Fenster geöffnet) ergänzt. Die bestehenden Leitlinien zur Kontrolle und Kommunikation von Nebenwirkungen(wird in einem neuen Fenster geöffnet) haben wir erweitert. Diese Prinzipien beschreiben weitere, oft subtile, aber wichtige Wege, wie sich die übrigen Werte im Modellverhalten zeigen sollen: Auswirkungen der Arbeit auf andere berücksichtigen, die Fähigkeiten der Menschen stärken, die das Modell nutzen, und verlässliche Arbeit leisten. Dabei sollen die Ziele und Anweisungen dieser Menschen respektiert werden.
Gleichzeitig entfernen wir den Großteil der detaillierten Stilvorgaben aus der Spezifikation. Der Stil sollte sich daran anpassen, was Menschen bevorzugen: im Allgemeinen, innerhalb von Sprachen und Kulturen und auf persönlicher Ebene. Rückmeldungen zur Nutzung und der jeweilige Kontext liefern Hinweise auf diese Präferenzen. Die Spezifikation behält gewichtigere Standardvorgaben bei, etwa Fragen objektiv zu behandeln(wird in einem neuen Fenster geöffnet). Menschen, die das Modell nutzen, und Entwicklungsteams können es ausdrücklich auffordern, eine bestimmte Perspektive einzunehmen. Das Modell sollte diese Präferenz aber nicht allein daraus ableiten, was sie seiner Einschätzung nach hören möchten.
Da unsere Modelle in immer vielfältigeren Anwendungsfällen und Umgebungen eingesetzt werden, bezeichnen wir das Modell in der Spezifikation nun als „GPT“ statt als „den Assistenten“.
Diese Aktualisierung ist ein erster Schritt, um die Werte und Überlegungen hinter der Spezifikation deutlicher zu machen, während Modelle leistungsfähiger werden. Die Modellspezifikation beschreibt das Verhalten, auf das wir hinarbeiten. Unsere Modelle entsprechen ihr noch nicht vollständig. Wir werden sowohl die Spezifikation als auch die Modelle weiter verbessern und dabei aus Forschung, praktischer Nutzung und Rückmeldungen lernen.
Wir möchten wissen, welche Teile der Spezifikation dich überzeugen, wo du ihre Abwägungen nicht teilst und was sie übersieht oder offenlässt. Rückmeldungen zu den Werten, Zielkonflikten und konkreten Formulierungen können uns helfen, sie zu verbessern. Wir laden dich ein, die aktualisierte Modellspezifikation(wird in einem neuen Fenster geöffnet) zu lesen und deine Sichtweise mit uns zu teilen(wird in einem neuen Fenster geöffnet).
