Vorantreiben unabhängiger Forschung zur KI-Ausrichtung

Da KI-Systeme immer leistungsfähiger und autonomer werden, muss die Alignment-Forschung sowohl Schritt halten als auch die Vielfalt erweitern. Bei OpenAI investieren wir stark in die Forschung zu Frontier-Alignment und Sicherheit, da sie für unsere Mission von entscheidender Bedeutung ist. Wir sind außerdem der Meinung, dass die Gewährleistung der Sicherheit und des Nutzens von AGI für alle nicht von einer einzelnen Organisation erreicht werden kann. Daher möchten wir unabhängige Forschung und konzeptionelle Ansätze unterstützen, die außerhalb von Frontier-Labors verfolgt werden können. Wir glauben, dass die Zukunft der KI nicht genau so verlaufen wird, wie es irgendjemand vorhersagt, und dass viel mehr Menschen daran beteiligt sein sollten, das Ergebnis zu gestalten.

Heute kündigen wir einen Zuschuss von 7,5 Millionen US-Dollar an The Alignment Project⁠(wird in einem neuen Fenster geöffnet) an, einen globalen Fonds für unabhängige Alignment-Forschung, der vom UK AI Security Institute (UK AISI) ins Leben gerufen wurde. Renaissance Philanthropy unterstützt die Administration des Zuschusses. Dieser Beitrag hilft dabei, The Alignment Project zu einer der größten gezielten Finanzierungsinitiativen für unabhängige Alignment-Forschung zu machen, und stärkt das breitere, unabhängige Ökosystem.

Frontier-Labore wie OpenAI befinden sich in einer einzigartigen Position, um Forschungsarbeiten zum Alignment durchzuführen, die auf den Zugang zu Frontier-Modellen und erheblicher Rechenleistung angewiesen sind – Arbeiten, die für unabhängige Forscher oft schwer zugänglich sind. Wir widmen einen großen Teil unserer internen Alignment-Arbeit der Entwicklung skalierbarer Methoden, damit der Fortschritt beim Alignment mit dem Fortschritt der Fähigkeiten Schritt hält. Wir glauben, dass iterative Bereitstellung – die schrittweise Erweiterung der Fähigkeiten bei gleichzeitiger Stärkung der Schutzmaßnahmen – dazu beiträgt, Probleme frühzeitig zu erkennen, und uns konkrete Beweise dafür liefert, was in der Praxis funktioniert, und dass verantwortungsvolle Entwicklung erhebliche Alignment- und Sicherheitsarbeit erfordert, die eng mit dem Modellaufbau und der Bereitstellung integriert ist.

Parallel dazu profitiert das Fachgebiet von nachhaltigen Investitionen in unabhängige, explorative Forschung, die den Raum für Ideen erweitern und neue Richtungen aufdecken können. Unabhängige Forschung bleibt unerlässlich; bei vielen Arten nützlicher Untersuchungen haben Labore keinen komparativen Vorteil. Ein gesundes Alignment-Ökosystem hängt von unabhängigen Teams ab, die vielfältige Annahmen testen, alternative Rahmenwerke entwickeln und konzeptionelle, theoretische sowie visionäre Ideen erkunden, die sich möglicherweise nicht nahtlos in die Roadmap einer einzelnen Organisation einfügen.

Und weil der Fortschritt in Richtung AGI letztlich von grundlegenden Durchbrüchen abhängen könnte, die die Form des Alignment-Problems und die Nützlichkeit der Ansätze verändern, ist es wichtig, Forschung zu unterstützen, die auch dann von Bedeutung wäre, wenn sich herausstellt, dass die heute dominierenden Methoden nicht in der von uns erwarteten Weise skalieren. In diesen Welten ist es besonders wichtig, ein starkes externes Ökosystem zu haben, das grundlegende, konzeptionelle und unabhängige Arbeit leistet. Das Problem von KI-Alignment und -Sicherheit ist von beispielloser Bedeutung, und wir brauchen jede helfende Hand, da wir noch nicht wissen, welche Ansätze sich als am beständigsten erweisen werden, während die Fähigkeiten weiter voranschreiten.

Unser Zuschuss – bei aktuellen Wechselkursen etwa 5,6 Millionen £ – wird The Alignment Project mitfinanzieren⁠(wird in einem neuen Fenster geöffnet), zusammen mit anderen öffentlichen, philanthropischen und industriellen Förderern. Der Gesamtfonds übersteigt 27 Millionen £ und ist darauf ausgelegt, weltweit ein breites Portfolio von Alignment-Forschungsprojekten zu unterstützen, das Themen abdeckt, die so vielfältige Themen wie die Komplexitätstheorie, die Wirtschaftstheorie und die Spieltheorie, die Kognitionswissenschaft sowie die Informationstheorie und Kryptografie umfassen. Einzelne Projekte werden in der Regel mit 50.000 £ bis 1.000.000 £ finanziert und können außerdem optionalen Zugang zu Rechenressourcen und Expertenunterstützung erhalten.

Unsere Finanzierung schafft weder ein neues Programm noch ein Auswahlverfahren und beeinflusst auch nicht das bestehende Verfahren; sie erhöht die Anzahl der bereits geprüften, hochwertigen Projekte⁠(wird in einem neuen Fenster geöffnet), die in der aktuellen Runde finanziert werden können.

Das UK AISI ist gut aufgestellt, um Finanzierungen für Alignment in diesem Umfang und dieser Bandbreite gezielt zu lenken. Es verbindet eine etablierte sektorübergreifende Koalition aus Regierung, Wissenschaft, Philanthropie und Industrie zusammen, eine bereits laufende Förderpipeline und einen großen Pool von Vorschlägen, die einer fachlichen Begutachtung unterzogen wurden. Als britische staatliche Forschungseinrichtung im Department for Science, Innovation and Technology (DSIT) hat es auch ein Mandat, das sich auf ernsthafte KI-Risiken konzentriert, und verfügt über Erfahrung in der Durchführung von Forschungsförderprogrammen.

Da sich die Zukunft der KI nicht genau so entwickeln wird, wie es irgendjemand vorhersagt – und sich möglicherweise sehr schnell weiterentwickelt –, glauben wir, dass Demokratisierung, „KI-Resilienz“ und iterative Bereitstellung entscheidend sind. Während wir bei OpenAI unsere Forschung zu Frontier-Alignment und Sicherheit weiter vorantreiben, wird der Fortschritt von einem robusten, vielfältigen und unabhängigen Ökosystem profitieren, das komplementäre Ansätze verfolgt, während sich die Fähigkeiten weiterentwickeln. Diese Förderung ist ein Schritt in Richtung dieses Ziels. Wir freuen uns darauf, weiterhin mit der breiteren Forschungsgemeinschaft zusammenzuarbeiten, während sich das Feld weiterentwickelt.