Jetzt neu: Audio-Modelle der nächsten Generation in der API

Update vom 28. August 2025: Wir haben die allgemeine Verfügbarkeit der Realtime API angekündigt. Hier erfährst du mehr.

In den letzten Monaten haben wir intensiv daran gearbeitet, die Intelligenz, Fähigkeiten und Praxistauglichkeit von textbasierten Agenten, also Systemen, die Aufgaben eigenständig im Auftrag der Nutzerinnen und Nutzer ausführen, weiterzuentwickeln. Dazu gehören unter anderem Veröffentlichungen von Operator, Deep Research, Computer-Using Agents sowie der Responses API mit integrierten Tools. Damit Agenten jedoch wirklich nützlich sind, müssen Interaktionen über reinen Text hinausgehen. Menschen benötigen tiefere und intuitivere Möglichkeiten der Zusammenarbeit, wie etwa die natürliche gesprochene Sprache als effektives Kommunikationsmittel.

Heute stellen wir neue Speech-to-Text- und Text-to-Speech-Audiomodelle in der API vor. Damit wird es möglich, leistungsstärkere, anpassbare und intelligentere Sprachagenten zu entwickeln, die echten Mehrwert bieten. Unsere neuesten Speech-to-Text-Modelle setzen neue Maßstäbe und übertreffen bestehende Lösungen in Bezug auf Genauigkeit und Zuverlässigkeit – insbesondere in anspruchsvollen Szenarien mit Akzenten, Hintergrundgeräuschen oder unterschiedlichen Sprechgeschwindigkeiten. Diese Verbesserungen erhöhen die Zuverlässigkeit von Transkriptionen und machen die Modelle besonders geeignet für Anwendungsfälle wie Kundenservice-Callcenter, Meeting-Transkriptionen und vieles mehr.

Erstmals können Entwicklerinnen und Entwickler das Text-to-Speech-Modell gezielt anweisen, auf eine bestimmte Weise zu sprechen, beispielsweise „wie ein empathischer Kundenservice-Agent“. Dadurch eröffnen sich neue Möglichkeiten zur individuellen Anpassung von Sprachagenten. Dies ermöglicht eine breite Palette maßgeschneiderter Anwendungen – von einfühlsameren und dynamischeren Kundenservice-Stimmen bis hin zu ausdrucksstarker Vertonung für kreatives Storytelling.

Wir haben unser erstes Audio-Modell 2022⁠ vorgestellt und arbeiten seitdem kontinuierlich daran, die Intelligenz, Genauigkeit und Zuverlässigkeit dieser Modelle zu verbessern. Mit den neuen Audiomodellen können Entwicklerinnen und Entwickler über die API präzisere und robustere Speech-to-Text-Systeme sowie ausdrucksstarke, charaktervolle Text-to-Speech-Stimmen entwickeln.

Diese neuen Audiomodelle sind jetzt für alle Entwickler verfügbar. Weitere Informationen zum Entwickeln mit Audio findest du hier⁠(wird in einem neuen Fenster geöffnet). Für Entwickler, die bereits konversationsbasierte Anwendungen mit textbasierten Modellen erstellen, ist die Integration unserer Speech-to-Text- und Text-to-Speech-Modelle der einfachste Weg, um Sprachagenten zu entwickeln. Zusätzlich veröffentlichen wir eine Integration mit dem Agents SDK⁠(wird in einem neuen Fenster geöffnet), die den Entwicklungsprozess deutlich vereinfacht. Für Anwendungen mit besonders geringer Latenz im Speech-to-Speech-Bereich empfehlen wir die Nutzung unserer Speech-to-Speech-Modelle über die Realtime API.

Mit Blick nach vorn planen wir, weiterhin in die Verbesserung der Intelligenz und Genauigkeit unserer Audiomodelle zu investieren. Gleichzeitig arbeiten wir daran, Entwicklerinnen und Entwicklern neue Möglichkeiten zu eröffnen, eigene Stimmen einzubringen und noch stärker personalisierte Erlebnisse zu schaffen – selbstverständlich im Einklang mit unseren Sicherheitsstandards. Darüber hinaus setzen wir den Austausch⁠ mit politischen Verantwortlichen, Forschenden, Entwicklerinnen und Entwicklern sowie Kreativen fort, um die Herausforderungen und Chancen synthetischer Stimmen gemeinsam zu erörtern. Wir sind gespannt auf die innovativen und kreativen Anwendungen, die Entwicklerinnen und Entwickler mit diesen verbesserten Audiofunktionen realisieren werden. Außerdem investieren wir in weitere Modalitäten, darunter Video, um die Entwicklung multimodaler agentenbasierter Anwendungen zu ermöglichen.