Parloa entwickelt Service-Agenten, mit denen Kunden gern sprechen

In der Anfangszeit von Parloa verbrachte Mitgründer Stefan Ostwald einen Tag in einem Callcenter einer Versicherung, für das sein Team erste Sprachanwendungen entwickelt hatte. Neben den Servicekräften hörte er immer wieder dieselben Gespräche: Passwörter zurücksetzen, Fragen zu Policen, routinemäßige Änderungen. Ihm wurde klar, dass sich ein Großteil dieser Arbeit automatisieren ließ.

Nach dieser Erfahrung begann das Berliner Unternehmen Parloa⁠(wird in einem neuen Fenster geöffnet), regelbasierte Sprach-Agenten zu entwickeln, um große Mengen an Kundeninteraktionen zu automatisieren.

Mit dem Aufkommen von ChatGPT entwickelte das Unternehmen die heutige AI Agent Management Platform (AMP), die auf einer neuen Modellgeneration einschließlich GPT‑5.4 basiert.

Mit AMP können Unternehmen Kundenservice-Interaktionen in großem Umfang gestalten, bereitstellen und verwalten. Statt starre Absichten und Abläufe abzubilden, definieren Teams das Verhalten in natürlicher Sprache, binden interne Systeme an und optimieren es mithilfe integrierter Simulationen und Bewertungen.

Parloa wickelt diese Interaktionen vollständig ab, von der einfachen Weiterleitung bis zu komplexen, mehrstufigen Anliegen. Im Mittelpunkt steht ein konsistenter Produktivbetrieb, bei dem Leistung, Latenz und Sonderfälle gleichermaßen zählen. Dafür testet Parloa Modelle vor der Bereitstellung fortlaufend anhand realer Kundenszenarien.

Mit Parloas Agent Management Platform (AMP) können Fachabteilungen und Fachleute KI-Agenten ohne Programmierkenntnisse entwickeln.

„Mit AMP können Fachleute aus verschiedenen Geschäftsbereichen die Agenten selbst entwickeln und APIs deutlich schlanker und einfacher anbinden“, so O’Reilly.

AMP ermöglicht Marken, den gesamten Lebenszyklus von KI-Agenten zu verwalten. Dazu bietet die Plattform nicht technischen Teams eine einfache Möglichkeit, das Verhalten eines Agenten vor dem Produktivstart festzulegen. Statt Code zu schreiben oder starre Absichtsbäume abzubilden, legen Fachleute Rolle, Anweisungen, Tools und Grenzen des Agenten in natürlicher Sprache fest. Diese Konfiguration bestimmt, wie das Modell den Prompt erhält und wie sich das System im Produktivbetrieb verhält.

Anschließend wird der Agent vor der Bereitstellung getestet. Parloa simuliert Kundengespräche mit Modellen wie GPT‑5.4. Ein Modell übernimmt die Rolle der anrufenden Person, ein anderes führt den konfigurierten Agenten aus. Teams können diese Interaktionen direkt prüfen, Änderungen anhand realistischer Szenarien testen und sie vor dem Produktivstart optimieren.

Dieselben Modelle bewerten die Gespräche anschließend mit einer Kombination aus deterministischen Prüfungen und LLM-as-a-Judge-Bewertungen. So zeigt sich, ob der Agent Anweisungen befolgt, Tools korrekt eingesetzt und die Aufgabe wie erwartet abgeschlossen hat.

Während eines Live-Gesprächs übermittelt die Orchestrierungsebene von AMP einem OpenAI-Modell die Agentenkonfiguration und den Gesprächskontext. Das Modell erzeugt daraufhin eine Antwort, ruft per RAG Informationen ab oder löst Tools zur Interaktion mit den Kundensysteme aus. Parloa aktualisiert diese Ebene fortlaufend mit der neuesten Modellgeneration, sobald sie im realen Einsatz deutliche Vorteile zeigt.

Nach dem Gespräch fassen separate, von OpenAI unterstützte Workflows die Interaktion zusammen, klassifizieren das Kundenanliegen und bewerten die Leistung anhand festgelegter Regeln.

Mit zunehmender Komplexität der Agenten wurde die Pflege eines einzigen monolithischen Prompts schwieriger. Schon kleine Änderungen konnten unerwünschte Nebenwirkungen verursachen. Deshalb führte Parloa einen modularen Ansatz ein. Aufgaben wie Authentifizierung, Buchungsänderungen oder Kontoaktualisierungen lassen sich auf eigenständige Sub-Agenten verteilen. Das verbessert die Befolgung von Anweisungen und erleichtert die Weiterentwicklung der Systeme.

Zugleich nutzt die Plattform deterministische Kontrollen dort, wo Zuverlässigkeit besonders wichtig ist. Unternehmen können strukturierte API-Ketten und ereignisbasierte Logik definieren. So laufen kritische Schritte in der richtigen Reihenfolge ab und flexible Gespräche werden mit vorhersehbarer Ausführung kombiniert.

Parloa simuliert mit GPT‑4.1, GPT‑5‑mini und weiteren Modellen realistische Kundeninteraktionen, bevor ein Agent produktiv eingesetzt wird. Anschließend bewertet das Unternehmen sie mit LLM-as-a-Judge und deterministischen Regeln. So können Teams Sonderfälle testen, das Verhalten schnell optimieren und die Leistung prüfen, bevor Kund:innen mögliche Fehler erleben.

Parloa arbeitet vorwiegend mit Großunternehmen, für die Konsistenz ebenso wichtig ist wie Leistungsfähigkeit.

„Wenn ein neues Modell erscheint, testen wir es mit unserer Benchmark-Suite“, sagt Matthäus Deutsch, Senior Applied Scientist. „Für uns ist entscheidend, dass etwas nicht nur in theoretischen Benchmarks, sondern auch in echten Anwendungsfällen funktioniert.“

Statt sich auf abstrakte Benchmarks zu verlassen, bildet Parloa reale produktive Agenten nach und führt sie durch Simulations- und Bewertungspipelines. Diese Tests messen unter realistischen Bedingungen, wie zuverlässig Anweisungen befolgt und APIs aufgerufen werden, sowie Latenz und Gesamtleistung.

Die Bewertungen zeigen, welche Modelle für den Produktivbetrieb bereit sind. Nur Modelle, die in realen Kundenszenarien zuverlässig funktionieren, werden bereitgestellt.

„Für Unternehmenskund:innen entstehen bei einer Migration echte Kosten“, so Deutsch. „Sobald ein System im Produktivbetrieb funktioniert, halten sie es stabil und wechseln nur, wenn die Vorteile eindeutig sind.“

Dadurch verhalten sich die Systeme auch bei hoher Auslastung im Produktivbetrieb vorhersehbar. Bei Millionen von Kundeninteraktionen werden die meisten Gespräche reibungslos abgeschlossen. Selbst wenn Anrufe an Servicekräfte weitergeleitet werden, liegt das nur selten an einem Fehler. Bei einer Implementierung senkte ein globaler Reisekonzern die Zahl der Anforderungen einer menschlichen Servicekraft um 80 %.

Dieser Fokus auf frühzeitige Bewertungen ist zu einem wichtigen Unterscheidungsmerkmal geworden. Parloa kann dadurch schnell agieren, ohne die Zuverlässigkeit im Produktivbetrieb zu beeinträchtigen.

Sprachanwendungen stellen andere Anforderungen als textbasierte Chats. Jede Interaktion durchläuft eine Pipeline mit geringer Latenz: Spracherkennung, Reasoning des Modells und Sprachsynthese.

Deshalb ist die Latenz entscheidend. Schon kleine Verzögerungen auf Modellebene summieren sich zu merklichen Gesprächspausen. Das beeinflusst die Auswahl und Optimierung der Modelle.

Parloa arbeitet eng mit OpenAI zusammen, um die Leistung für Echtzeitanwendungen zu optimieren. Im Fokus stehen Latenz, Antwortqualität und das Befolgen von Anweisungen. Das Team bewertet neue Modellversionen fortlaufend und unterzieht sie in produktionsnahen Umgebungen Belastungstests, bevor sie in Live-Kundeninteraktionen eingesetzt werden.

Parloa bewertet jede Komponente des Sprachsystems einzeln:

• Speech-to-Text-Systeme werden auf ihre Wortfehlerrate getestet, insbesondere bei sensiblen Angaben wie Policennummern oder Kontokennungen.
• Text-to-Speech-Modelle werden in blinden Hörtests darauf geprüft, wie natürlich ihre Stimme für echte Nutzende klingt. Diese Ergebnisse werden anschließend mit realen Kundeninteraktionen abgeglichen, um eine konsistente Leistung im Produktivbetrieb sicherzustellen.
• Speech-to-Speech-Modelle werden derzeit mit Blick auf Latenz, Genauigkeit und Kosten auf ihre Produktionsreife geprüft.

Diese Systeme waren von Anfang an für den weltweiten Einsatz ausgelegt. Die Benchmarks umfassen mehrere Sprachen, da Kund:innen in Regionen weltweit tätig sind. Diese sorgfältigen mehrsprachigen Tests spiegeln sowohl Parloas europäische Wurzeln als auch die Erwartungen von Unternehmenskund:innen wider. Sie benötigen eine marktübergreifend konsistente Leistung, nicht nur in einer Sprache oder Region.

Heute führen Parloas Agenten Millionen von Gesprächen im Einzelhandel, in der Reisebranche, bei Versicherungen und in weiteren Branchen. Die Anwendungen reichen von automatisiertem Support bis zu umsatzgenerierenden Abläufen wie Teleshopping.

Parloa erwartet, dass sich der Kundenservice zu einem vollständig multimodalen Erlebnis entwickelt.

Ein Gespräch kann am Telefon beginnen, im Chat fortgesetzt werden und dabei Links oder interaktive Elemente einbeziehen. AMP behandelt die einzelnen Schritte nicht als getrennte Abläufe, sondern als eine zusammenhängende Interaktion. KI-Agenten könnten für Customer Journeys künftig ebenso zentral werden wie Websites und mobile Apps.

Während Unternehmen einen wachsenden Anteil ihrer Kundeninteraktionen automatisieren, arbeitet Parloa daran, KI-Agenten zuverlässig, flexibel und vertrauenswürdig genug für den weltweiten Einsatz zu machen.