NovaSynth von Noveum simuliert echte SIP-Anrufe, LiveKit-Audio und Chat-Interaktionen, um dialogorientierte KI-Agenten unter realen Bedingungen wie Unterbrechungen, Grenzfällen und feindseligem Verhalten zu testen.
Funktion und offizielle Positionierung des Produkts
NovaSynth von Noveum ist eine Simulationsplattform für KI-Agenten, die zur Evaluierung von Sprach- und Chat-Agenten vor deren Produktivsetzung entwickelt wurde. Durch das Entsenden synthetischer Nutzer über direkte SIP-Telefonieverbindungen, LiveKit-Audiostreams und HTTP-Chat-Schnittstellen deckt sie verhaltensbezogene Grenzfälle, Latenzprobleme und Fehler bei der Gesprächsübernahme in simulierten Testsitzungen auf.
Das System generiert mehrstufige Szenarien mit unterschiedlichen Akzenten, Gesprächsunterbrechungen, Hintergrundgeräuschen und Prompt-Injection-Versuchen. Jede Sitzung wird als End-to-End-Trace aufgezeichnet und anhand sprachspezifischer Evaluierungsmetriken bewertet, während eine Tool-Sandbox dafür sorgt, dass synthetische Testläufe keine unautorisierten Schreibvorgänge in realen Produktionssystemen ausführen.
Durch offizielle Quellen belegte Anwendungsfälle
Simulation von Telefonaten mit vielen Unterbrechungen über SIP-Verbindungen zur Bewertung des Barge-in-Verhaltens und der Latenz unter realistischen Audiobedingungen.
Senden gezielter Injection-Versuche über Chat-Endpunkte zur Überprüfung von Agenten-Guardrails, der Geheimhaltung von System-Prompts und Ablehnungsmechanismen.
Skalierung des Anrufvolumens auf bis zu 2.000 gleichzeitige Leitungen über kombinatorische Szenariomatrizen zur Messung der Stabilität der Agenteninfrastruktur.
Der dokumentierte Ablauf, sofern verfügbar
Konfiguration von Persönlichkeitsmerkmalen, Hintergrunddetails, Sprachpräferenzen, Stimmungen und Unterbrechungsneigungen des Anrufers.
Generierung oder Erstellung von Interaktionsszenarien und Randfällen auf Basis von Agentenkontext, Dokumentation und Prompt-Konfigurationen.
Auswahl von Sprach- und Konversationsevaluierungsmetriken zur Überwachung während der gesamten mehrstufigen synthetischen Konversation.
Erfassung des vollständigen Anruf-Traces, Evaluierung von Fehlersignalen und Analyse der durch die Simulation aufgedeckten Ursachen.
End-to-End-Validierung von Anpassungen anhand der fehlgeschlagenen Szenarien zur Bestätigung der Verhaltenskorrektur vor dem Produktivstart.
NovaSynth verzichtet auf Tests mit simulierten Transkripten und verbindet sich stattdessen direkt über aktive Kommunikationskanäle mit Sprach-Agenten. Anrufe werden per SIP über Anbieter wie Twilio, Plivo und Vobiz sowie über Echtzeit-Audiostreams via LiveKit und Pipecat geroutet. Dieses Setup zwingt synthetische Interaktionen dazu, reale Netzwerklatenzen, Hintergrundstörungen und Audioanomalien widerzuspiegeln.
Die zugrunde liegende Orchestrierungsinfrastruktur nutzt BullMQ, PostgreSQL und Redis, um Ausführungen über verteilte Warteschlangen zu parallelisieren. Tool-Interaktionen innerhalb simulierter Läufe nutzen eine Virtualisierung, um Leseoperationen zu wiederholen und Schreibvorgänge in einer Sandbox zu isolieren, wodurch verhindert wird, dass synthetische Interaktionen reale Produktionsumgebungen verändern.
Prüfungen mit eigenen Inhalten und Arbeitsabläufen
Welche Quellen wann geprüft wurden
Antworten auf Basis des quellengeprüften Produkteintrags
NovaSynth kann Telefonanrufe über SIP via Twilio, Plivo oder Vobiz, Echtzeit-Audio über LiveKit und Pipecat sowie Chat über HTTP simulieren.
Die Plattform nutzt eine Tool-Virtualisierung, die Leseaktionen wiederholt und Schreibaktionen in einer Sandbox isoliert, sodass synthetische Läufe keine Produktionssysteme beeinflussen.
NovaSynth unterstützt Lasttests mit bis zu 2.000 gleichzeitigen Leitungen, wobei Teams den Anbieter vorab informieren müssen, damit die Leitungen bereitgestellt werden können.
Synthetische Sitzungen werden als Traces erfasst und anhand von über 30 Voice-AI-Metriken bewertet, die aus einer plattformweiten Bibliothek von mehr als 100 Evaluatoren stammen.
Noveum-Produkte können als SaaS bereitgestellt, in einer benutzerdefinierten VPC mit Bring Your Own ClickHouse gehostet oder vollständig On-Premises installiert werden.
