NovaSynth de Noveum simule des appels SIP réels, des flux audio LiveKit et des interactions de chat pour tester la résistance des agents d'IA conversationnelle face aux interruptions, aux cas limites et aux comportements contradictoires.
Fonction du produit et positionnement officiel
NovaSynth de Noveum est une plateforme de simulation d'agents IA conçue pour évaluer les agents vocaux et textuels avant leur mise en production. En déployant des utilisateurs synthétiques sur des liaisons de téléphonie SIP réelles, des flux audio LiveKit et des interfaces de chat HTTP, elle met en lumière les cas limites comportementaux, les problèmes de latence et les échecs de prise de parole lors de sessions de répétition simulées.
Le système génère des scénarios multi-tours intégrant des accents variés, des interruptions de conversation, des bruits de fond et des tentatives d'injection de prompt. Chaque session est enregistrée sous la forme d'une trace de bout en bout et évaluée à l'aide de métriques spécifiques à la voix, tandis que l'isolation des outils en bac à sable empêche les exécutions synthétiques d'effectuer des écritures non autorisées sur les systèmes de production.
Cas d’usage étayés par les sources officielles
Simuler des appels téléphoniques à fortes interruptions via des connexions SIP pour évaluer la réactivité au barge-in et la latence de l'agent dans des conditions audio réalistes.
Envoyer des tentatives d'injection ciblées via des points de terminaison de chat pour vérifier les garde-fous de l'agent, le secret du prompt système et les mécanismes de refus.
Augmenter le volume d'appels jusqu'à 2 000 lignes simultanées sur des matrices de scénarios combinatoires afin de mesurer la stabilité de l'infrastructure de l'agent.
Le parcours documenté, lorsqu’il est disponible
Configurer les attributs de personnalité de l'appelant, les éléments de contexte, les préférences linguistiques, l'humeur et la tendance à interrompre.
Générer ou rédiger des scénarios d'interaction et des cas limites à partir du contexte de l'agent, de la documentation et des configurations de prompt.
Sélectionner des métriques d'évaluation vocale et conversationnelle à surveiller tout au long de la conversation synthétique multi-tours.
Capturer la trace complète de l'appel, évaluer les signaux d'échec et analyser les causes racines mises en évidence par la simulation.
Valider les ajustements de bout en bout par rapport aux scénarios défaillants afin de confirmer la remédiation comportementale avant le déploiement en production.
NovaSynth évite de s'appuyer sur des transcriptions simulées en se connectant directement aux agents vocaux via des canaux de communication réels. Les appels sont acheminés par SIP via des fournisseurs tels que Twilio, Plivo et Vobiz, ainsi que par des flux audio en temps réel gérés par LiveKit et Pipecat. Cette configuration contraint les interactions synthétiques à refléter fidèlement la latence réseau réelle, les interférences sonores et les anomalies audio.
L'infrastructure d'orchestration sous-jacente utilise BullMQ, PostgreSQL et Redis pour paralléliser les exécutions à travers des files d'attente distribuées. Les interactions avec les outils lors des sessions simulées exploitent la virtualisation pour rejouer les opérations de lecture et isoler en bac à sable les opérations d'écriture, ce qui évite que les interactions synthétiques ne modifient les environnements réels de production.
Vérifications à effectuer avec vos contenus et votre flux de travail
Sources vérifiées et date de la vérification
Réponses fondées sur la fiche produit dont les sources ont été vérifiées
NovaSynth peut simuler des appels téléphoniques par SIP via Twilio, Plivo ou Vobiz, des flux audio en temps réel via LiveKit et Pipecat, ainsi que des conversations textuelles par HTTP.
La plateforme utilise la virtualisation d'outils, qui rejoue les actions de lecture et isole en bac à sable les actions d'écriture afin que les exécutions synthétiques n'affectent pas les systèmes de production.
NovaSynth prend en charge les tests de charge jusqu'à 2 000 lignes simultanées, bien que les équipes doivent prévenir le fournisseur à l'avance pour permettre le provisionnement des lignes nécessaires.
Les sessions synthétiques sont enregistrées sous forme de traces et notées à l'aide de plus de 30 métriques d'IA vocale, issues d'une bibliothèque globale de plus de 100 évaluateurs.
Les produits Noveum peuvent être déployés en mode SaaS, hébergés au sein d'un VPC client avec apport de son propre ClickHouse (BYO ClickHouse), ou installés intégralement sur site.
