NoveumのNovaSynthは、実際のSIP通話、LiveKit音声、チャット対話をシミュレートし、割り込み、エッジケース、敵対的動作に対する対話型AIエージェントのストレステストを実施します。
製品の機能と公式な位置づけ
Noveumが提供するNovaSynthは、本番稼働前の音声およびチャットエージェントを評価するために設計されたAIエージェントシミュレーションプラットフォームです。実際のSIP電話接続、LiveKit音声ストリーム、HTTPチャットインターフェースを介して合成ユーザーを投入することで、リハーサルセッション内で行動のエッジケース、遅延の問題、ターンテイキングの不具合を洗い出します。
このシステムは、多様なアクセント、会話の割り込み、背景ノイズ、プロンプトインジェクションの試行を含むマルチターンシナリオを生成します。各セッションはエンドツーエンドのトレースとして記録され、音声専用の評価指標に照らして判定されます。また、ツールのサンドボックス化により、合成実行が稼働中の本番システムに不正な書き込みを行わないよう保護されます。
公式情報で確認できる活用例
SIP接続を介して割り込みの多い通話をシミュレートし、リアルな音響環境下でのエージェントのバージイン応答や遅延を評価します。
チャットエンドポイント経由で計算されたインジェクションの試行を送信し、エージェントのガードレール、システムプロンプトの秘匿性、拒否メカニズムを検証します。
シナリオの組み合わせマトリクス全体で通話量を最大2,000同時回線まで拡張し、エージェントインフラストラクチャの安定性を測定します。
公式情報に記載された利用手順
発信者の性格特性、背景情報、言語設定、感情、割り込みの傾向などを設定します。
エージェントのコンテキスト、ドキュメント、プロンプト設定に基づいて、対話シナリオやエッジケースを生成または作成します。
マルチターンの合成会話全体を通じて監視する音声および会話の評価指標を選択します。
完全な通話トレースをキャプチャし、障害シグナルを評価して、シミュレーションによって表面化した根本原因を分析します。
失敗したシナリオに対して修正内容をエンドツーエンドで検証し、本番デプロイ前に対処が適切に行われたことを確認します。
NovaSynthはモック化されたトランスクリプトによるテストを避け、ライブ通信チャネルを介して音声エージェントに直接接続します。通話はTwilio、Plivo、Vobizなどのプロバイダーを介したSIP経由でルーティングされるほか、LiveKitやPipecatを活用したリアルタイム音声ストリームも利用されます。この構成により、合成対話において現実世界のネットワーク遅延、背景ノイズの干渉、音声の異常を忠実に再現します。
基盤となるオーケストレーションインフラストラクチャは、BullMQ、PostgreSQL、Redisを採用して分散キュー全体でテスト実行を並列化します。シミュレーション実行内のツールインタラクションには仮想化が適用され、読み取り操作のリプレイと書き込み操作のサンドボックス化を行うことで、合成対話が実際の運用環境を変更するリスクを低減します。
自分の素材とワークフローで確認したい項目
確認した情報源とその日時
情報源を確認した製品情報に基づく回答
NovaSynthは、Twilio、Plivo、Vobiz経由のSIPによる電話通話、LiveKitおよびPipecatを通じたリアルタイム音声、さらにHTTP経由のチャットをシミュレートできます。
このプラットフォームはツールの仮想化を活用しており、読み取りアクションをリプレイし、書き込みアクションをサンドボックス化することで、合成実行が本番システムに影響を与えないように保護します。
NovaSynthは最大2,000の同時接続回線による負荷テストをサポートしていますが、回線のプロビジョニングが必要となるため、チームは事前にプロバイダーへ通知する必要があります。
合成セッションはトレースとして記録され、プラットフォームが備える100以上のエバリュエーターライブラリから選ばれた30以上の音声AI専用メトリクスを用いてスコアリングされます。
Noveum製品はSaaSとして利用できるほか、Bring Your Own（BYO）ClickHouseを用いたユーザーVPC内でのホスティングや、完全なオンプレミス環境への導入に対応しています。
