Noveum의 NovaSynth는 실제 SIP 통화, LiveKit 오디오 및 채팅 상호작용을 시뮬레이션하여 발언 끊기, 엣지 케이스, 적대적 행위에 대응해 대화형 AI 에이전트를 스트레스 테스트합니다.
제품의 기능과 공식 포지셔닝
Noveum의 NovaSynth는 배포 전 음성 및 채팅 에이전트를 평가하도록 설계된 AI 에이전트 시뮬레이션 플랫폼입니다. 라이브 SIP 텔레포니 연결, LiveKit 오디오 스트림 및 HTTP 채팅 인터페이스를 통해 가상 사용자를 투입함으로써 시뮬레이션된 리허설 세션에서 행동 엣지 케이스, 지연 시간 문제, 대화 순서 교대 실패를 발견합니다.
이 시스템은 다양한 억양, 대화 끼어들기, 배경 소음, 프롬프트 인젝션 시도를 통합한 멀티턴 시나리오를 생성합니다. 각 세션은 엔드투엔드 트레이스로 기록되어 음성 전용 평가 지표를 바탕으로 평가되며, 도구 샌드박싱을 통해 가상 실행이 실제 프로덕션 시스템에 무단 쓰기 작업을 수행하지 않도록 방지합니다.
공식 출처로 확인된 활용 사례
실제 오디오 환경에서 에이전트의 발언 가로채기(barge-in) 응답과 지연 시간을 평가하기 위해 SIP 연결을 통해 통화 끊김이 잦은 전화 통화를 시뮬레이션합니다.
에이전트 가드레일, 시스템 프롬프트 기밀 유지, 거부 메커니즘을 검증하기 위해 채팅 엔드포인트를 통해 정교하게 계산된 인젝션 시도를 전송합니다.
조합 시나리오 매트릭스 전반에서 최대 2,000개의 동시 회선까지 통화량을 확장하여 에이전트 인프라의 안정성을 측정합니다.
공식 문서에 안내된 사용 절차
발신자의 성격 속성, 배경 세부 정보, 선호 언어, 감정 상태 및 대화 끼어들기 성향을 구성합니다.
에이전트 컨텍스트, 문서, 프롬프트 설정을 기반으로 상호작용 시나리오와 엣지 케이스를 생성하거나 작성합니다.
멀티턴 가상 대화 전반에서 모니터링할 음성 및 대화 평가 지표를 선택합니다.
전체 통화 트레이스를 수집하고, 실패 신호를 평가하며 시뮬레이션에서 드러난 근본 원인을 분석합니다.
프로덕션 배포 전에 실패했던 시나리오를 바탕으로 엔드투엔드 수정을 검증하여 동작 개선을 확정합니다.
NovaSynth는 모의 스크립트를 대상으로 테스트하는 방식을 지양하고 라이브 통신 채널을 통해 음성 에이전트에 직접 연결합니다. 통화는 Twilio, Plivo, Vobiz와 같은 공급자를 통해 SIP로 라우팅되며, LiveKit 및 Pipecat 기반의 실시간 오디오 스트림도 함께 사용됩니다. 이러한 환경 설정을 통해 가상 상호작용은 실제 네트워크 지연 시간, 배경 간섭, 오디오 이상 현상을 그대로 반영하게 됩니다.
기반 오케스트레이션 인프라는 BullMQ, PostgreSQL, Redis를 활용하여 분산 큐 전반에서 실행을 병렬화합니다. 시뮬레이션 실행 내의 도구 상호작용은 가상화를 활용하여 읽기 작업을 재생하고 쓰기 작업을 샌드박스 처리함으로써 가상 상호작용이 실제 프로덕션 환경을 수정하는 위험을 줄입니다.
본인의 자료와 작업 흐름으로 직접 확인할 항목
확인한 출처와 확인 시점
출처를 확인한 제품 정보를 바탕으로 한 답변
NovaSynth는 Twilio, Plivo, Vobiz를 통한 SIP 전화 통화, LiveKit 및 Pipecat을 통한 실시간 오디오, HTTP 기반 채팅 상호작용을 시뮬레이션할 수 있습니다.
이 플랫폼은 읽기 작업을 재생하고 쓰기 작업을 샌드박스 처리하는 도구 가상화를 활용하여 가상 테스트 실행이 실제 프로덕션 시스템에 영향을 주지 않도록 보호합니다.
NovaSynth는 최대 2,000개의 동시 회선 부하 테스트를 지원합니다. 다만 해당 회선을 사전에 프로비저닝할 수 있도록 팀에서 제공업체에 사전 통지를 제공해야 합니다.
가상 세션은 트레이스로 캡처되며, 100개 이상의 평가 도구로 구성된 광범위한 플랫폼 라이브러리에서 선별된 30개 이상의 음성 AI 지표를 통해 정밀하게 채점됩니다.
Noveum 제품은 SaaS 형태로 배포하거나, 자체 보유 ClickHouse(BYO ClickHouse)를 갖춘 사용자 VPC 내에 호스팅하거나, 온프레미스 환경에 완전히 설치하여 운영할 수 있습니다.
