Eleven v4 및 Eleven v4 Turbo는 90개 이상의 언어에서 다중 화자 음성 생성, 스크립트 내 음향 및 감정 연출, 음성 복제, 저지연 양방향 스트리밍을 지원하는 최첨단 음성 합성 모델입니다.
제품의 기능과 공식 포지셔닝
Eleven v4 및 Eleven v4 Turbo는 ElevenLabs가 개발한 합성 음성 모델로, 90개 이상의 언어에 걸쳐 풍부한 표현력을 갖춘 다중 화자 오디오를 생성합니다. 대화 맥락과 화자 정체성을 분석하는 아키텍처를 기반으로 구축되어, 텍스트 내 태그를 반영해 감정적 억양과 통합된 음향 효과를 정밀하게 구현합니다.
이번 출시에는 실시간 애플리케이션 및 대화형 에이전트 파이프라인을 위해 최적화된 모델인 Eleven v4 Turbo가 포함되어 있습니다. 업스트림 언어 모델에서 텍스트가 지속적으로 스트리밍되는 동안 합성 오디오를 즉시 반환하는 양방향 스트리밍을 지원하며, 약 100밀리초의 중앙 추론 지연 시간을 제공합니다.
공식 출처로 확인된 활용 사례
제작자는 컨텍스트 스티칭을 활용하여 긴 스크립트 전반에서 균일한 발화 속도와 화자 안정성을 유지함으로써 완성도 높은 오디오북 및 음성 프로젝트를 제작할 수 있습니다.
개발자는 Eleven v4 Turbo를 음성 에이전트 루프에 통합하여 양방향 스트리밍 기반의 초저지연 응답 속도를 구현할 수 있습니다.
크리에이터는 게임, 팟캐스트, 영상 제작을 위해 여러 개별 캐릭터 음성과 인라인 음향 효과가 포함된 스크립트를 작성하고 실감 나는 오디오를 구현할 수 있습니다.
Eleven v4는 크리에이터가 텍스트에 직접 감정 톤을 연출하고 환경음을 삽입할 수 있는 스크립트 수준의 제어 기능을 도입했습니다. 사용자는 대화 중간에 속삭임, 웃음소리, 물리적 음향 효과와 같은 태그를 인라인으로 배치할 수 있으며, 모델은 이를 맥락에 맞게 해석하여 표현합니다.
복잡한 프로덕션 전반에서 일관성을 유지할 수 있도록 컨텍스트 스티칭이 긴 스크립트에 걸쳐 화자의 발화 스타일과 속도를 보존하며, 음성 재생성 기능은 여러 테이크 사이에서도 음성 변화(드리프트) 없이 안정성을 보장합니다.
Eleven v4 Turbo는 대화형 인터랙티브 시스템을 위해 특별히 설계되었으며, 보고된 바에 따르면 약 100밀리초의 중앙 추론 지연 시간과 약 150밀리초의 최초 발화 시간(TTFS)으로 작동합니다.
이 모델은 양방향 스트리밍을 지원하므로, 외부 대형 언어 모델이 점진적으로 생성하는 텍스트를 전달받아 전체 문장이 완성되기 전에 오디오를 실시간으로 스트리밍하여 반환할 수 있습니다.
본인의 자료와 작업 흐름으로 직접 확인할 항목
확인한 출처와 확인 시점
출처를 확인한 제품 정보를 바탕으로 한 답변
Eleven v4는 스크립트 전반에서 감정 표현이 풍부한 음성 생성 및 장문 컨텍스트 스티칭을 지원하도록 설계된 반면, Eleven v4 Turbo는 실시간 애플리케이션 및 대화형 에이전트에 최적화되어 약 100ms의 중앙 추론 지연 시간과 약 150ms의 최초 발화 시간을 제공합니다.
Eleven v4는 90개 이상의 언어로 음성 합성을 지원하며, 일본어, 스페인어, 포르투갈어 등을 포함한 다양한 언어에서 원어민에 가까운 유창한 억양으로 음성을 생성할 수 있습니다.
네, Eleven v4는 10초 분량의 오디오를 사용한 인스턴트 음성 복제뿐만 아니라, 지원되는 다양한 언어 전반에서 모델의 풍부한 감정 표현 범위를 유지하는 프로페셔널 음성 복제를 지원합니다.
사용자는 웃음, 속삭임, 음향 효과와 같은 대괄호 연출 태그를 스크립트에 직접 삽입할 수 있으며, 발음 사전을 활용하여 특정 단어와 인명에 대한 맞춤형 발음 표기 및 IPA 정의를 설정할 수 있습니다.
네, Eleven v4 및 Eleven v4 Turbo는 REST API 엔드포인트, 스트리밍 엔드포인트, Python 및 TypeScript 공식 SDK를 통해 이용할 수 있으며 전용 모델 식별자를 통해 손쉽게 전환할 수 있습니다.
