美团发布LongCat-AudioDiT：突破零样本TTS音色克隆上限，重塑语音合成范式

核心要点

• 技术突破：美团LongCat团队发布LongCat-AudioDiT，旨在突破零样本TTS音色克隆的性能上限。
• 架构创新：彻底抛弃了梅尔谱（Mel-spectrogram）等中间表示，改变了传统TTS的生成路径。
• 核心机制：在波形潜空间（Waveform Latent Space）内直接进行基于扩散模型（Diffusion Model）的建模。
• 解决痛点：通过减少中间环节，从根源上阻断了数据转换过程中产生的级联误差。

详细分析

告别梅尔谱：从根源解决级联误差

在传统的文本转语音（TTS）技术框架中，模型通常需要先将文本转换为梅尔谱等中间声学特征，再通过声码器（Vocoder）将其还原为波形。这种多阶段的转换过程往往会引入“级联误差”，即每一层转换中的信息损耗和噪声会不断累积，最终限制了音色克隆的还原度和上限。美团LongCat-AudioDiT的核心创新在于其“彻底抛弃”了这些中间表示，让AI能够直接在波形潜空间中进行学习。这种设计思路使得模型能够跳过繁琐的中间环节，直接触达声音的本质规律，从而在零样本音色克隆任务中表现出更强的性能。

波形潜空间与扩散模型的深度融合

LongCat-AudioDiT采用了基于扩散模型（Diffusion Model）的技术方案。扩散模型近年来在图像生成领域取得了巨大成功，而美团团队将其应用于波形潜空间的建模中。通过在潜空间内直接生成语音信号，模型能够更精准地捕捉声音的细微特征和音色规律。这种方法不仅提升了生成语音的自然度，更重要的是在“零样本”场景下，即在没有目标音色大规模数据训练的情况下，依然能够实现高精度的音色克隆。这种直接建模波形规律的方式，为破解TTS技术瓶颈提供了全新的艺术化处理手段。

行业影响

LongCat-AudioDiT的发布标志着语音合成技术正在从“特征模拟”向“本质建模”转变。对于AI行业而言，这种在波形潜空间直接建模的路径，为提升语音生成的质量和效率提供了新的参考范式。特别是在需要高质量音色迁移和零样本学习的场景中，该技术有望大幅降低对特定音色数据的依赖，同时提升合成声音的真实感。这不仅是美团技术团队在AI语音领域的重大突破，也将推动整个TTS行业向更低误差、更高上限的技术方向演进。

常见问题

什么是LongCat-AudioDiT的核心改进？

LongCat-AudioDiT的核心改进在于它不再依赖梅尔谱等中间表示，而是直接在波形潜空间利用扩散模型进行建模，从而消除了传统TTS流程中的级联误差。

为什么抛弃梅尔谱对音色克隆很重要？

梅尔谱作为中间环节，在转换过程中不可避免地会丢失部分声音细节。抛弃梅尔谱意味着模型可以直接学习声音本身的原始规律，从而在零样本克隆时能够更完美地还原目标音色的特征，突破原有的性能上限。