美团发布LongCat-AudioDiT：突破零样本TTS音色克隆上限，直接在波形潜空间生成语音

核心要点

• 技术突破：美团LongCat团队发布LongCat-AudioDiT，旨在提升零样本TTS音色克隆的性能上限。
• 架构革新：彻底抛弃了梅尔谱（Mel-spectrogram）等传统中间表示环节。
• 核心机制：直接在波形潜空间（Waveform Latent Space）进行基于扩散模型的语音生成。
• 解决痛点：通过简化流程，从根源上阻断了数据转换带来的级联误差。

详细分析

抛弃中间表示：解决级联误差痛点

在传统的文本转语音（TTS）技术路径中，通常需要将文本先转换为梅尔谱等中间表示，再通过声码器还原为音频。这种多阶段的转换过程往往会导致“级联误差”，即每一层级的转换都会损失一部分原始声音信息。美团LongCat团队通过LongCat-AudioDiT模型，彻底抛弃了这些中间环节。这种做法的核心逻辑在于让AI直接面对声音的本质，跳过复杂的中间转换步骤，从而在根源上确保了音频生成的纯净度，避免了信息在多级转换中的衰减。

波形潜空间扩散模型：探索声音生成新范式

LongCat-AudioDiT选择了在波形潜空间进行基于扩散模型的文本转语音。这一技术选择意味着模型不再是简单地模拟频谱特征，而是直接在潜空间内捕捉和还原声音的内在规律。通过扩散模型（Diffusion Model）的强大建模能力，AI能够更精准地掌握音色特征。这种直接在波形层面进行学习的方式，使得模型能够跳过人为定义的中间特征，直接学会声音本身的规律，从而实现更高上限的零样本音色克隆效果，为语音合成领域提供了新的技术思路。

行业影响

LongCat-AudioDiT的发布标志着TTS技术从“特征模拟”向“本质学习”的转变。通过在波形潜空间直接建模，该技术不仅提升了音色克隆的逼真度，也为解决长久以来困扰行业的级联误差问题提供了实证方案。这种技术路径的成功探索，可能推动未来语音合成模型向更高效、更直接的架构演进，降低零样本克隆的门槛并提升其还原度的天花板，对于个性化语音合成和高质量音频生成具有重要意义。

常见问题

什么是LongCat-AudioDiT的核心创新点？

其核心创新在于彻底抛弃了梅尔谱等中间表示，直接在波形潜空间利用扩散模型进行语音生成，从而避免了传统方法中因多级转换产生的级联误差。

为什么该模型能提升零样本音色克隆的上限？

因为它允许AI直接学习声音本身的规律，而非通过中间特征进行间接转换。这种直接建模波形潜空间的方式，使得模型能更真实地还原原始音色的细微特征，突破了传统路径的性能瓶颈。