美团发布LongCat-AudioDiT：直接在波形潜空间建模，突破零样本TTS音色克隆上限

核心要点

• 技术架构革新：LongCat-AudioDiT彻底抛弃了梅尔谱（Mel-spectrogram）等传统的中间表示环节。
• 建模空间转换：模型直接在波形潜空间（Waveform Latent Space）进行建模，实现了更底层的声音规律学习。
• 扩散模型应用：采用基于扩散模型（Diffusion Model）的文本转语音（TTS）技术路线。
• 解决核心痛点：通过简化流程，从根源上阻断了数据转换过程中产生的级联误差，提升了音色克隆的还原度。

详细分析

抛弃中间表示：从根源解决级联误差

在传统的文本转语音（TTS）系统中，通常需要经历“文本到中间表示（如梅尔谱）”再到“中间表示到波形（通过声码器）”的多个阶段。美团LongCat团队指出，这种多环节的转换过程往往会带来级联误差，即每一个环节的损失都会累积到最终的语音输出中，限制了音色克隆的精细度。LongCat-AudioDiT的核心突破在于让AI直接学会声音本身的规律，跳过中间环节。通过这种方式，模型能够更直接地捕捉音频的细微特征，避免了在复杂转换过程中的信息丢失，从而在零样本（Zero-Shot）场景下实现更高上限的音色克隆效果。

波形潜空间与扩散模型的深度融合

LongCat-AudioDiT选择在波形潜空间进行基于扩散模型的建模。扩散模型在图像生成领域已展现出强大的分布建模能力，而将其应用于波形潜空间，则意味着模型可以在一个更具表现力且信息更丰富的空间内进行语音合成。相比于传统的建模方式，波形潜空间能够更完整地保留声音的相位、纹理等关键信息。通过扩散模型的迭代生成过程，LongCat-AudioDiT能够从噪声中精准还原出目标音色的细节，这种“声音克隆艺术”不仅提升了语音的自然度，更在零样本条件下展现了极强的泛化能力，使得克隆出的声音在听感上更接近真人。

零样本音色克隆的性能飞跃

零样本音色克隆一直是TTS领域的难点，要求模型仅凭极短的参考音频就能模仿出陌生人的音色。LongCat-AudioDiT通过直接波形建模，绕过了对特定中间特征的依赖，使得模型对声音规律的理解更加本质。这种技术路径的改变，使得模型在处理未见过（Unseen）的音色时，能够展现出更强的适应性和稳定性。对于行业而言，这意味着音色克隆技术正在从“形似”向“神似”跨越，为个性化语音助手、内容创作等场景提供了更强大的技术支撑。

行业影响

美团LongCat-AudioDiT的发布标志着语音合成技术进入了“去中间化”的新阶段。通过证明直接在波形潜空间建模的可行性与优越性，该研究为未来TTS模型的设计提供了重要参考。这不仅可能引发行业内对传统梅尔谱路径的重新审视，也将推动扩散模型在音频生成领域的进一步普及。对于需要高质量音色克隆的业务场景，如虚拟人、智能客服及影视配音，这一突破预示着更低成本、更高效率的语音定制化时代即将到来。

常见问题

问题 1：LongCat-AudioDiT与传统TTS模型最大的区别是什么？

答：最大的区别在于它彻底抛弃了梅尔谱等中间表示环节，直接在波形潜空间进行建模。这避免了传统模型在多级转换中产生的级联误差，使声音生成更加直接和精准。

问题 2：为什么直接在波形潜空间建模能提升音色克隆效果？

答：因为波形潜空间比中间表示（如梅尔谱）保留了更多原始声音的细节规律。结合扩散模型的生成能力，模型可以更深入地学习声音的本质特征，从而在零样本情况下实现更高还原度的音色克隆。

问题 3：级联误差对语音合成有什么影响？

答：级联误差是指在“文本-中间特征-波形”的转换链条中，每一层模型产生的微小错误会不断累积，最终导致合成的声音出现失真、机械感或音色不匹配。LongCat-AudioDiT通过简化流程阻断了这种误差的传递。