美团发布LongCat-AudioDiT：抛弃梅尔谱，实现零样本TTS音色克隆新突破

核心要点

• 技术发布：美团LongCat团队正式推出LongCat-AudioDiT模型，专注于提升零样本TTS音色克隆效果。
• 架构创新：彻底舍弃了梅尔谱（Mel-spectrogram）等传统中间表示环节。
• 核心机制：在波形潜空间内直接应用扩散模型（Diffusion Model）进行文本转语音生成。
• 解决痛点：通过简化流程，从根源上阻断了因多级数据转换导致的级联误差。

详细分析

突破传统中间表示的局限性

在传统的文本转语音（TTS）技术框架中，通常需要经过一个中间表示阶段，最常见的是将文本转换为梅尔谱，再由声码器（Vocoder）将梅尔谱还原为音频波形。然而，这种多阶段的转换过程往往会引入“级联误差”。美团LongCat团队在LongCat-AudioDiT的设计中提出了大胆的革新：让AI直接学习声音本身的规律。通过抛弃梅尔谱等中间环节，模型能够更直接地捕捉音频特征，减少了信息在转换过程中的损耗，从而在零样本音色克隆任务中表现出更高的上限。

波形潜空间与扩散模型的深度融合

LongCat-AudioDiT的核心竞争力在于其在“波形潜空间”的操作能力。与在像素空间或频谱空间操作不同，波形潜空间能够更高效地表征音频的原始动力学特征。结合扩散模型（Diffusion Model）强大的生成能力，LongCat-AudioDiT可以在潜空间内直接重构出高质量的语音。这种方法不仅提高了生成语音的自然度，更重要的是，它强化了模型对陌生音色（零样本场景）的模仿能力，使得克隆出的声音在音质和韵律上更接近原始参考音频。

行业影响

LongCat-AudioDiT的发布标志着语音合成技术正在从“多级级联架构”向“端到端原生生成”演进。对于AI行业而言，这种直接在波形潜空间进行扩散生成的思路，为解决复杂环境下的音色克隆、高保真语音合成提供了新的范式。它不仅降低了系统构建的复杂性，还通过减少误差累积提升了最终输出的质量。随着该技术的应用，未来在个性化语音助手、影视配音及内容创作等领域，零样本音色克隆的门槛将进一步降低，效果将更加逼真。

常见问题

问题 1：什么是LongCat-AudioDiT中的“级联误差”？

在传统的TTS系统中，文本先转为中间特征（如梅尔谱），再转为波形。每一层转换都会丢失一部分信息或引入噪声，这些误差层层堆叠，最终影响合成语音的真实感。LongCat-AudioDiT通过直接在波形潜空间生成，跳过了中间步骤，从而消除了这种误差累积。

问题 2：为什么抛弃梅尔谱对音色克隆很重要？

梅尔谱虽然是一种有效的音频压缩表示，但它在频率分辨率和相位信息保留上存在局限。对于需要极高还原度的音色克隆任务，梅尔谱的局限性限制了音色的细腻程度。直接学习波形规律可以让模型掌握更丰富的音频细节，使克隆出的声音更具“灵魂”。

问题 3：LongCat-AudioDiT适用于哪些场景？

根据其技术特性，该模型特别适用于“零样本（Zero-shot）”场景，即在只有极短参考音频的情况下，快速克隆并生成目标人物的声音，广泛应用于智能客服、有声书阅读及虚拟人交互等领域。