美团发布LongCat-AudioDiT：抛弃梅尔谱，重塑零样本TTS音色克隆上限

核心要点

• 技术发布：美团LongCat团队正式推出LongCat-AudioDiT模型，聚焦零样本音色克隆。
• 架构革新：彻底抛弃梅尔谱（Mel-spectrogram）等传统中间表示环节。
• 核心机制：在波形潜空间（Waveform Latent Space）直接进行基于扩散模型的文本转语音（TTS）。
• 主要优势：从根源上阻断了数据转换带来的级联误差，使AI能直接学习声音本质规律。

详细分析

告别梅尔谱：阻断级联误差的根源

在传统的文本转语音（TTS）技术路径中，系统通常需要经历从文本到中间表示（如梅尔谱），再从中间表示到最终波形的转换过程。这种多级级联的架构虽然在过去取得了显著成果，但也存在一个致命缺陷：每一层转换都会引入不可避免的信息损失和计算偏差，即“级联误差”。

美团LongCat-AudioDiT的核心突破在于其“彻底抛弃”了梅尔谱等中间环节。通过简化流程，模型不再受限于中间表示的精度瓶颈，从而在根源上阻断了误差的累积。这种设计思路让AI能够跳过人为定义的中间步骤，直接面对声音的最原始形态，为实现更高上限的音色克隆奠定了基础。

波形潜空间与扩散模型的艺术结合

LongCat-AudioDiT采用了基于扩散模型（AudioDiT）的技术架构，但其独特之处在于操作空间的改变。模型选择在波形潜空间内进行建模，这意味着AI是在一个更接近声音本质、包含更多原始细节的数学空间中进行创作。

扩散模型的引入，赋予了系统极强的生成能力和对复杂声音规律的捕捉能力。通过在潜空间内的迭代优化，LongCat-AudioDiT能够精准地还原目标音色的细微特征。这种直接在波形层面进行的“声音克隆艺术”，不仅提升了零样本场景下的相似度，更让合成的声音在自然度和质感上达到了新的高度，真正实现了让AI学会声音本身的规律。

行业影响

LongCat-AudioDiT的发布标志着TTS技术正在经历从“模拟转换”到“本质学习”的范式转移。对于AI行业而言，这种去中间化的架构探索为解决长久以来的音质损耗问题提供了极具参考价值的新路径。特别是在零样本音色克隆领域，该技术的应用将极大降低高质量语音定制的门槛，推动个性化语音交互、虚拟人及内容创作行业向更高效、更真实的方向演进。

常见问题

什么是LongCat-AudioDiT？

LongCat-AudioDiT是由美团LongCat团队研发的一种新型文本转语音（TTS）模型。它利用扩散模型在波形潜空间直接生成语音，专注于提升零样本音色克隆的质量。

为什么抛弃梅尔谱对声音克隆很重要？

抛弃梅尔谱可以消除传统TTS系统中多级转换产生的级联误差。直接在波形潜空间建模能减少信息损失，使AI能更直接地掌握声音规律，从而生成更真实、更接近原声的音色。

该模型如何处理零样本音色克隆？

模型通过在波形潜空间应用扩散模型，直接学习并模拟声音的本质特征。这种方式使其在面对从未见过的参考音色时，也能通过强大的生成能力实现高精度的音色还原。