美团发布LongCat-2.0：首个在五万卡国产算力集群训练的万亿参数大模型

核心要点

• 规模突破：总参数量达到1.6T（万亿级），是业界首个在五万卡国产算力集群上完成全流程训练与推理的模型。
• 动态架构：平均激活参数约为48B，动态范围在33B至56B之间，实现了高性能与推理效率的平衡。
• 超长上下文：原生支持1M（百万级）超长上下文，能够处理极大规模的代码库和复杂任务流。
• 场景聚焦：自始至终围绕“Agentic Coding”核心目标设计，优化代码理解、生成与执行的全链路体验。
• 国产化里程碑：实现了从零开始的预训练，验证了大规模国产算力集群在万亿参数模型上的全流程可靠性。

详细分析

国产算力集群的极限挑战与突破

LongCat-2.0 的发布不仅是一个模型的更新，更是国产算力基础设施能力的有力证明。在五万卡规模的集群上进行万亿参数模型的全流程预训练，涉及极其复杂的并行计算策略、网络通信优化以及容错机制。原文指出，该模型是在国产算力集群上完成的“全流程”训练与推理，这意味着从底层算子优化到上层框架调度，已经实现了对国产硬件的深度适配。这种规模的集群管理难度呈几何倍数增长，美团技术团队的这一实践，为国内AI行业摆脱外部算力依赖、构建自主可控的大模型生态提供了宝贵的工程经验。

万亿参数下的动态激活艺术

在架构设计上，LongCat-2.0 展现了对效率的极致追求。虽然总参数量高达1.6T，但其采用了动态激活机制，平均激活参数仅为48B（动态范围33B~56B）。这种设计思路类似于混合专家模型（MoE），但在动态范围的控制上更为精准。通过这种方式，模型既能利用万亿参数带来的巨大知识容量和推理能力，又能将推理成本和延迟控制在合理范围内。对于开发者而言，这意味着在处理复杂的逻辑推理时，模型能够调用更丰富的参数资源，而在处理常规任务时则保持高效运行。

原生1M上下文与Agentic Coding的深度融合

LongCat-2.0 原生支持1M超长上下文，这一特性直接服务于其核心目标——Agentic Coding（智能体编码）。在真实的软件开发场景中，开发者往往需要处理包含数千个文件、数十万行代码的复杂项目。1M的上下文空间允许模型将整个代码库、技术文档以及历史提交记录一次性“读入”内存，从而在代码生成和Bug修复时具备全局视野。这种“原生支持”而非通过外挂插件实现的长文本能力，保证了模型在处理长序列时的注意力一致性，使其在代码理解、生成与执行的自动化流程中表现得更加稳定和高效。

行业影响

LongCat-2.0 的问世对AI行业具有多重深远意义。首先，它证明了国产算力集群完全具备支撑万亿参数模型从零预训练的能力，增强了行业对国产硬件的信心。其次，美团将模型研发的重心放在“Agentic Coding”这一垂直且极具价值的领域，预示着大模型竞争正从“通用能力比拼”转向“深度场景解决能力”的竞争。最后，1.6T参数规模与1M上下文的结合，为未来构建更高级别的AI Agent提供了坚实的底层架构支撑，可能引领编程自动化领域进入全新的阶段。

常见问题

问题 1：LongCat-2.0 的“动态激活”参数是什么意思？

答：动态激活是指模型在处理不同任务时，并不会动用全部1.6T的参数，而是根据输入内容的复杂程度，动态地调用其中的一部分参数进行计算。LongCat-2.0 的平均激活参数约为48B，波动范围在33B到56B之间。这样做可以在保持万亿级模型强大性能的同时，大幅提升推理速度并降低计算资源消耗。

问题 2：为什么 LongCat-2.0 特别强调支持 1M 超长上下文？

答：对于代码模型而言，上下文长度决定了它能“看”多少代码。1M（一百万）token的上下文意味着模型可以一次性理解整个大型项目的源代码。这对于实现复杂的 Agentic Coding（如跨文件的重构、全局逻辑分析）至关重要，避免了因上下文截断导致的逻辑错误。

问题 3：在国产算力集群上训练万亿模型有哪些技术难度？

答：主要难度在于五万卡规模下的通信效率和系统稳定性。在如此庞大的集群中，任何一张卡的故障或网络波动都可能导致训练中断。美团能够完成全流程训练，说明其在分布式训练框架、算子库优化以及集群容错管理方面达到了行业领先水平。