
美团发布LongCat-2.0:首个在五万卡国产算力集群完成训练的万亿参数模型
美团技术团队正式发布LongCat-2.0,这是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型。该模型总参数量达1.6T,原生支持1M超长上下文,采用动态激活架构,专门针对Agentic Coding任务中的代码理解、生成与执行进行了深度优化,标志着国产算力在大模型全流程应用上的重大突破。
核心要点
- 万亿级参数规模:模型总参数量达到1.6T,平均激活参数约48B,动态范围在33B至56B之间。
- 国产算力里程碑:业界首个在五万卡国产算力集群上完成从预训练到推理全流程的万亿参数模型。
- 原生超长上下文:从零开始预训练,原生支持高达1M(一百万代币)的超长上下文处理能力。
- 聚焦Agentic Coding:核心设计目标是提升模型在真实代码任务中的理解、生成与执行效率。
详细分析
极致规模与动态激活架构
LongCat-2.0展现了极高的技术复杂度,其总参数量高达1.6T。为了在保持强大性能的同时兼顾推理效率,该模型采用了动态激活机制,平均激活参数仅为48B,并根据任务需求在33B到56B之间动态调整。这种设计使得模型在处理复杂任务时能够调用更多资源,而在简单任务中保持高效运行。
国产算力集群的全流程验证
该模型最显著的成就之一是在五万卡规模的国产算力集群上完成了全流程的训练与推理。这不仅证明了国产硬件在承载超大规模模型训练方面的可靠性,也展示了美团在国产算力适配、大规模分布式训练优化方面的深厚技术积累。LongCat-2.0是从零开始预训练的,而非基于现有模型微调,进一步验证了全链路国产化方案的可行性。
原生1M长上下文与代码智能
LongCat-2.0原生支持1M超长上下文,这对于处理大规模代码库和复杂的Agentic Coding任务至关重要。其架构设计始终围绕代码理解、生成与执行这一核心目标,旨在让模型在真实的编程场景中更加稳定、高效。通过超长上下文的支持,模型可以更完整地理解项目全局信息,从而在代码生成和逻辑执行中表现更优。
行业影响
LongCat-2.0的发布对AI行业具有双重意义。首先,它打破了万亿参数模型对特定海外算力的依赖,证明了利用国产五万卡集群进行全流程大模型开发的技术路径已经成熟。其次,针对Agentic Coding的深度优化,预示着AI在辅助编程领域正从简单的代码补全向更复杂的自主代理(Agent)阶段演进,将极大地提升软件开发的自动化水平。
常见问题
问题 1:LongCat-2.0的参数规模和激活机制是怎样的?
LongCat-2.0的总参数量为1.6T。它采用了动态激活架构,平均激活参数约为48B,根据任务复杂度的不同,动态激活范围在33B至56B之间,实现了性能与效率的平衡。
问题 2:该模型在算力支持方面有何突破?
它是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型。这意味着从底层的算力调度到上层的模型训练与推理,均已实现在大规模国产硬件环境下的闭环。
问题 3:LongCat-2.0的主要应用场景是什么?
该模型主要面向Agentic Coding(智能体编程)任务。通过原生支持1M超长上下文,它能够更高效地完成复杂代码的理解、生成与执行,适用于大规模软件工程和自动化编程场景。


