返回列表
美团发布LongCat-2.0:首个国产五万卡集群训练的1.6万亿参数大模型
技术发布美团技术大模型国产算力

美团发布LongCat-2.0:首个国产五万卡集群训练的1.6万亿参数大模型

美团技术团队正式发布LongCat-2.0模型。该模型是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型,总参数量达1.6T。LongCat-2.0采用从零预训练模式,原生支持1M超长上下文,其架构设计专注于提升Agentic Coding任务中的代码理解与生成效率,标志着国产算力在大模型研发领域的重大突破。

美团技术团队

核心要点

  • 算力突破:业界首个在五万卡国产算力集群上实现全流程训练与推理的万亿级模型。
  • 超大规模:总参数量达1.6T,采用动态激活机制,平均激活约48B,动态范围在33B至56B之间。
  • 长文本支持:原生支持1M(百万级)超长上下文,能够处理海量信息。
  • 应用聚焦:核心目标定位于Agentic Coding(智能体编程),强化代码理解、生成与执行的稳定性。

详细分析

国产算力集群的里程碑式应用

LongCat-2.0的发布不仅是模型参数规模的提升,更是国产算力生态的一次重要实战检验。该模型在五万卡规模的国产算力集群上完成了从零开始的预训练及后续推理全流程。在1.6T参数的超大规模下,能够实现全链路的稳定运行,证明了国产硬件基础设施在大规模分布式训练、通信效率及系统稳定性方面已具备支撑顶级万亿级模型研发的能力。

动态激活架构与1M超长上下文

在架构设计上,LongCat-2.0展示了极高的灵活性与效率。虽然总参数量高达1.6T,但通过优化,其平均激活参数仅约48B,动态范围控制在33B至56B之间。这种设计在保持超大规模模型表达能力的同时,显著降低了推理成本并提升了响应速度。此外,原生支持的1M超长上下文,使其在处理复杂项目代码库或长篇技术文档时具有天然优势,能够实现更深层次的全局逻辑理解。

赋能Agentic Coding:从生成到执行

LongCat-2.0的架构设计自始至终围绕“Agentic Coding”这一核心目标展开。与传统的代码补全模型不同,它更强调在真实的编程场景中,作为智能体高效、稳定地完成任务。通过对代码理解、生成与执行全流程的深度优化,模型能够更好地辅助开发者处理复杂的工程问题,提升自动化编程的可靠性,为AI驱动的软件开发模式转型提供了技术底座。

行业影响

LongCat-2.0的问世标志着大模型竞争进入了“国产算力+万亿参数”的新阶段。它验证了国产万卡集群在超大规模参数模型训练上的可行性,为国内科技企业摆脱外部算力依赖、自主研发核心技术提供了重要参考。同时,其在长上下文和编程智能体领域的深耕,将推动AI在软件工程领域的应用从简单的“代码辅助”向“自主任务执行”跨越,加速产业智能化升级。

常见问题

问题 1:LongCat-2.0的参数规模是如何分布的?

LongCat-2.0的总参数量为1.6T,但在实际运行中采用动态激活机制,平均激活参数约为48B,动态范围在33B至56B之间,这种设计兼顾了模型的深度性能与实际推理的计算效率。

问题 2:该模型在算力平台上有什么特殊意义?

它是业界首个在五万卡规模的国产算力集群上完成全流程训练与推理的模型,展示了国产算力在承载超大规模模型研发任务时的成熟度与协同能力。

问题 3:1M超长上下文对编程任务有何实际帮助?

1M(百万级)上下文支持意味着模型可以一次性读取并理解整个大型项目的源代码、依赖关系及技术文档,从而在进行代码生成、重构或Debug时具备全局视野,大幅提升任务处理的准确性。

相关新闻