美团发布LongCat-2.0：首个五万卡国产算力集群训练的1.6T万亿参数模型

核心要点

• 国产算力里程碑：业界首个在五万卡规模的国产算力集群上，完成从零开始预训练到推理全流程的万亿参数模型。
• 超大规模参数架构：模型总参数量高达1.6T，采用动态激活机制，平均激活约48B，动态范围覆盖33B至56B。
• 百万级超长上下文：原生支持1M（一百万）Token的超长上下文处理能力，满足复杂长文本需求。
• 聚焦Agentic Coding：核心设计目标在于优化真实编程任务中的代码理解、生成与执行，提升Agent化编程的效率。

详细分析

国产算力集群的全流程实战突破

LongCat-2.0 的发布不仅是一个模型的更新，更是国产算力基础设施能力的集中展示。该模型在规模高达五万卡的国产算力集群上完成了全流程的训练与推理任务。这意味着从最底层的算力调度、集群稳定性保障，到上层的模型训练框架，都已经能够支撑起万亿级（1.6T）参数规模的深度学习任务。从零开始的预训练过程，验证了国产算力在处理超大规模数据和复杂计算图时的可靠性，为国内AI技术栈的自主可控提供了重要的实践案例。

万亿参数与动态激活的架构平衡

在架构设计上，LongCat-2.0 展现了极高的复杂性与灵活性。其总参数量达到了1.6T，但在实际运行中，模型并非全量激活。通过精细的架构设计，该模型实现了平均约48B的激活参数，且激活范围根据任务需求在33B至56B之间动态调整。这种设计思路在追求万亿参数带来的强大表征能力的同时，极大地优化了推理成本与计算效率。这种动态范围的设定，使得模型能够根据输入任务的复杂度，灵活分配计算资源，从而在保证性能的前提下实现更高效的输出。

原生1M上下文与Agentic Coding的深度融合

针对当前AI在编程领域面临的挑战，LongCat-2.0 原生支持了1M（一百万）Token的超长上下文。这一特性对于“Agentic Coding”（智能体编程）至关重要。在真实的软件开发场景中，代码库往往包含大量的关联文件和长达数万行的上下文信息。LongCat-2.0 的长上下文能力使其能够完整理解大型项目的逻辑结构，从而在代码理解、生成与执行的过程中表现出更高的稳定性。模型的设计初衷即是让AI不仅仅是简单的代码补全工具，而是能够深入参与到复杂的代码逻辑构建与执行任务中。

行业影响

LongCat-2.0 的问世对AI行业具有双重意义。首先，它证明了在非国际主流算力芯片的支持下，依然可以构建并运行世界级的万亿参数大模型，这提振了行业对国产算力生态的信心。其次，该模型对Agentic Coding的专注，预示着大模型应用正在从“通用对话”向“专业化任务执行”深度演进。通过解决超长上下文和代码执行稳定性问题，美团为开发者提供了一个更高效的生产力工具方向，可能引领下一阶段代码智能体技术的发展趋势。

常见问题

LongCat-2.0 的参数规模具体是多少？

LongCat-2.0 是一个万亿参数模型，其总参数量为1.6T。在实际运算中，它采用动态激活机制，平均激活参数约为48B，动态波动范围在33B到56B之间。

该模型在训练硬件上有何特殊之处？

它是业界首个在五万卡规模的国产算力集群上完成全流程训练与推理的模型，且该过程是从零开始的预训练，而非基于现有模型的微调。

1M超长上下文对编程有什么帮助？

1M超长上下文意味着模型可以一次性处理和理解极其庞大的代码库信息。在Agentic Coding任务中，这有助于模型更准确地掌握跨文件的逻辑关联，减少在处理复杂项目时的信息遗忘或断层，提高代码生成的准确性。