返回列表
美团发布原生多模态 LongCat-Next:让视觉与语音成为 AI 探索物理世界的“母语”
开源项目美团技术多模态 AI开源模型

美团发布原生多模态 LongCat-Next:让视觉与语音成为 AI 探索物理世界的“母语”

美团技术团队正式发布并开源原生多模态模型 LongCat-Next 及其核心组件离散分词器。该模型是美团在通往“物理世界 AI”道路上的重要探索,强调将视觉和语音作为 AI 的原生处理能力。通过开源模型与分词器,美团旨在赋能开发者构建能够感知、理解并作用于真实世界的智能系统,推动 AI 从数字空间走向物理环境的深度交互。

美团技术团队

核心要点

  • 原生多模态突破:LongCat-Next 将视觉和语音视为 AI 的“母语”,实现原生级别的多模态融合。
  • 物理世界 AI 探索:模型设计核心指向对真实物理世界的感知、理解与行动能力,而非局限于文本处理。
  • 核心组件开源:美团同步开源了 LongCat-Next 模型及其关键的离散分词器(Discrete Tokenizer)。
  • 赋能开发者生态:通过开源研究思路与工具,鼓励开发者构建能与现实环境交互的 AI 应用。

详细分析

原生多模态:从“翻译”到“母语”的演进

在传统的 AI 模型中,视觉和语音往往被视为外部插件或需要经过复杂转换的辅助输入。美团发布的 LongCat-Next 提出了一个核心研究思路:让视觉和语音成为 AI 的“母语”。这意味着模型在底层架构上实现了对非文本信号的原生支持。通过这种方式,AI 不再是简单地将图像或声音转化为文字后再进行理解,而是能够直接在多模态空间内进行思考。这种“原生性”极大地减少了信息在模态转换过程中的损耗,使得 AI 能够更直观、更准确地捕捉物理世界中的复杂信息。

物理世界 AI:感知与作用的闭环

LongCat-Next 的发布标志着 AI 研究重心从纯粹的数字逻辑向物理世界交互的转移。美团技术团队明确指出,该模型是通往“物理世界 AI”道路上的一次探索。一个真正能够作用于真实世界的 AI,必须具备三个层面的能力:首先是感知,即通过视觉和语音获取环境数据;其次是理解,即对感知到的数据进行深度逻辑加工;最后是作用,即基于理解结果对物理世界产生影响。LongCat-Next 的设计初衷正是为了打通这一闭环,使 AI 能够走出屏幕,成为能够理解现实环境并执行任务的智能体。

开源策略:离散分词器与生态构建

美团此次不仅发布了 LongCat-Next 模型,还重点开源了其“离散分词器”。在多模态模型中,分词器是连接原始信号与模型理解的桥梁。离散分词器的开源,意味着开发者可以深入了解 LongCat-Next 是如何将连续的视觉和语音信号转化为模型可处理的离散单元的。这一举措降低了多模态 AI 开发的门槛,为开发者提供了构建自定义物理世界 AI 的基础工具。美团希望通过这种开放的态度,汇聚社区力量,共同解决 AI 在感知和作用于真实世界时面临的复杂挑战。

行业影响

LongCat-Next 的开源对 AI 行业具有深远意义。首先,它推动了多模态技术从理论研究向实际应用场景的转化,特别是在需要高度环境感知能力的领域(如无人配送、智能硬件等)。其次,美团通过开源核心组件,加速了原生多模态技术的普及,可能引发行业内对于“物理世界 AI”架构的新一轮技术竞赛。最重要的是,这一举动强化了 AI 与现实世界的连接,预示着未来 AI 将更加深入地融入人类的日常生活和生产活动中。

常见问题

问题 1:LongCat-Next 与普通的多模态模型有什么区别?

LongCat-Next 的核心区别在于其“原生性”和“物理世界导向”。它将视觉和语音视为母语进行处理,而非次要的辅助输入,且其研发目标是让 AI 能够感知并作用于真实的物理环境,而不仅仅是处理虚拟数据。

问题 2:美团此次开源了哪些具体内容?

美团开源了 LongCat-Next 模型本身以及其核心的离散分词器(Discrete Tokenizer)。这涵盖了模型的研究思路和关键的信号处理工具,方便开发者进行二次开发和研究。

问题 3:为什么离散分词器对多模态 AI 如此重要?

离散分词器负责将复杂的视觉和语音信号转化为 AI 能够理解的离散标记。它是实现原生多模态理解的关键步骤,决定了模型感知物理世界的细腻程度和准确性。

相关新闻

LongCat 开源 VitaBench 2.0:定义长期动态智能体评测新标准
开源项目

LongCat 开源 VitaBench 2.0:定义长期动态智能体评测新标准

美团技术团队旗下的 LongCat 正式开源了 VitaBench 2.0。作为首个针对真实生活场景下长期动态用户建模的智能体评测基准,VitaBench 2.0 填补了行业空白。该基准旨在系统性地评估大语言模型在长期、真实且动态的互动过程中,所展现出的个性化服务能力与主动性表现,为智能体技术的发展提供了关键的度量工具。

美团开源海报生成AIGC技术体系:构建“生成-编辑-评判”全链路闭环
开源项目

美团开源海报生成AIGC技术体系:构建“生成-编辑-评判”全链路闭环

美团智能创作团队近日发布并开源了其海报生成AIGC技术体系。该体系通过构建“生成-编辑-评判”的技术闭环,实现了从创意产出到质量把控的全流程自动化。目前,该技术已在美团外卖及品牌IP等多个实际业务场景中成功落地,旨在通过技术创新提升营销素材的生产效率与质量,并向行业贡献其技术积累。

美团开源LongCat-Video-Avatar 1.5:从高拟真迈向商业级数字人应用新阶段
开源项目

美团开源LongCat-Video-Avatar 1.5:从高拟真迈向商业级数字人应用新阶段

美团技术团队正式开源LongCat-Video-Avatar 1.5,标志着数字人视频模型从学术研究向商业应用的重大跨越。该版本在唇形同步、物理合理性、长视频稳定性及多人互动等方面实现了全面突破。通过优化推理效率,LongCat-Video-Avatar 1.5能够在复杂商业场景下提供稳定、自然的高质量视频输出,为数字人技术的规模化落地提供了强有力的技术支撑。