返回列表
美团LongCat发布General 365推理评测:Gemini 3 Pro仅获62.8分,多数模型不及格
行业新闻美团人工智能大模型

美团LongCat发布General 365推理评测:Gemini 3 Pro仅获62.8分,多数模型不及格

美团LongCat团队正式发布General 365推理评测基准,旨在为大模型推理能力树立新标尺。在对26款主流模型的实测中,目前表现最强的Gemini 3 Pro准确率仅为62.8%,而绝大多数模型得分均未能达到60分的及格线。这一结果揭示了当前顶尖AI模型在复杂推理任务中仍面临巨大挑战。

美团技术团队

核心要点

  • 发布新基准:美团LongCat团队正式推出名为General 365的大模型推理评测基准。
  • 覆盖范围广:该评测对目前市面上26款主流大模型进行了深度实测。
  • 顶尖模型受挫:被视为行业标杆的Gemini 3 Pro在测试中仅取得62.8%的准确率。
  • 行业普遍困境:参与测试的绝大多数模型准确率均低于60%,未能达到及格水平。

详细分析

推理评测的新标尺:General 365的诞生

随着大语言模型(LLM)技术的飞速发展,传统的评测基准已逐渐难以区分顶尖模型之间的能力差异。美团LongCat团队推出的General 365正是为了应对这一挑战。作为一个全新的推理评测基准,General 365专注于评估模型在复杂逻辑、多步推理以及深度理解方面的表现。它的出现不仅为行业提供了一个更严苛的“试金石”,也反映出美团技术团队在推动AI评测标准化方面的努力。通过这种高难度的测试,开发者能够更清晰地识别模型在处理高阶认知任务时的短板。

实测数据解读:及格线下的集体失准

在General 365的首批实测中,26款主流模型的表现出人意料。即便是在多项国际榜单中领跑的Gemini 3 Pro,其准确率也仅为62.8%。这一数据表明,即使是目前“地表最强”的模型,在面对General 365所设定的推理任务时,依然存在明显的逻辑漏洞或理解偏差。更令人关注的是,绝大多数参与测试的模型甚至没能触及60分的及格线。这种普遍性的“不及格”现象,有力地证明了当前大模型在通用推理能力上仍处于初级阶段,距离真正的类人逻辑思考还有很长的路要走。

行业影响

General 365的发布对AI行业具有重要的导向意义。首先,它打破了部分模型在简单评测集上营造的“全能”幻象,迫使行业回归到对底层逻辑推理能力的关注。其次,这一基准的设立将推动大模型研发从单纯的参数规模竞赛转向更高质量的逻辑训练。对于企业用户而言,General 365提供的实测数据具有极高的参考价值,有助于其在选择模型时更加理性,避开营销噱头,关注真实的业务处理能力。美团此举也进一步增强了其在AI基础设施与评测标准领域的话语权。

常见问题

什么是General 365评测基准?

General 365是由美团LongCat团队发布的,专门针对大模型推理能力进行深度评估的全新评测标准,旨在提供比现有基准更具挑战性的测试环境。

为什么Gemini 3 Pro的得分只有62.8%?

这反映了General 365评测任务的高难度。即使是目前最先进的模型,在面对该基准设定的复杂推理逻辑时,也难以保证极高的准确率,说明模型在深度逻辑处理上仍有提升空间。

绝大多数模型不及格意味着什么?

这意味着当前主流大模型在处理复杂、严谨的推理任务时普遍存在可靠性不足的问题。这一结果提醒行业,提升模型的逻辑推理质量比单纯追求模型规模更为紧迫。

相关新闻

美团LongCat团队发布WBench:首个交互式视频世界模型多轮评测基准
行业新闻

美团LongCat团队发布WBench:首个交互式视频世界模型多轮评测基准

美团LongCat团队正式开源了WBench,这是全球首个针对交互式视频世界模型设计的系统性多轮评测基准。WBench被形象地比作“CT扫描仪”,旨在精准识别和定位世界模型在从传统的“被动观看”模式向“主动交互”模式转型过程中遇到的技术瓶颈,为世界模型的发展提供了关键的评估工具。

美团AI科研爆发:32篇顶会论文精讲,含ACL 2026杰出论文深度解析
行业新闻

美团AI科研爆发:32篇顶会论文精讲,含ACL 2026杰出论文深度解析

美团技术团队在2026年AI学术领域取得重大突破,数十篇论文被ACL、SIGIR、ICML、KDD等国际顶级会议收录。团队精选32篇核心论文,通过5大专场直播形式进行深度技术精讲,其中包括备受瞩目的ACL 2026杰出论文。此次大规模的技术成果分享,不仅展示了美团在自然语言处理、机器学习及搜索推荐等领域的前沿探索,也为行业提供了宝贵的实战经验与理论参考。

美团发布LongCat-2.0:首个五万卡国产算力集群训练的1.6T万亿参数模型
行业新闻

美团发布LongCat-2.0:首个五万卡国产算力集群训练的1.6T万亿参数模型

美团技术团队正式发布LongCat-2.0模型。该模型是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数大模型,总参数量达1.6T。LongCat-2.0采用从零预训练模式,原生支持1M超长上下文,其核心设计目标聚焦于Agentic Coding任务,旨在提升代码理解、生成与执行的效率与稳定性。