返回列表
美团LongCat发布General 365推理评测集:Gemini 3 Pro仅获62.8分,树立AI推理新标尺
行业新闻人工智能大模型评测基准

美团LongCat发布General 365推理评测集:Gemini 3 Pro仅获62.8分,树立AI推理新标尺

美团LongCat团队正式推出General 365推理评测基准。在对26款主流模型的实测中,目前表现最强的Gemini 3 Pro准确率仅为62.8%,而绝大多数模型得分均低于60分及格线。该评测集的发布旨在为大模型推理能力提供更严苛、更真实的衡量标准,揭示了当前顶尖AI模型在复杂推理任务中仍面临巨大挑战。

美团技术团队

核心要点

  • 权威发布:美团LongCat团队正式开源General 365,旨在为大模型推理能力建立全新的评测标准。
  • 覆盖广泛:该评测集对目前市面上26款主流大模型进行了深度实测。
  • 高难度挑战:实测数据显示,目前被公认为最强的Gemini 3 Pro准确率仅为62.8%。
  • 行业现状:绝大多数参测模型未能达到60分的及格线,反映出当前AI推理能力的局限性。

详细分析

General 365:推理能力的新试金石

美团LongCat团队推出的General 365并非普通的性能测试,而是针对大模型逻辑推理能力的深度挖掘。在当前AI领域,模型在基础对话和信息检索方面已表现出色,但在处理复杂逻辑、多步推理以及深度理解任务时,依然存在明显的短板。General 365的出现,正是为了填补这一评测空白。通过对26款主流模型的横向对比,该基准揭示了当前AI技术在通往“通用人工智能”道路上必须跨越的推理障碍。

数据解读:及格线下的行业思考

在General 365的严苛测试下,即便是目前处于行业顶尖地位的Gemini 3 Pro,其准确率也仅维持在62.8%。这一数据具有极强的警示意义:它意味着即使是全球最领先的模型,在面对复杂推理场景时,仍有近四成的错误率。更令人关注的是,参与测试的绝大多数模型甚至无法触及60分的及格线。这一结果直接证明了目前大模型在推理任务上的普遍乏力,也说明了General 365作为评测工具,其题目设计具有极高的区分度和挑战性,能够有效识别出模型在逻辑严密性上的细微差距。

行业影响

General 365的开源对AI行业具有深远的影响。首先,它打破了以往模型评测中动辄“满分”或“接近满分”的虚假繁荣,通过极具挑战性的数据,让开发者和研究机构能够更清醒地认识到现有模型的真实水平。其次,作为美团技术团队的贡献,这一基准为行业提供了统一的对标尺度,有助于推动大模型研发从单纯的参数规模竞赛转向更深层次的逻辑推理能力优化。最后,General 365的发布将引导行业关注推理任务的真实落地表现,为未来更智能、更具逻辑性的AI应用奠定评测基础。

常见问题

问题 1:什么是General 365评测集?

General 365是由美团LongCat团队发布的一项针对大语言模型推理能力的专业评测基准,旨在通过高难度的测试任务衡量模型的逻辑思维水平。

问题 2:为什么Gemini 3 Pro的得分只有62.8%?

这主要源于General 365评测任务的复杂性。62.8%的准确率虽然在数值上看似不高,但在该评测体系下已是26款主流模型中的最高分,这反映了该基准对逻辑推理能力的极高要求。

问题 3:绝大多数模型不及格说明了什么?

这说明当前主流大模型在处理深度推理任务时仍存在普遍瓶颈。大多数模型在面对复杂逻辑问题时,其稳定性和准确性仍有待大幅提升,尚未达到可靠的工业化应用及格水平。

相关新闻

美团发布LongCat-2.0:首个五万卡国产算力集群训练的1.6T万亿参数模型
行业新闻

美团发布LongCat-2.0:首个五万卡国产算力集群训练的1.6T万亿参数模型

美团技术团队正式发布LongCat-2.0,这是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型。该模型总参数量达1.6T,原生支持1M超长上下文,专门针对Agentic Coding任务进行了深度优化,旨在提升代码理解、生成与执行的效率与稳定性,标志着国产算力在大模型全流程应用上的重大突破。

美团履约团队ACL 2026前沿技术分享:大模型Agent体系赋能业务实践
行业新闻

美团履约团队ACL 2026前沿技术分享:大模型Agent体系赋能业务实践

美团业务研发平台履约AI算法团队近期分享了其在ACL 2026会议上的精选论文及前沿技术实践。团队专注于构建以大模型为基础的Agent技术体系,通过CPT、Post-training、Agentic RL及多模态理解等核心技术,打造自进化的Agent运营系统,旨在利用AI深度赋能美团履约业务,提升系统智能化水平。

美团技术团队分享搜索推荐ASX专场顶会论文:聚焦大模型Agent技术体系
行业新闻

美团技术团队分享搜索推荐ASX专场顶会论文:聚焦大模型Agent技术体系

美团业务研发平台/搜推 ASX (Agentic System X) 团队近期公开了其在 AI 国际顶会(如 ICLR、NeurIPS 等)发表的数十篇高质量研究成果。该团队核心聚焦于构建以大模型为基础的 Agent 技术体系,深耕大模型后训练、Agentic 强化学习及多模态理解等前沿方向。本次分享精选了 6 篇具有代表性的论文进行解读,旨在为行业提供关于搜索推荐领域技术演进的深度启发。