返回列表
美团LongCat发布General 365推理评测基准:Gemini 3 Pro准确率仅62.8%领跑
行业新闻美团大模型推理能力

美团LongCat发布General 365推理评测基准:Gemini 3 Pro准确率仅62.8%领跑

美团LongCat团队正式发布General 365推理评测基准,旨在为大语言模型的推理能力树立新标尺。在对26款主流模型的实测中,目前表现最强的Gemini 3 Pro准确率仅为62.8%,而绝大多数模型未能达到60%的及格线。这一结果揭示了当前AI模型在复杂推理任务中面临的严峻挑战,为行业提供了客观的性能评估参考。

美团技术团队

核心要点

  • 发布新基准:美团LongCat团队正式推出名为“General 365”的推理评测基准,旨在通过高难度任务衡量大模型的真实推理水平。
  • 覆盖范围广:该评测对行业内26款主流大模型进行了实测,涵盖了当前市场上的核心竞争力量。
  • 顶尖模型表现:实测数据显示,目前被视为“地表最强”的Gemini 3 Pro在General 365上的准确率仅为62.8%。
  • 行业普遍瓶颈:绝大多数参测模型表现不佳,准确率未能触及60%的及格线,显示出推理能力仍是大模型发展的核心短板。

详细分析

General 365:推理能力的新试金石

美团LongCat团队发布的General 365不仅仅是一个简单的测试集,它被定位为“推理评测的新标尺”。在当前大模型层出不穷的背景下,传统的评测基准往往难以区分顶尖模型在复杂逻辑处理上的细微差别。General 365的出现,通过对26款主流模型的横向对比,为行业提供了一个观察模型深度推理能力的窗口。从美团技术团队披露的信息来看,这一基准的设计初衷是挑战模型在处理复杂、多步骤逻辑任务时的稳定性与准确性。

性能数据背后的行业现状:及格线上的挣扎

根据实测结果,即便是目前公认性能卓越的Gemini 3 Pro,其62.8%的准确率也反映出即便在最前沿的AI技术中,推理任务依然是一个巨大的挑战。更令人关注的是,绝大多数模型甚至没能摸到60分的及格线。这一数据极具冲击力,它打破了市场对大模型“无所不能”的幻觉。当准确率普遍低于60%时,意味着在实际应用场景中,模型在处理复杂推理问题时仍存在较高的错误率和不确定性。这种“集体不及格”的现象,明确了未来模型优化的关键方向——即如何从简单的模式匹配转向真正的逻辑推理。

行业影响

美团LongCat发布General 365对AI行业具有深远意义。首先,它完善了大模型的评价体系,将评测重点从基础对话能力转向了更高阶的推理能力。其次,通过公开26款模型的实测数据,它为开发者提供了清晰的行业坐标,有助于各团队针对性地解决推理短板。最后,Gemini 3 Pro仅62.8%的得分,实际上为全球AI研发者设定了一个新的挑战目标,预示着下一阶段的大模型竞赛将围绕“突破推理天花板”展开。

常见问题

问题 1:什么是General 365?

General 365是由美团LongCat团队发布的针对大语言模型的推理评测基准。它通过对主流模型进行实测,旨在为行业提供一个衡量模型推理能力高低的客观标准。

问题 2:目前在General 365上表现最好的模型是谁?

根据美团LongCat团队的实测数据,目前表现最强的模型是Gemini 3 Pro,其准确率为62.8%。

问题 3:为什么说大多数模型在推理能力上仍有待提高?

因为在General 365的测试中,除了极少数顶尖模型外,绝大多数参测模型的准确率都低于60%,这意味着它们在处理该基准设定的推理任务时,表现尚未达到及格水平。

相关新闻

美团发布LongCat-2.0:首个国产五万卡集群训练的万亿参数模型,支持1M超长上下文
行业新闻

美团发布LongCat-2.0:首个国产五万卡集群训练的万亿参数模型,支持1M超长上下文

美团技术团队正式发布LongCat-2.0大模型。该模型是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型,总参数量达1.6T。LongCat-2.0采用从零预训练模式,原生支持1M(百万级)超长上下文,其架构设计深度聚焦于Agentic Coding任务,旨在提升复杂代码环境下的理解、生成与执行效率,标志着国产算力在大模型全链路开发上的重大突破。

ACL 2026 精选论文分享:美团履约团队大模型 Agent 技术体系深度解析
行业新闻

ACL 2026 精选论文分享:美团履约团队大模型 Agent 技术体系深度解析

美团履约 AI 算法团队在 ACL 2026 期间分享了其在大模型 Agent 技术体系方面的最新研究成果。该团队通过深耕持续预训练(CPT)、后训练(Post-training)、Agent 强化学习(Agentic RL)及多模态理解等前沿方向,成功构建了赋能美团履约业务的 Agent 自进化运营系统。目前,相关研究已在 ACL、EMNLP 等国际 AI 顶会发表数十篇高质量论文,展示了美团在 AI 工业落地与学术研究方面的深厚积淀。

ICML 2026 | 美团技术团队学术论文精选:探索机器学习前沿挑战
行业新闻

ICML 2026 | 美团技术团队学术论文精选:探索机器学习前沿挑战

美团技术团队在国际机器学习顶级会议ICML 2026上发布了学术论文精选。ICML作为全球最具影响力的学术平台,致力于探讨机器学习未来的关键挑战。美团此次入选的研究成果涵盖了具有重要理论价值与实际影响的前沿方向,展示了其在推动领域发展与引领未来研究方面的技术实力。