返回列表
美团LongCat发布General 365推理评测:Gemini 3 Pro仅获62.8分,多数模型未达及格线
行业新闻美团人工智能大模型

美团LongCat发布General 365推理评测:Gemini 3 Pro仅获62.8分,多数模型未达及格线

美团LongCat团队正式发布全新推理评测基准General 365。在对全球26款主流大模型的实测中,目前性能顶尖的Gemini 3 Pro准确率仅为62.8%,而绝大多数参测模型得分均低于60分。这一结果揭示了当前AI模型在复杂推理任务上的巨大挑战,General 365正成为衡量大模型核心逻辑能力的新标尺。

美团技术团队

核心要点

  • 发布全新基准:美团LongCat团队正式推出General 365,旨在为大模型推理能力设定更高标准的评测体系。
  • 覆盖范围广泛:本次实测涵盖了全球26款主流大模型,具有极高的行业代表性。
  • 顶尖模型受挫:目前公认的最强模型Gemini 3 Pro在测试中仅取得62.8%的准确率。
  • 行业普遍短板:绝大多数参测模型未能达到60分的及格线,暴露出推理能力的普遍不足。

详细分析

推理评测的新标尺:General 365的诞生

美团LongCat团队此次发布的General 365推理评测基准,是在当前大模型能力快速迭代背景下的一次重要尝试。随着大语言模型在对话、创作等领域趋于成熟,行业对模型核心能力的关注点正加速向“深度推理”转移。General 365的出现,不仅是美团技术团队在AI基础设施建设上的重要成果,更是为行业提供了一个能够真实反映模型逻辑严密性的“试金石”。通过对26款主流模型的横向对比,该基准揭示了当前AI技术在处理复杂逻辑链条时的真实水位。

性能天花板的警示:Gemini 3 Pro的实测表现

在本次公布的测试数据中,Gemini 3 Pro的表现尤为引人注目。作为目前全球范围内性能领先的旗舰模型,其62.8%的准确率虽然在26款模型中位居前列,但这一数字本身也释放了一个强烈的信号:即便是最顶尖的AI,在面对General 365所设定的推理挑战时,依然显得有些力不从心。这种“低分领跑”的现象,说明General 365的题目设计极具区分度,能够有效识别出模型在处理高难度逻辑问题时的细微差距,也证明了当前大模型距离真正的“通用人工智能”仍有显著距离。

多数模型“不及格”背后的行业现状

测试结果显示,绝大多数模型甚至没能摸到60分的及格线。这一数据反映出当前大模型行业存在的一个普遍问题:模型在处理常识性对话或简单任务时表现出色,但在需要多步推理、逻辑推演及复杂问题求解时,往往会出现逻辑断裂或幻觉问题。General 365通过严苛的评测标准,将这些隐藏在繁荣表象下的技术短板公之于众,促使开发者重新审视模型训练策略,从单纯追求参数规模转向对逻辑推理能力的深度挖掘。

行业影响

General 365的发布将对AI行业产生深远影响。首先,它打破了以往评测基准中模型得分普遍偏高的“虚假繁荣”,为开发者提供了更具参考价值的改进方向。其次,美团作为国内领先的技术驱动型企业,通过开源此类高质量评测基准,有助于提升国产大模型在国际推理能力评估中的话语权。最后,这一基准将推动行业资源向高质量数据和复杂逻辑训练倾斜,加速大模型从“能言善辩”向“深度思考”的进化。

常见问题

问题 1:General 365主要测试大模型的哪些方面?

General 365主要聚焦于大模型的推理能力。通过设计一系列高难度的逻辑挑战,评估模型在处理复杂问题、多步推演以及逻辑严密性方面的表现,是衡量模型“聪明程度”的核心指标。

问题 2:为什么Gemini 3 Pro的得分只有62.8%?

这主要源于General 365极高的评测难度。62.8%的得分虽然看起来不高,但在26款主流模型的横向对比中已是最高分。这说明该基准能够有效拉开模型间的差距,识别出顶尖模型在极限推理场景下的不足。

问题 3:绝大多数模型不及格意味着什么?

这意味着当前大模型在深度推理领域仍处于早期阶段。多数模型在面对复杂逻辑任务时表现不稳定,无法达到基础的准确性要求。这为后续的模型优化指明了方向,即需要加强逻辑训练和高质量推理数据的积累。

相关新闻

ICML 2026 成果发布:美团技术团队多篇学术论文入选顶级机器学习会议
行业新闻

ICML 2026 成果发布:美团技术团队多篇学术论文入选顶级机器学习会议

美团技术团队在国际顶级机器学习会议 ICML 2026 中取得重要进展,多篇学术论文被收录。ICML 作为全球机器学习领域最具影响力的学术盛会之一,致力于探讨行业未来发展的关键挑战与核心问题。此次美团技术团队的论文入选,展示了其在具有重要理论价值和实际影响的前沿研究成果方面的深厚积累,体现了企业在推动领域发展及引领未来研究方向上的积极贡献。

美团履约团队亮相ACL 2026:深耕大模型Agent技术,驱动业务系统自进化
行业新闻

美团履约团队亮相ACL 2026:深耕大模型Agent技术,驱动业务系统自进化

美团业务研发平台履约AI算法团队近期在ACL 2026展示了其在大模型Agent技术体系方面的最新研究成果。该团队聚焦于CPT、Post-training、Agentic RL及多模态理解等前沿方向,致力于构建以大模型为基础的自进化运营系统,通过AI技术深度赋能美团履约业务,已在国际顶会发表数十篇高质量论文。

ACL 2026美团技术团队论文精选:深度解析大模型评测与推理优化新范式
行业新闻

ACL 2026美团技术团队论文精选:深度解析大模型评测与推理优化新范式

本文深度解读了美团技术团队被国际自然语言处理顶级会议ACL 2026收录的6篇高质量论文。研究内容全面覆盖了大模型能力评测、复杂流程推理、竞赛级数学思维优化、强化学习优化以及生成式推荐等前沿领域,展示了美团在构建生成式AI新范式方面的最新技术突破与学术贡献。