
美团LongCat发布General 365推理评测:Gemini 3 Pro仅获62.8分,多数模型不及格
美团LongCat团队正式发布General 365推理评测基准,旨在为大模型推理能力树立新标尺。在对26款主流模型的实测中,目前表现最强的Gemini 3 Pro准确率仅为62.8%,而绝大多数模型得分均未能达到60分的及格线。这一结果揭示了当前顶尖AI模型在复杂推理任务中仍面临巨大挑战。
核心要点
- 发布新基准:美团LongCat团队正式推出名为General 365的大模型推理评测基准。
- 覆盖范围广:该评测对目前市面上26款主流大模型进行了深度实测。
- 顶尖模型受挫:被视为行业标杆的Gemini 3 Pro在测试中仅取得62.8%的准确率。
- 行业普遍困境:参与测试的绝大多数模型准确率均低于60%,未能达到及格水平。
详细分析
推理评测的新标尺:General 365的诞生
随着大语言模型(LLM)技术的飞速发展,传统的评测基准已逐渐难以区分顶尖模型之间的能力差异。美团LongCat团队推出的General 365正是为了应对这一挑战。作为一个全新的推理评测基准,General 365专注于评估模型在复杂逻辑、多步推理以及深度理解方面的表现。它的出现不仅为行业提供了一个更严苛的“试金石”,也反映出美团技术团队在推动AI评测标准化方面的努力。通过这种高难度的测试,开发者能够更清晰地识别模型在处理高阶认知任务时的短板。
实测数据解读:及格线下的集体失准
在General 365的首批实测中,26款主流模型的表现出人意料。即便是在多项国际榜单中领跑的Gemini 3 Pro,其准确率也仅为62.8%。这一数据表明,即使是目前“地表最强”的模型,在面对General 365所设定的推理任务时,依然存在明显的逻辑漏洞或理解偏差。更令人关注的是,绝大多数参与测试的模型甚至没能触及60分的及格线。这种普遍性的“不及格”现象,有力地证明了当前大模型在通用推理能力上仍处于初级阶段,距离真正的类人逻辑思考还有很长的路要走。
行业影响
General 365的发布对AI行业具有重要的导向意义。首先,它打破了部分模型在简单评测集上营造的“全能”幻象,迫使行业回归到对底层逻辑推理能力的关注。其次,这一基准的设立将推动大模型研发从单纯的参数规模竞赛转向更高质量的逻辑训练。对于企业用户而言,General 365提供的实测数据具有极高的参考价值,有助于其在选择模型时更加理性,避开营销噱头,关注真实的业务处理能力。美团此举也进一步增强了其在AI基础设施与评测标准领域的话语权。
常见问题
什么是General 365评测基准?
General 365是由美团LongCat团队发布的,专门针对大模型推理能力进行深度评估的全新评测标准,旨在提供比现有基准更具挑战性的测试环境。
为什么Gemini 3 Pro的得分只有62.8%?
这反映了General 365评测任务的高难度。即使是目前最先进的模型,在面对该基准设定的复杂推理逻辑时,也难以保证极高的准确率,说明模型在深度逻辑处理上仍有提升空间。
绝大多数模型不及格意味着什么?
这意味着当前主流大模型在处理复杂、严谨的推理任务时普遍存在可靠性不足的问题。这一结果提醒行业,提升模型的逻辑推理质量比单纯追求模型规模更为紧迫。


