
美团LongCat发布General 365推理评测:Gemini 3 Pro仅获62.8分,多数模型未达及格线
美团LongCat团队正式发布全新推理评测基准General 365。在对全球26款主流大模型的实测中,目前性能顶尖的Gemini 3 Pro准确率仅为62.8%,而绝大多数参测模型得分均低于60分。这一结果揭示了当前AI模型在复杂推理任务上的巨大挑战,General 365正成为衡量大模型核心逻辑能力的新标尺。
核心要点
- 发布全新基准:美团LongCat团队正式推出General 365,旨在为大模型推理能力设定更高标准的评测体系。
- 覆盖范围广泛:本次实测涵盖了全球26款主流大模型,具有极高的行业代表性。
- 顶尖模型受挫:目前公认的最强模型Gemini 3 Pro在测试中仅取得62.8%的准确率。
- 行业普遍短板:绝大多数参测模型未能达到60分的及格线,暴露出推理能力的普遍不足。
详细分析
推理评测的新标尺:General 365的诞生
美团LongCat团队此次发布的General 365推理评测基准,是在当前大模型能力快速迭代背景下的一次重要尝试。随着大语言模型在对话、创作等领域趋于成熟,行业对模型核心能力的关注点正加速向“深度推理”转移。General 365的出现,不仅是美团技术团队在AI基础设施建设上的重要成果,更是为行业提供了一个能够真实反映模型逻辑严密性的“试金石”。通过对26款主流模型的横向对比,该基准揭示了当前AI技术在处理复杂逻辑链条时的真实水位。
性能天花板的警示:Gemini 3 Pro的实测表现
在本次公布的测试数据中,Gemini 3 Pro的表现尤为引人注目。作为目前全球范围内性能领先的旗舰模型,其62.8%的准确率虽然在26款模型中位居前列,但这一数字本身也释放了一个强烈的信号:即便是最顶尖的AI,在面对General 365所设定的推理挑战时,依然显得有些力不从心。这种“低分领跑”的现象,说明General 365的题目设计极具区分度,能够有效识别出模型在处理高难度逻辑问题时的细微差距,也证明了当前大模型距离真正的“通用人工智能”仍有显著距离。
多数模型“不及格”背后的行业现状
测试结果显示,绝大多数模型甚至没能摸到60分的及格线。这一数据反映出当前大模型行业存在的一个普遍问题:模型在处理常识性对话或简单任务时表现出色,但在需要多步推理、逻辑推演及复杂问题求解时,往往会出现逻辑断裂或幻觉问题。General 365通过严苛的评测标准,将这些隐藏在繁荣表象下的技术短板公之于众,促使开发者重新审视模型训练策略,从单纯追求参数规模转向对逻辑推理能力的深度挖掘。
行业影响
General 365的发布将对AI行业产生深远影响。首先,它打破了以往评测基准中模型得分普遍偏高的“虚假繁荣”,为开发者提供了更具参考价值的改进方向。其次,美团作为国内领先的技术驱动型企业,通过开源此类高质量评测基准,有助于提升国产大模型在国际推理能力评估中的话语权。最后,这一基准将推动行业资源向高质量数据和复杂逻辑训练倾斜,加速大模型从“能言善辩”向“深度思考”的进化。
常见问题
问题 1:General 365主要测试大模型的哪些方面?
General 365主要聚焦于大模型的推理能力。通过设计一系列高难度的逻辑挑战,评估模型在处理复杂问题、多步推演以及逻辑严密性方面的表现,是衡量模型“聪明程度”的核心指标。
问题 2:为什么Gemini 3 Pro的得分只有62.8%?
这主要源于General 365极高的评测难度。62.8%的得分虽然看起来不高,但在26款主流模型的横向对比中已是最高分。这说明该基准能够有效拉开模型间的差距,识别出顶尖模型在极限推理场景下的不足。
问题 3:绝大多数模型不及格意味着什么?
这意味着当前大模型在深度推理领域仍处于早期阶段。多数模型在面对复杂逻辑任务时表现不稳定,无法达到基础的准确性要求。这为后续的模型优化指明了方向,即需要加强逻辑训练和高质量推理数据的积累。


