
美团LongCat发布General 365推理评测基准:Gemini 3 Pro准确率仅62.8%领跑
美团LongCat团队正式发布General 365推理评测基准,旨在为大语言模型的推理能力树立新标尺。在对26款主流模型的实测中,目前表现最强的Gemini 3 Pro准确率仅为62.8%,而绝大多数模型未能达到60%的及格线。这一结果揭示了当前AI模型在复杂推理任务中面临的严峻挑战,为行业提供了客观的性能评估参考。
核心要点
- 发布新基准:美团LongCat团队正式推出名为“General 365”的推理评测基准,旨在通过高难度任务衡量大模型的真实推理水平。
- 覆盖范围广:该评测对行业内26款主流大模型进行了实测,涵盖了当前市场上的核心竞争力量。
- 顶尖模型表现:实测数据显示,目前被视为“地表最强”的Gemini 3 Pro在General 365上的准确率仅为62.8%。
- 行业普遍瓶颈:绝大多数参测模型表现不佳,准确率未能触及60%的及格线,显示出推理能力仍是大模型发展的核心短板。
详细分析
General 365:推理能力的新试金石
美团LongCat团队发布的General 365不仅仅是一个简单的测试集,它被定位为“推理评测的新标尺”。在当前大模型层出不穷的背景下,传统的评测基准往往难以区分顶尖模型在复杂逻辑处理上的细微差别。General 365的出现,通过对26款主流模型的横向对比,为行业提供了一个观察模型深度推理能力的窗口。从美团技术团队披露的信息来看,这一基准的设计初衷是挑战模型在处理复杂、多步骤逻辑任务时的稳定性与准确性。
性能数据背后的行业现状:及格线上的挣扎
根据实测结果,即便是目前公认性能卓越的Gemini 3 Pro,其62.8%的准确率也反映出即便在最前沿的AI技术中,推理任务依然是一个巨大的挑战。更令人关注的是,绝大多数模型甚至没能摸到60分的及格线。这一数据极具冲击力,它打破了市场对大模型“无所不能”的幻觉。当准确率普遍低于60%时,意味着在实际应用场景中,模型在处理复杂推理问题时仍存在较高的错误率和不确定性。这种“集体不及格”的现象,明确了未来模型优化的关键方向——即如何从简单的模式匹配转向真正的逻辑推理。
行业影响
美团LongCat发布General 365对AI行业具有深远意义。首先,它完善了大模型的评价体系,将评测重点从基础对话能力转向了更高阶的推理能力。其次,通过公开26款模型的实测数据,它为开发者提供了清晰的行业坐标,有助于各团队针对性地解决推理短板。最后,Gemini 3 Pro仅62.8%的得分,实际上为全球AI研发者设定了一个新的挑战目标,预示着下一阶段的大模型竞赛将围绕“突破推理天花板”展开。
常见问题
问题 1:什么是General 365?
General 365是由美团LongCat团队发布的针对大语言模型的推理评测基准。它通过对主流模型进行实测,旨在为行业提供一个衡量模型推理能力高低的客观标准。
问题 2:目前在General 365上表现最好的模型是谁?
根据美团LongCat团队的实测数据,目前表现最强的模型是Gemini 3 Pro,其准确率为62.8%。
问题 3:为什么说大多数模型在推理能力上仍有待提高?
因为在General 365的测试中,除了极少数顶尖模型外,绝大多数参测模型的准确率都低于60%,这意味着它们在处理该基准设定的推理任务时,表现尚未达到及格水平。


