
美团LongCat发布General 365推理评测基准:Gemini 3 Pro准确率仅62.8%
美团LongCat团队正式发布General 365推理评测基准,旨在为AI模型推理能力树立新标尺。在对26款主流模型的实测中,目前顶尖的Gemini 3 Pro准确率仅为62.8%,而绝大多数模型未能达到60分的及格线。该基准的发布揭示了当前大模型在复杂推理任务中仍面临巨大挑战,为行业评估模型逻辑能力提供了重要参考。
核心要点
- 发布新基准:美团LongCat团队正式推出名为“General 365”的推理评测基准。
- 覆盖范围广:该评测对目前市面上26款主流AI模型进行了深度实测。
- 顶尖模型表现:目前被视为最强的Gemini 3 Pro在测试中仅取得62.8%的准确率。
- 行业整体水平:测试结果显示,绝大多数主流模型在推理任务上的表现均未达到60分的及格水平。
详细分析
General 365:树立推理评测的新标尺
美团LongCat团队此次发布的General 365,旨在解决当前大模型评测中对推理能力评估不够深入的问题。随着大语言模型(LLM)的快速迭代,简单的问答和文本生成已不足以衡量模型的真实智能水平。General 365通过构建复杂的推理场景,对模型的逻辑思维、多步推导以及问题解决能力提出了更高要求。这一基准的出现,不仅为开发者提供了一个严苛的测试环境,也为行业建立了一个衡量模型“深度思考”能力的统一尺度。
实测数据揭示的行业现状:及格线下的挑战
在针对26款主流模型的实测过程中,General 365展现出了极高的区分度。测试数据显示,即便是目前在全球范围内处于领先地位的Gemini 3 Pro,其准确率也仅为62.8%。这一数据虽然在所有参测模型中位居榜首,但从绝对分值来看,仍有巨大的提升空间。更令人关注的是,绝大多数参测模型甚至未能触及60分的及格线。这表明,尽管当前大模型在语言表达和知识储备上取得了显著进步,但在处理需要严密逻辑推理的任务时,依然面临着严重的性能瓶颈。这种“普遍不及格”的现象,反映出推理能力仍是当前AI技术发展的核心痛点。
行业影响
General 365的发布对AI行业具有深远的指导意义。首先,它戳破了部分模型在简单评测集上表现虚高的泡沫,将竞争焦点从“参数规模”引向了“推理质量”。其次,Gemini 3 Pro的实测成绩为行业树立了一个阶段性的天花板,明确了当前技术路径在推理任务上的极限。最后,这一基准将推动大模型研发团队更加关注逻辑推理算法的优化,促进模型从“概率预测”向“逻辑推演”的本质跨越,为实现通用人工智能(AGI)奠定更坚实的评测基础。
常见问题
问题:General 365主要评测模型的哪方面能力?
General 365主要聚焦于大模型的推理能力,通过复杂的测试设计来评估模型在逻辑推导和解决复杂问题时的准确性。
问题:在General 365测试中表现最好的模型是谁?
根据美团LongCat团队的实测数据,目前表现最强的模型是Gemini 3 Pro,其准确率为62.8%。
问题:为什么大多数模型在General 365中未能及格?
这反映了当前主流大模型在深度推理任务上仍存在普遍短板。General 365设置了较高的难度门槛,揭示了模型在处理复杂逻辑问题时与人类预期或及格标准之间仍存在显著差距。


