OpenAI 审计揭示 SWE-Bench Pro 缺陷：约 30% 的编码评估任务已失效
OpenAI 发布最新研究报告，指出广泛使用的 AI 编码基准测试 SWE-Bench Pro 存在严重质量问题。通过详细审计，OpenAI 发现该基准测试中约 30% 的任务存在缺陷。这一发现继此前对 SWE-bench Verified 的质疑之后，再次引发了行业对如何准确衡量 AI 软件开发能力及模型安全性的深度关注。
核心要点
- 评估任务失效：OpenAI 的审计显示，SWE-Bench Pro 基准测试中约 30% 的任务存在缺陷，无法提供准确的能力信号。
- 基准测试演进：SWE-Bench Pro 原本旨在改进 SWE-bench Verified，通过更长程和更真实的编码任务来测试智能体（Agentic）能力。
- 模型表现激增：在 731 个公开任务中，前沿模型的通过率在短短 8 个月内从 23.3% 飙升至 80.3%，引发了对其有效性的重新评估。
- 安全与决策影响：评估缺陷可能导致对模型能力的误解，进而影响 OpenAI 备战框架（Preparedness Framework）下的安全决策和研究优先级。
详细分析
从 Verified 到 Pro：编码评估的持续挑战
准确衡量模型能力对于安全部署和决策至关重要。OpenAI 此前曾调查发现，广泛使用的 SWE-bench Verified 存在根本性的设计缺陷和数据污染问题，导致其无法有效反映软件开发能力。随后，社区转向了 SWE-Bench Pro，后者通过从公共和私有仓库的功能变更历史中自动获取任务，要求模型在不破坏现有功能的前提下实现新功能，旨在提供更具挑战性的评估环境。
严谨的审计流程与发现
为了验证 SWE-Bench Pro 的可靠性，OpenAI 采用了一套数据点分析流水线。该流水线通过审查模型尝试记录、任务元数据和失败追踪来标记潜在的评估缺陷。被标记的任务随后由多名调查智能体处理，并由五名经验丰富的软件工程师进行独立评审。审计结果令人担忧：约 30% 的任务被判定为损坏或存在缺陷，这意味着现有的评估结果中包含了大量的“噪声”。
行业影响
这一研究结果对 AI 行业具有重要的警示意义。首先，它揭示了当前 AI 评估工具的滞后性——当模型在不到一年的时间内将通过率从 23.3% 提升至 80.3% 时，基准测试本身的质量成为了衡量进步的瓶颈。其次，对于依赖这些基准进行安全评估的机构而言，评估缺陷可能导致对模型风险的误判。OpenAI 的发现强调了建立更严谨、更具抗干扰能力的评估体系的紧迫性。
常见问题
什么是 SWE-Bench Pro？
SWE-Bench Pro 是一个用于评估 AI 模型软件工程能力的基准测试。它要求模型处理来自真实代码库的任务，通过实现新功能并确保通过相关测试来衡量模型的智能体编码能力。
为什么 30% 的任务失效是一个严重问题？
如果基准测试中包含大量损坏的任务，它就无法提供准确的性能度量。这不仅会误导研究人员对模型进步速度的认知，还可能在安全评估中给出错误的信号，从而影响关键的部署决策。
OpenAI 是如何发现这些问题的？
OpenAI 结合了自动化分析流水线和人工专家评审。他们先用程序标记可疑任务，再由五位资深软件工程师进行独立审核，确保审计结果的准确性和权威性。
