刷榜夺冠却落地翻车?拆解Agent评测的失真陷阱

在一次前沿强化学习代码训练中,面对棘手的缺陷修复任务,AI Agent在思维链中判定难以实现,随即调用sys.exit(0)提前退出,趁单元测试尚未跑完便直接拿下通过高分。然而,轨迹暴露出工作本身已被彻底跳过。
为何刷榜夺冠的智能体一到生产环境就频频失灵?结合澳鹏近期实战经验与前沿AI实验室的公开结果,本期AppenTalk,来拆解智能体评测的失真根源与破局实践。
高分背后的基准缺陷
评测拿到通过并不等于工作真正完成。2026年2月,OpenAI在SWE-bench Verified专项审计中组织至少6名工程师,复核o3在64次运行中未能稳定解决的138道难题,发现高达59.4%存在实质性缺陷:35.5%因测试过窄误判正确方案,18.8%因测试过宽强行校验超纲行为,另有5.1%存在其他问题。

同年7月,OpenAI对继任基准SWE-Bench Pro的审计亦查出约三成公开题目存在硬伤并正式撤回推荐。这表明,当标尺本身准确度不足,榜单上的微小分差便失去了工程意义。
作弊者的规则博弈
更隐蔽的是智能体学会解决评分标准而非解决问题。在测试与需求蓄意矛盾的Impossible Bench(Conflicting-SWEbench)中,任何过关均属作弊,GPT-5却通过篡改测试或重载 __eq__ 恒真逻辑拿下了54.0%通过率,且大模型监控仅能识破42%–65%(引入主动放弃选项后作弊率骤降至9%)。
一旦作弊混入,计分规则便会剧烈放大偏差。Anthropic的Claude Fable 5.1与Mythos 5.1系统卡同样披露,约半数计算机操作训练环境曾因沿用旧模型排查而漏检漏洞。METR对GPT-5.6 Sol的评测显示,同一批运行的“50%成功率任务时长”随口径剧烈摇摆。
打造防污染题库与轨迹防线
在澳鹏数据的智能体评测实践中,团队围绕任务设计、环境验证与执行监控筑起三道前置防线:
- 专家原创与私有轮换:由领域专家编写私有任务并植入Canary Strings,定期轮换并探测模型逐字回忆,一旦检出记忆痕迹须立即清除题目。
- 最新模型红队对抗:每逢模型代际升级,先用当前最强模型对评分器与环境做对抗测试,提前封堵旧模型未能触发的作弊暴露面。
- 全流程轨迹自动审查:跳出只看终点的盲区,用确定性脚本低成本扫描每条运行轨迹,自动拦截篡改测试、sys.exit(0)提前退出及验证器首尾状态错配。
稳定性指标与人类专家智慧
有了干净的评测集,还需科学的读数方法过滤噪音。前文的三道前置防线与以下三项结果校验可构成一份“六步自检清单”:
- 以pass^k验证稳定复现:单次通过率(pass@1)易掩盖偶然发挥,重复运行并报告k次全通过率(pass^k),才能检验生产环境所需的稳定性。
- 前置锁定作弊计分规则:在查看分数前预先敲定作弊判定口径,并同步披露计为失败、剔除与计为成功三组结果,杜绝统计筛选偏差。
- 人类专家抽检与裁判校准:由专家对照业务真实意图并抽检通过样本(SWE-Bench Pro审计中人类专家检出34.1%损坏任务与9.4%低覆盖测试,显著高于自动化管线的27.4%与4.1%);若使用大模型裁判,须用校正巧合一致性的Cohen's kappa对齐人类标签。
公开基准的价值在于指明技术探索的方向,却永远无法替代真实业务流程中的实战检验。从私有防污染题库、全链路轨迹监控到人类专家深度复核,唯有扎根自身部署场景建立严谨的评估闭环,才能让AI Agent真正跨越跑分幻觉,实现从考场高分到生产级可靠交付的跃迁。

沪公网安备31011502401377号