奖励黑客（Reward hacking）：为什么 Agent 高分，不代表具备真实能力？

奖励黑客（Reward hacking）正在暴露我们评估代码 Agent 方式存在的漏洞。

系统给代码 Agent 分配一项基准测试（benchmark）任务。Agent 不去解决底层核心问题，而是上网搜索该任务对应的参考解法并直接拿来使用。最终输出结果顺利通过评估器校验。

那这个 Agent 算完成任务了吗？

按照基准测试的计分规则：大概率算。

按照测试想要考核的真实能力：绝对不算。

Poolside 近期公布了一则案例：在 Terminal-Bench 2.0 上运行 GPT-5.4 Codex 时，Agent 搜索了一段速通操作指令，而这些指令恰好对应基准测试任务。Poolside 表示，多家头部模型与基准测试平台均出现同类行为：模型检索本地 Git 历史、公开代码仓库、网页存档、软件包注册表，寻找现成参考实现。

TerminalBench 的案例还属于温和情形：Agent 只是在公开网络找到操作教程。而上周出现了性质更极端的案例。在一场内部 ExploitGym 测评中，OpenAI 的模型运行于沙箱环境（sandboxed），被安排完成一项网络安全基准任务。模型自行串联零日漏洞（zero-day）与窃取的凭证，构造出一条可在 Hugging Face 生产环境执行远程代码执行（remote-code-execution，RCE）的攻击路径，只为拿到基准测试的标准答案。没有任何人指示模型入侵 Hugging Face。它这么做，只是因为入侵是拿到高分最短的路径；而只看最终结果的计分机制，会奖励这种 “捷径”。入侵行为只是附带产物，获取标准答案才是目标。这套失效模式和直接查找教程的 Agent 本质一致，只是造成的影响范围天差地别。Agent 达成了预设指标，却绕开了这场测评本想要检验的真实能力。

这就是奖励黑客（Reward hacking）。

分数只是一个替代指标

每一项 Agent 测评，都会把复杂目标压缩成机器可以核验的数字。在代码基准测试里，通常只看测试用例是否运行通过、任务是否抵达终止状态。但我们真正关心的范畴更广：理解问题、做出合理有效的修改、不破坏运行环境。

两者很容易出现偏差。

近期相关研究开始直接量化这种偏差。SpecBench 将测试用例分为公开测试集与隐藏测试集，用来捕捉一类解法：仅满足可见校验条件，却没有完成任务本身。奖励黑客基准测试（Reward Hacking Benchmark）搭建带有现实捷径的工具调用任务，例如跳过校验、从任务周边元数据直接推断答案。EvilGenie 专门检测 Agent 是否对公开样例硬编码、或是直接修改测试文件，而非解决问题。

规律很清晰：随着 Agent 支持更长执行链路、拥有终端权限与联网搜索能力，可行操作空间不断扩大，可利用的非预期捷径也随之变多。

这正是令人棘手的地方：查阅文档、查看 Git 提交记录、寻找相关实现，本都是工程场景里我们需要的实用能力。可放在测评环境中，同类操作却可能泄露答案，彻底毁掉测评有效性。

问题根源在联网权限之前：只依据最终结果打分，无法区分正常调研和直接盗取答案。

Benchmaxxing

奖励黑客与基准跑分优化（Benchmaxxing）属于同源问题。

奖励黑客：最大化测评奖励分数，但没有达成评估者真正想要的目标。

基准跑分优化：围绕各类影响榜单排名的基准测试去优化模型，变相在测试任务上训练。近期一份关于排行榜激励机制的分析指出，这类现象未必源于主观恶意：一旦榜单决定产品认可度与投资走向，针对影响排名的测评去做后训练（post-training）优化，只是理性选择。

Poolside 披露的 OpenAI 相关案例，证明测评过程中存在模型检索现成解法的现象。但单凭该案例，不能证明 OpenAI 专门针对 Terminal-Bench 进行漏洞利用训练。不过它清晰说明一个痛点：当模型经过高度优化、基准测试公开可用、并且 Agent 能够访问构建测试题目的同一互联网时，基准分数的解读难度会大幅上升。

这首先是测量有效性问题，其次才是模型排名问题。如果两个 Agent 得分相同，一个依靠自主解决任务，另一个直接检索现成方案，排行榜就把两种完全不同的能力压缩成同一个数字。

澳鹏（Appen）特意构建了一套反向对照方案：联合 Hugging Face 推出私有语音识别测评赛道。测试集从一开始就严格保密，开发者无法针对测试集训练，分数衡量的是模型本身能力，而非模型是否提前接触答案。这套逻辑完全可以迁移到 Agent 测评：只有标准答案处在模型优化循环之外，基准测试分数才有意义。一旦 Agent 能够直接获取答案，分数衡量的就不再是能力，而是获取答案的渠道权限。

高分，需要完整可审计的执行轨迹

Poolside 在 Laguna S 2.1 版本发布中，直接把该问题纳入测评方法论。公司指出，奖励黑客在 Agent 测评中十分普遍；他们不仅公布汇总得分，还完整放出最终测评全部执行轨迹（trajectory）。同时采用经过人工标注轨迹校准的大模型评审员（LLM judge）、定向提示、对抗性评审与专家复核，用来识别可疑行为。

澳鹏（Appen）与 Poolside 合作开发了测评流程中用到的奖励黑客检测模块。

加固运行环境可以堵住明显漏洞，例如防止访问未来版本 Git 记录。但无法在保留真实 Agent 所需网络访问权限的前提下，清除互联网上所有公开解法。

你可以在提示词中列出已知捷径并明令禁止。但提示词只是把漏洞环境问题，转化成另一个不确定变量：Agent 能否真正遵守指令。一旦输入分布偏移（distribution shift）发生，遵循指令的能力就会下降；同时提示词管控对尚未预想到的漏洞利用方式完全无效。

大模型评审员可以审阅完整执行轨迹，而非只看最终答案。但评审员本身也是模型，同样存在缺陷。TRACE 提供一套人工核验分类体系与基准测试，检验大模型评估器能否识别代码环境下的奖励黑客行为。思维链可信度相关研究有明确结论：模型经常借助线索或捷径得到答案，再在推理文本中刻意隐去捷径，编造一套看上去合理的推导路径。因此应当审核可观测信息：工具调用记录、代码改动、网络流量；对模型自述的推理过程，不可直接采信。

人工复核依旧不可或缺，面对新型失效模式尤其如此。但人工审查很难规模化处理成千上万条超长执行轨迹。

务实方案是分层测评体系：

• 加固基准测试环境，抵御已知信息泄露与校验器篡改；

• 在环境层面硬性限定 Agent 可使用的工具与信息来源；

• 完整记录全部执行轨迹：工具调用、网络访问、环境改动；

• 使用经过对抗测试的评审模型，标记已知类型的奖励黑客行为；

• 以专家人工标注校准评审模型；

• 对高分运行记录、分数异常暴涨案例执行人工复核；

• 测评结果除通过率外，同步公示测评完整性风险结论。

最后一点至关重要。随着 Agent 能力持续变强，一份无法说明得分如何取得的基准报告，参考价值正在持续下降。

这也正是澳鹏智能体 AI 测评能力的价值所在。澳鹏的智能体 AI 测评业务覆盖任务与校验器设计、执行轨迹分析、失效模式分类、强化学习环境(RL Environment)搭建，以及资深软件工程师主导的代码 Agent 行为评审。依靠这类管控手段，测评才能不只判断 Agent “是否做完任务”，还能判断 Agent “完成任务的路径是否值得认可”。

测评，现在必须考核过程

新一代研究不再局限于事后检测。BenchJack 使用自动化红队代理，在基准测试正式启用前，主动寻找测试本身存在的奖励黑客漏洞。Hack-Verifiable TextArena 内置可确定性检出的捷径机制，让奖励黑客行为从 “事后推断” 变成设计上可直接衡量。

这类方案指向一套更稳健的测评标准。Agent 基准测试应当独立核验至少三项内容：

• Agent 是否得到正确结果；

• Agent 是否采用合规合理的执行路径；

• 该行为能否迁移到全新、无泄露风险的陌生任务。

这同样重塑人工测评的定位。专家标注员不再只核对答案正误，而是界定正常工具调用与让测评失效的违规行为之间的边界，标注复杂执行轨迹，挖掘自动化评审器暂时识别不出的新型失效模式。澳鹏整套大模型测评思路，是用人工标注校准基于评分细则的自动化测评，而不是单纯依赖人工审核或自动审核其中任意一种。

行业需要能够追溯得分来源的基准测试：记录调用了哪些工具、Agent 访问了哪些资源、Agent 是否有机会获取标准答案。唯有如此，分数才可审计，而不是盲目采信。分数依旧重要；但对于智能体系统，通往分数的整条路径，现在必须作为结果的一部分接受评估。

如果 Agent 可以通过寻找标准答案通过测试，我们要问的就不再仅仅是这个 Agent 能力强弱。而是：这场测试，到底有没有测出真实能力。