一段录音里明明有人说了“谢谢，主席先生”，测试集给出的标准文本却漏掉了“谢谢”。把录音交给十一款语音识别模型，有六款跟着标准答案一起漏掉了这两个字。

这件事很难用普通的识别错误解释。模型若只是没听清，换一种声音以后，结果不该有这样整齐的变化。研究者保留句子内容，用同一说话者的克隆声音重新合成，仍有五款模型选择错误文本。录音换成训练截止日期以后的欧洲议会声音，只剩一款还会漏掉。换成与议会无关的普通合成声音，十一款模型全都把“谢谢”写了回来。

模型似乎听出了这段声音来自哪张考卷，然后写下考卷希望看见的答案。

这项语音识别研究在 8 月 20 日提交，次日由 Hugging Face 发布了实验说明和样例。我把论文和样例对着看了一遍，最让人在意的并非某个模型答错。公开排行榜原本要帮助人们判断模型听得准不准，现在模型已经能借助声音里的细小线索判断自己正在接受哪套测试。分数里的能力与熟悉开始混在一起。

模型记住的可能是一套答题习惯

研究者检查了 VoxPopuli 和 LibriSpeech 两个常用语音数据集。他们设计了三种探针，让录音与标准文本之间故意出现分歧。

第一种就是前面的错误文本。人能从声音里听出标准答案漏了词，部分高分模型仍照着错误文本写。第二种更直接。研究者把录音中的年份和数字消掉，模型按理只能留下空缺。部分模型却补出了标准文本中的那个数字。在 LibriSpeech 上，几款公开榜单表现很强的模型能在大约三成到四成样例里补回被消掉的数字。

第三种测试利用拼写差异。同一个声音可以写成数字，也可以写成英文单词。先生可以写成缩写，也可以拼出完整单词。录音本身无法决定写法，模型却会随着数据集改变习惯，有些模型选择测试集预期写法的比例接近九成。

研究者又换上新收集的声音，或截掉录音前后的测试集语境。这些行为往往会减弱。论文据此使用了一个很谨慎的说法，叫做基准条件行为。现有实验能说明模型会根据测试环境改变输出，还不能替每款模型还原训练过程，也不能证明开发者有意把测试答案塞进模型。

这个边界很要紧。把问题简单归结为数据泄漏，反倒会漏掉更麻烦的部分。训练数据完全没有逐字收录测试答案，模型也可能在反复训练、模型选择和参数调整中学会某套数据的声音、措辞与评分偏好。开发者每次都选排行榜更高的版本，许多轮以后，模型自然会越来越适合那张公开考卷。

公开测试集的优点恰好带来了这项风险。题目固定，答案公开，任何团队都能复现结果，模型之间也容易比较。几年过去，测试集进入论文、代码、教程和模型卡，围绕它形成一整套调参经验。排行榜保持原样，参加考试的模型已经换了几代。

智能体还会在考试现场寻找捷径

语言模型只交一段文字时，评测者主要担心训练数据里见过答案。智能体能够联网、读文件和运行命令以后，答案还可能在考试当天进入上下文。

Dreadnode 在一项网络安全智能体研究中测试了二十二款模型。任务来自二十三道夺旗挑战，智能体可以使用终端、Python 和网页工具。研究团队逐条审计了 1518 次运行记录，检查模型有没有搜索已经公开的题解、读取评测环境里的答案文件，或者探查容器信息。

没有额外警告时，所有通过记录中有 37.1% 被研究者判定为取巧。平均通过率是 41.5%，去掉这些记录以后，平均完成率只剩 26.1%。个别模型的原始分数被放大到五倍。

研究里的“取巧”是一项操作定义，不能理解成模型拥有人的恶意。智能体接到的目标是拿到标记，环境又给了它搜索和文件工具。它找到一条更短的路，恰好越过了评测者心里的规则。这个差别不会让分数变得更可信。评测者想测漏洞分析能力，最后有一部分分数来自搜索题解和检查考场设施。

研究团队随后把禁令写得越来越明确。最严厉的提示会告诉模型哪些行为禁止，违规会导致失败。取巧倾向从 33% 降到 8.5%，仍有八款模型产生了取巧的通过记录，四款模型在某些条件下反而更容易这样做。智能体少搜网页以后，部分取巧行为还转向了探查评测基础设施。

这说明一句“请勿作弊”能减少问题，解决不了测量本身。只要正确答案或替代路径仍在工具够得着的地方，评测结果就要同时回答两件事。智能体完成任务了吗，它又是怎样完成的。

真实工作把高分重新拆开

8 月 18 日提交的 StartupBench 从另一端处理这个问题。研究者先分析已经得到市场采用的 AI 产品，再把其中的工作流程改写成需要提交完整成果的任务。评分细则检查复杂指令、专业要求和最终交付物，所有模型使用同一套智能体框架。

表现最强的模型也只能完整完成约三成任务。许多运行走了很远，做出了不少中间结果，最后仍没有满足全部条件。

这个数字不能直接换算成企业里的成功率。StartupBench 刚刚发布，任务选择、评分细则和智能体框架还要经受更多复现。它指出的区别已经足够清楚。一次测试可以给选对答案计分，也可以等一个可用成果真正交出来。模型在前一种测试里积累的优势，未必能完整带到后一种测试。

这里也能看出排行榜为什么越来越难用一个数字说完。模型会受提示方式、工具权限、脚手架、重试次数和时间预算影响。允许智能体联网，能力范围扩大了，污染与绕路也跟着增加。只看最后是否通过，过程里的差异全部被压掉。只看完成了多少步骤，又容易把没有交付的任务写成接近成功。

同一个模型换一套运行环境，名次可能变化。这个变化未必说明模型忽然聪明或变笨，它可能只说明工具与评分方式更适合某一类行为。

下一代评测会昂贵很多

语音研究已经给出一种补救办法。测试声音要按时间、说话者和来源真正留出，模型训练截止以后继续收集新样本。公开旧题仍可用于复现，新题负责检查能力能否带到没见过的声音上。测试集还要主动制造冲突，把录音与旧标准答案拆开，看看模型究竟跟着声音走，还是跟着熟悉的文本走。

安全智能体需要更严格的考场。网页能访问到什么，容器里留下哪些文件，工具调用经过哪条路径，都要进入评测设计。原始通过率可以保留，干净完成率也应单独报告。两项数字之间的差距，本身就是模型依赖捷径的程度。

还有研究团队选择从头制作私有任务。8 月提交的 SRE Bench 用十九个未公开源码的程序评测逆向工程智能体。研究者称，这些程序由专家投入超过五千小时制作，随后生成 262 个二进制实例和 1572 项可确定评分的任务。最强模型按单个实例计分能达到 61.4%，完整解决的实例占 31.5%。

私有任务避开了许多训练期污染，也带来一笔很现实的成本。题目要由专家制作，运行环境要维护，评分器要检查，旧题还要持续轮换。公开一道高质量任务，同行更容易检查方法，题目也更容易进入下一代模型的训练材料。把题目一直藏着，又会削弱透明度和复现能力。

评测因此不再是一张做完就能长期使用的试卷。它更接近一项持续运行的测量工作。有人收集新数据，有人看完整过程，有人修评分器，也有人检查模型提高的是任务能力还是对评测环境的适应。

排行榜仍能看，只是不能只看名次

公开排行榜没有失去全部价值。它们便宜、透明，能够快速发现明显进步，也能让小团队参与比较。问题出在读法。一个高分首先证明模型在这套数据、工具和评分规则下拿到了高分。要把它继续解释成通用能力，还需要几层额外证据。

测试数据是什么时候收集的，模型有没有机会接触同源内容，联网智能体能否搜到答案，运行轨迹有没有接受审计，部分完成与完整交付是否分开，这些细节以前常被放进论文附录，现在开始决定标题里的数字能不能信。

模型厂商当然还会展示第一名。采购模型和部署智能体的人要做另一件事，拿自己的新数据、真实流程和失败条件再测一次。公开榜单可以帮助缩小候选范围，最后那段距离只能由使用者自己量。

那段录音里的“谢谢”很短。六款模型漏掉它以后，排行榜的问题却变得很具体。模型给出了考卷期待的文本，人耳听见的是另一句话。两者之间差的两个字，正是高分与可用能力之间最需要重新测量的地方。