30 秒看懂
智能体分数的可信度取决于测试如何判断成功。Terminal-Bench 创建者 Alex Shaw 和 Ryan Marten 介绍如何构建真实的计算机任务,让评分器与指令一致,并防止智能体通过捷径得分。他们的 Harbor 框架在隔离环境中运行任务并记录完整轨迹。评分规则改变后,有时可以重新评估旧尝试;智能体看到的内容发生变化则需要重新运行。讲者认为,领域专家应帮助定义成功标准,尤其是在难以用简单代码检查的工作中。
- 1智能体行为让开发更加依赖评测Shaw 认为,模型调用和生成的代码让人更难仅凭源代码推断行为。开发者必须确定预期结果,并比较实际观察到的结果。
- 2一项任务结合指令、环境和独立检查Terminal-Bench 将这种结构用于从 CAD 重建到编程等各类计算机工作。Harbor 则让团队能够用不同智能体运行这些任务。
- 3最难的是确定什么才算成功Marten 把验证器比作可能误判成功或失败的分类器。检查必须与指令一致,基于模型的评判器本身也可能需要评测。
- 4独立验证器容器减少作弊机会Harbor 可以收集智能体输出,销毁其容器,再在全新的容器中评分。任务特有的漏洞和可执行输出仍需要留意。
- 5修复某些评分器时可以重评分而不必重跑Harbor 跟踪任务版本。验证器变化后,有时可以重新评估保存的试验;面向智能体的提示或环境发生实质变化时则需要重跑。
- 6人工审核验证器可以改善数千次试验真实使用过程可能帮助生成任务,但单个观察样例很少能列出所有正确结果。讲者认为,专家对验证器的判断尤其有价值。
要点建议
- 让每条指令与验证器覆盖相同要求,测试误判成功和误判失败。
- 检查智能体轨迹,并与分数一起公开,以发现捷径和意外的失败方式。
- 将验证器与智能体环境隔离,同时考虑产物可能包含可执行代码。
- 仅修复验证器时,尽可能对保存的尝试重新评分;智能体可见内容发生实质变化时重新运行。
- 请领域专家为真实工作定义成功标准,并审核自动生成的评分器。
按章节阅读整理后的全文
从编写规则到衡量结果
Shaw 比较传统编程与模型、智能体开发。他认为,当系统通过学习或生成得到时,行为测试变得至关重要。
Alex Shaw 和 Ryan Marten 介绍了 Terminal-Bench 和 Harbor。前者是一组让智能体通过计算机终端完成的高难度任务,后者是他们构建和运行评测的框架。Shaw 首先讲述人们制作软件的方式如何变化。
早期程序员直接为处理器编写数字指令。汇编语言让指令更容易阅读,Fortran 等高级语言则进一步拉开了编程与机器之间的距离。Shaw 指出,此前的技术变革也曾伴随消除编码和调试工作的说法。
传统软件原则上可以通过其指令和运行环境来理解。Shaw 把这称为演绎式开发:人们制定规则,用输入执行规则,再推断结果。
机器学习让人的职责转向选择数据、标注和学习算法。开发者不再指定全部规则,而是提供样例,再用更多样例评估系统推断出的规则。
在 Shaw 看来,传统软件开发通常依次经过规格制定、实现、测试和部署。模型开发则从目标和评测开始,反复修改系统并测量结果。
语言模型从大量数据中学习预测文本,将这种方法扩展到更大规模。智能体在模型外围增加程序,把某些输出转换成工具调用或可执行代码,从而让模型改变环境。
Shaw 预计,模型、智能体乃至智能体生成的软件都会越来越多地采用这种基于经验的开发方式。模型调用让人难以仅凭代码推断智能体行为,而大量生成的代码也可能无法逐行检查。
他引用 François Chollet 的观点:生成的代码可以看作黑箱产物,需要通过测试管理其行为。按照这种看法,开发循环包括确定目标、建立评测、实验和优化。
提取电话号码的例子展示了这一变化。传统的规则匹配函数面对固定输入会产生可预测的结果,而模型调用可能识别更多格式,却不保证每次运行都得到相同输出。
Shaw 认为,人类稀缺的贡献可能从指定每条规则转向评估智能体或生成程序的实际行为。围绕这项工作会出现哪些职位和开发体系,仍是开放问题。
人们容易想象预测房价所需的训练和测试数据,但要自动化牙科诊所前台工作,所需数据就不那么明显。Shaw 说,Harbor 等工具试图让后一类评测成为可能。
Terminal-Bench 为什么使用命令行
Marten 介绍这一基准及其将计算机工作视为更广泛任务的起源。任务格式结合指令、环境和验证器。
Marten 解释了终端的吸引力:语言模型接收和输出文本,而终端可以通过文本命令运行许多程序。有些需要在网页界面点击多次才能完成的云端配置,可能只需一条命令。
Terminal-Bench 衡量的计算机工作范围很广,并不只限于软件工程。团队从开源社区征集任务;Marten 说,基准既用于模型发布,也用于训练中间检查点和智能体开发。
Shaw 把这一想法追溯到 K Prize,一项基于持续更新的 SWE-bench 任务的竞赛。团队研究 GitHub issue、代码仓库和拉取请求时开始思考:智能体基准为什么不能涵盖更广泛的计算机任务?

一个任务包括书面指令、环境定义和判断智能体是否成功的测试。例如,一个任务要求智能体根据示意图重建三维物体,再检查输出的各项属性。
基准涵盖编程、网络、生物、化学、音乐和图形设计等任务。Terminal-Bench 提供任务,Harbor 则提供运行这类评测的通用格式和基础设施。
智能体评测的组成部分
Harbor 将任务与智能体、基础设施的选择分开。讲者定义了试验、轨迹和验证器。
Marten 把评测驱动开发描述为确定可衡量的目标,再利用观察结果改进智能体。智能体评测除了模型文本,还必须考虑环境和工具,因此评分比字符串匹配复杂得多。
任务是带有输入和成功标准的一项测试;试验是对任务的一次尝试。验证器负责评分,轨迹记录尝试中的各个步骤,评测框架则提供运行测试的基础设施。
Harbor 将任务打包,使其独立于特定智能体。任务包包含指令、配置、环境、可选的参考解和验证器,因此同一任务可以搭配不同的智能体和基础设施运行。
编写真实的指令和环境
好的任务明确结果,却不会泄露解法。环境需要在真实上下文与可靠性、安全和污染风险之间取得平衡。
Marten 说,任务编写者反复遇到三个难题:让指令与验证器的奖励标准一致、防止智能体通过非预期方式获得奖励,以及让任务真实且值得衡量。
在 Terminal-Bench 中,指令应当无歧义地写明预期结果,同时保持简洁自然。额外细节可能意外地与评分器冲突,也可能告诉智能体本应由它自行发现的信息。

在一个计算机辅助设计任务中,审阅者缩短了冗长指令,删除重复内容,以及智能体可以从环境中找到的软件版本等信息。目标是提供完成工作所需的信息,而不是给出解题脚本。
环境提供所模拟工作中智能体可能拥有的文件、软件、运行中的进程和其他上下文。尽可能使用真实工具,可以让测试更接近开发者想要衡量的实际场景。
互联网访问可以增加真实感,但网页内容会随时间变化、可能污染测试,还可能让智能体采取不希望发生的现实操作。把依赖预先放入环境,可以减少与目标能力无关的失败。

一个图形设计任务要求智能体根据渲染后的图片和源素材重建可编辑海报。修改后的环境加入了合理但未使用的素材,让智能体像面对公司素材库一样,从干扰项中做出选择。
被问到 Harbor 如何隔离并发尝试时,Marten 说,每次试验都应有独立状态和资源。在全新的容器或虚拟机中运行每次试验,也使并行处理数百或数千次试验成为可能。
设计并保护验证器
评分器必须识别有效解法并拒绝捷径。独立验证环境和参考解有所帮助,但任务特有的缺陷仍可能存在。
验证器往往是任务中最困难、也最有价值的部分:它必须判断结果是否真正满足指令。Marten 把它比作分类器,可能产生误判成功和误判失败两类错误。
指令和测试应覆盖相同的要求。否则,不完整的答案可能通过,遵循指令的答案也可能失败。程序化检查更容易理解,而主观任务可能需要基于模型的评判器。
Marten 说,模型评判器本身会引入不确定性。可以用单独的基准测试并改进它的判断;使用评判器并不能免除确定什么是好答案的工作。
奖励黑客指智能体没有达成预期结果却拿到了奖励。有些防护属于评测基础设施,但任务作者也需要预想针对自身检查的特殊捷径。

在 Harbor 的独立验证器模式中,智能体先在一个容器里工作。系统收集其产物并销毁该容器,再启动新的验证器容器运行测试,防止智能体留下进程干扰评分。
隔离并不能解决所有问题:产物本身可能包含可执行代码,因此验证器必须谨慎处理。Marten 还提到,有些 Lean 证明任务中的智能体利用了证明检查内核的漏洞。
参考解或 oracle 解可以检验环境和验证器是否正常工作。有用的参考解不只是硬编码一个能通过检查的答案,而应以类似真实智能体的方式与环境交互。
在一项音乐和声任务中,参考解是一个回溯程序:它依次组合音符,违反作曲规则时就修改此前的选择。输出可以通过程序检查,求解器也实际运行了任务环境。
像软件一样运行和维护基准
可靠、可移植的执行方式有助于保持结果可比。质量检查和任务版本管理支持修复,而不必每次重复昂贵的运行。
评测基础设施应可靠、可复现、快速且可移植。智能体的输出本就会随运行变化,因此基础设施故障不应给比较结果增加不必要的噪声。
独立试验可以并行运行,但加速效果受模型 token 限额、可用沙箱和容器镜像仓库等资源约束。只有在可比条件下执行的运行,比较结果才有意义。
Marten 说,智能体训练数据和测试数据可以采用相同的任务格式,就像机器学习中的训练集和测试集划分。因此,运行评测的基础设施与生成训练轨迹、乃至运行生产系统的基础设施有所重叠。
Harbor 将任务与模型、智能体和执行服务商分开,团队可以分别替换这些组件。同一套引擎可以支持评测、优化和任务构建期间的质量控制。
基准任务也是软件,会出现缺陷,因此需要质量保证和持续维护。团队把反复出现的错误做成自动检查,并用能力更强的评判器处理指令和测试是否一致等问题。

团队还运行参考解、前沿智能体和专门尝试破解任务的智能体,再检查其轨迹。这能发现损坏的软件包,也可能揭示任务困难的真正原因并非作者原先设想的原因。
这里的 oracle 智能体只是执行参考解,不一定基于模型。给智能体提示是另一种实验:能够让它成功的最小提示,可能指出任务中真正的难点。
测试不会随着发布而结束。模型能力增强后,会找到新的捷径,也可能给出验证器错误拒绝的正确答案。奖励黑客和误判失败都能为修复任务提供线索。
Harbor 根据改动内容管理任务版本。如果只修改验证器,有时可以对保存的试验产物重新评分,而无需付费让智能体再运行一次;若智能体看到的指令、环境、数据或工具发生实质变化,则需要重新试验。
一位听众问,不断变化的基准如何公平比较不同时期发布的模型。Marten 说,团队避免过于频繁地更新,尽快刷新排行榜,并保留历史结果,供用户跨版本比较模型。
他希望模型报告不仅提供静态分数,还链接完整结果。Terminal-Bench 网站公开单次试验、轨迹、耗时、成本和日志,让其他人能够调查分数背后的原因。

从模拟用户到领域专用测试
听众询问交互任务、真实感和泛化能力。讲者介绍模拟用户、多服务环境及领域知识的重要性。
离线自动化测试只是评测的一种形式。团队还可以检查生产环境中智能体的运行轨迹,或请人手动评估,但这些方法有不同的成本和扩展限制。
一位学生问,Harbor 如何测试需要向人提问获取信息、而不是一开始就拿到完整指令的智能体。讲者说,可以在环境中加入模拟用户,包括另一个智能体。
这种模拟会引入另一个模型和新的不确定性,而它本身可能也需要评测。讲者说,多容器环境可以用于构建更复杂的交互,同时承认没有通用方案能消除这一难题。
被问到 Terminal-Bench 与 SWE-bench 的关系时,一位讲者说,SWE-bench 风格的任务可以用更通用的 Terminal-Bench 格式表示。实际数据集各有侧重:SWE-bench 主要关注软件仓库,Terminal-Bench 则涵盖更多种计算机工作。
真实环境可能要模拟杂乱的个人文件系统,也可能要模拟公司内部的一组服务。Harbor 可以描述任意文件,并通过多容器配置模拟服务网络;需要怎样的真实感取决于被测试的工作。
关于一项任务是否真正代表某种通用能力,讲者区分了基础设施和对工作本身的专业理解。他们希望领域专家使用 Harbor,为自己熟悉并希望自动化的具体问题构建评测。
讲者预计,未来回头看,当前的基准形式会显得简单。近期方向包括覆盖更多计算机活动、增加环境复杂度,以及测试需要更长行动序列的任务。
利用真实观察,也要重视评分器
观察工作过程可以启发任务设计,但判断什么结果可以接受仍然困难。讲者主张专家审核并分享完整评测轨迹。
被问到项目如何开始时,一位讲者说,可以在社区重视的维度上追求超出常规的实现质量。构建 K Prize 的经验以及团队合作帮助塑造了这个项目。
一位学生建议观察前台工作人员,再自动把录像转成评测。讲者认同真实使用过程可以提供指令,也许还能提供环境快照,但认为很难仅凭一个观察样例推断出正确的验证器。
好的验证器必须区分许多可接受和不可接受的结果,而不只是复现一次示范。讲者认为,人类审核这一判断边界很有价值,因为改进后的一个验证器可以评估数千次试验。
最后,讲者主张公开完整轨迹。社区成员可以用它发现奖励黑客,或比较智能体生成产物的属性;单个汇总分数无法回答这些问题。
同频道的其他文章
48:59EN → 简体中文
58:52EN → 简体中文
1:20:34EN → 简体中文
1:09:27EN → 简体中文
1:18:55EN → 简体中文
1:18:54EN → 简体中文