30 秒看懂
编码智能体可以通过测试,却仍可能在故障后无法撤销外部操作。在 UndoBench 中,正常情况下成功的试验遇到注入故障后,只有 47% 成功恢复;研究者发现,重试超时请求可能产生重复操作。Tanmay Sah 和 Dolly Sah 提出,在接受智能体自我修改前记录原状态并测试恢复能力。在另一项 EvoUndo 评估中,扩充可用的撤销操作后,197 项存在恢复缺陷的修改中有 180 项得到恢复。
- 1完成任务不代表能够恢复在 2,880 组 UndoBench 配对试验中,正常运行成功率为 84%;正常情况下成功的试验遇到注入故障后,有 47% 成功恢复。
- 2超时可能掩盖已成功的外部操作如果工单已经创建但确认消息丢失,重试可能创建重复工单。在相关试验中,简单重试有 53.33% 产生了重复影响。
- 3能力提高可能伴随恢复缺陷在 600 项自我改进任务的 478 项能力提升中,有 197 项存在恢复缺陷,约占 41%。
- 4撤销既需要状态信息,也需要合适的操作研究者在不同子组中发现,提供准确的变更信息或扩充可用撤销操作都能提高恢复成功数。
- 5更丰富的撤销操作恢复了 197 个缺陷中的 180 个扩充恢复语言后,团队恢复了约 91% 的缺陷修改,600 项任务中可接纳的改进从 281 项增加到 461 项。
- 6接受修改前先验证恢复能力EvoUndo 记录原状态、测试修改和恢复,并由独立验证器检查后再决定是否接受改进。
要点建议
- 超时可能意味着操作已成功、确认消息却丢失;重试前检查状态有助于避免重复操作。
- 在 UndoBench 中,正常执行成功的试验遇到注入故障后有 47% 成功恢复;成功率与恢复率的分母不同。
- 在 EvoUndo 中,478 项提高能力的修改有 197 项存在恢复缺陷。
- 修改前记录原状态,恢复后独立验证结果。
- 根据操作的影响和恢复是否可验证,选择重试、恢复、补偿或升级处理。
按章节阅读整理后的全文
通过测试为什么还不够
Git 无法撤销智能体产生的每一种影响。研究者测试了执行失败时智能体能否恢复。
Tanmay Sah 和 Dolly Sah 介绍编码智能体缺少的一项能力:撤销操作。智能体可能修改仓库、通过测试并创建发布标签,随后下游集成却失败。问题是,它能否把一切恢复到开始工作之前的状态。
Git 可以展示和撤销仓库内的修改,但智能体还可能调用外部 API、更改运行时配置或发送通知。重试失败操作不一定能撤销已经发生的事。因此,研究者不仅关注智能体能否完成任务,也关注它能否恢复。
在 UndoBench 中,研究者通过 2,880 组配对试验,比较正常执行和注入故障后的执行。正常运行的成功率为 84%;但在正常情况下成功的试验中,只有 47% 在遇到故障后成功恢复。Sah 提醒,这两个百分比的分母不同。

确认消息丢失可能导致重复操作
创建工单的请求超时,并不代表它没有成功。能否安全重试取决于故障发生的阶段。
以向外部系统请求创建工单为例:服务器创建了编号 781 的工单,但确认消息在返回途中丢失。智能体看到的是超时;这表示它没有收到响应,并不表示操作失败。

如果智能体不检查首次请求是否已生效就重试,便会创建第二张工单。在 UndoBench 的此类试验中,简单重试有 53.33% 产生了重复影响。响应失败和操作失败是两回事。
故障发生的阶段很重要。修改之前通常可以安全重试,因为还没有发生变化;修改过程中系统可能只改变了一部分,需要检查状态;修改之后,即使确认消息丢失,操作也可能已经生效。
能力提升可能让智能体更难恢复
仓库历史无法覆盖运行时和外部变化。EvoUndo 记录原状态,并评估自我修改中的恢复缺陷。
Git revert 无法覆盖工具注册表、中间件和配置等运行时状态,也无法撤销部署、数据库写入等外部影响。恢复机制必须与智能体造成的影响类型相匹配。
当智能体修改自己的执行环境,也就是 harness 时,这一点尤其重要。执行环境包括提示词、工具、中间件、事件监听器、资源和路由。一次修改可能提高智能体的能力,同时让环境更难恢复。
撤销需要知道原来的状态。如果智能体把超时时间从 30 改成 60,要还原就必须知道原值是 30。EvoUndo 在修改前记录一份原状态凭据,以便之后恢复并验证。
EvoUndo 的评估涵盖 600 项自我改进任务。在 478 项提高能力的修改中,有 197 项存在恢复缺陷,约占能力提升案例的 41%。性能提高不一定伴随可靠恢复。

为恢复提供必要的状态和操作
在原有恢复语言下,仅靠修复提示无法解决这些缺陷。在不同测试中,准确状态信息和更丰富的撤销操作改善了结果。
研究者针对这 197 个自然出现的恢复故障,测试了四种由验证器引导的修复策略。在原有恢复语言下,没有一种成功。Sah 说,有些尝试缺少关于先前状态的准确信息,另一些则无法表达撤销所需的操作。
团队分别测试了这两个限制。在一个子组中,提供修改位置和内容的准确信息后,成功恢复数从零升至 48 例中的 38 例;在另一个子组中,增加更丰富的撤销操作后,成功数从零升至 143 例中的 142 例。恢复既需要状态信息,也需要足够的操作表达能力。

扩充恢复语言后,团队恢复了 197 项有缺陷修改中的 180 项,约占 91%。600 项任务中可接纳的改进从 281 项升至 461 项,提高了 30 个百分点。随后 Sah 将讲解交给 Dolly Sah。
接受修改前测试并验证恢复
EvoUndo 捕获原状态,执行修改和恢复,再独立验证是否还原。只有同时满足能力和恢复检查的修改才会被接受。
Dolly Sah 介绍了 EvoUndo 的接纳流程。智能体提出修改,同时给出影响契约和恢复计划,系统记录原状态。在测试环境中执行修改和恢复计划,再由独立验证器检查原状态是否恢复。

只有当修改按用户指定的标准提高了能力,并且通过恢复检查时,系统才接受它。否则,智能体会尝试修复,或者验证器直接拒绝该修改。这样,在部署之前,恢复能力就成为接纳决策的一部分。
在超时示例中,EvoUndo 首先读取并记录原值 30,然后智能体将其改为 60。如需恢复,保存的凭据提供应还原的值。独立验证器会将结果与原值比较;仅仅运行撤销命令并不足够。
根据影响选择应对方式
Dolly Sah 区分了重试、恢复、补偿和升级处理。选择取决于发生了什么变化,以及能否安全验证恢复结果。
合适的应对方式取决于实际发生了什么。如果没有变化,重试可能安全;如果知道原状态,就可以恢复;如果外部操作已经生效,可能需要补偿操作。如果无法验证恢复安全,或验证器拒绝恢复,智能体就应停止并升级处理。
Dolly Sah 最后对比了两个项目。UndoBench 表明,成功执行不保证成功恢复。EvoUndo 将记录、修改、恢复和独立验证纳入同一流程,只有同时满足能力和恢复要求的自我修改才会被接受。
研究者将 EvoUndo 视为让恢复成为自主智能体基本能力的一步。他们希望智能体不仅能够执行操作,也能在出错时恢复。
同频道的其他文章
58:03EN → 简体中文
19:38EN → 简体中文
19:55EN → 简体中文
23:19EN → 简体中文
17:31EN → 简体中文
17:31EN → 简体中文