编码智能体要撤销错误,光靠 Git 还不够

原标题Coding Agents Need More Than Git to Undo Their Mistakes

Tanmay Sah 和 Dolly Sah 解释重试为何可能重复执行外部操作,并测试了一种记录原状态、验证恢复结果的方法。

TSTanmay Sah讲者DSDolly Sah讲者
频道
AI Engineer
发布
2026年11月8日
视频
16:38
阅读
5 分钟
幻灯片
5
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

编码智能体可以通过测试,却仍可能在故障后无法撤销外部操作。在 UndoBench 中,正常情况下成功的试验遇到注入故障后,只有 47% 成功恢复;研究者发现,重试超时请求可能产生重复操作。Tanmay Sah 和 Dolly Sah 提出,在接受智能体自我修改前记录原状态并测试恢复能力。在另一项 EvoUndo 评估中,扩充可用的撤销操作后,197 项存在恢复缺陷的修改中有 180 项得到恢复。

  1. 1完成任务不代表能够恢复在 2,880 组 UndoBench 配对试验中,正常运行成功率为 84%;正常情况下成功的试验遇到注入故障后,有 47% 成功恢复。
  2. 2超时可能掩盖已成功的外部操作如果工单已经创建但确认消息丢失,重试可能创建重复工单。在相关试验中,简单重试有 53.33% 产生了重复影响。
  3. 3能力提高可能伴随恢复缺陷在 600 项自我改进任务的 478 项能力提升中,有 197 项存在恢复缺陷,约占 41%。
  4. 4撤销既需要状态信息,也需要合适的操作研究者在不同子组中发现,提供准确的变更信息或扩充可用撤销操作都能提高恢复成功数。
  5. 5更丰富的撤销操作恢复了 197 个缺陷中的 180 个扩充恢复语言后,团队恢复了约 91% 的缺陷修改,600 项任务中可接纳的改进从 281 项增加到 461 项。
  6. 6接受修改前先验证恢复能力EvoUndo 记录原状态、测试修改和恢复,并由独立验证器检查后再决定是否接受改进。

要点建议

  1. 超时可能意味着操作已成功、确认消息却丢失;重试前检查状态有助于避免重复操作。
  2. 在 UndoBench 中,正常执行成功的试验遇到注入故障后有 47% 成功恢复;成功率与恢复率的分母不同。
  3. 在 EvoUndo 中,478 项提高能力的修改有 197 项存在恢复缺陷。
  4. 修改前记录原状态,恢复后独立验证结果。
  5. 根据操作的影响和恢复是否可验证,选择重试、恢复、补偿或升级处理。
全文

按章节阅读整理后的全文

01

通过测试为什么还不够

Git 无法撤销智能体产生的每一种影响。研究者测试了执行失败时智能体能否恢复。

Tanmay Sah 和 Dolly Sah 介绍编码智能体缺少的一项能力:撤销操作。智能体可能修改仓库、通过测试并创建发布标签,随后下游集成却失败。问题是,它能否把一切恢复到开始工作之前的状态。

Git 可以展示和撤销仓库内的修改,但智能体还可能调用外部 API、更改运行时配置或发送通知。重试失败操作不一定能撤销已经发生的事。因此,研究者不仅关注智能体能否完成任务,也关注它能否恢复。

在 UndoBench 中,研究者通过 2,880 组配对试验,比较正常执行和注入故障后的执行。正常运行的成功率为 84%;但在正常情况下成功的试验中,只有 47% 在遇到故障后成功恢复。Sah 提醒,这两个百分比的分母不同。

正常执行成功率与恢复率
幻灯片 1 / 5正常执行成功率与恢复率恢复率的分母是正常情况下成功的 2,406 次试验,而不是全部 2,880 次试验。
02

确认消息丢失可能导致重复操作

创建工单的请求超时,并不代表它没有成功。能否安全重试取决于故障发生的阶段。

以向外部系统请求创建工单为例:服务器创建了编号 781 的工单,但确认消息在返回途中丢失。智能体看到的是超时;这表示它没有收到响应,并不表示操作失败。

超时可能产生重复工单
幻灯片 2 / 5超时可能产生重复工单图示展示确认消息丢失后,重试如何创建第二张工单。

如果智能体不检查首次请求是否已生效就重试,便会创建第二张工单。在 UndoBench 的此类试验中,简单重试有 53.33% 产生了重复影响。响应失败和操作失败是两回事。

故障发生的阶段很重要。修改之前通常可以安全重试,因为还没有发生变化;修改过程中系统可能只改变了一部分,需要检查状态;修改之后,即使确认消息丢失,操作也可能已经生效。

03

能力提升可能让智能体更难恢复

仓库历史无法覆盖运行时和外部变化。EvoUndo 记录原状态,并评估自我修改中的恢复缺陷。

Git revert 无法覆盖工具注册表、中间件和配置等运行时状态,也无法撤销部署、数据库写入等外部影响。恢复机制必须与智能体造成的影响类型相匹配。

当智能体修改自己的执行环境,也就是 harness 时,这一点尤其重要。执行环境包括提示词、工具、中间件、事件监听器、资源和路由。一次修改可能提高智能体的能力,同时让环境更难恢复。

撤销需要知道原来的状态。如果智能体把超时时间从 30 改成 60,要还原就必须知道原值是 30。EvoUndo 在修改前记录一份原状态凭据,以便之后恢复并验证。

EvoUndo 的评估涵盖 600 项自我改进任务。在 478 项提高能力的修改中,有 197 项存在恢复缺陷,约占能力提升案例的 41%。性能提高不一定伴随可靠恢复。

能力提升与恢复缺陷
幻灯片 3 / 5能力提升与恢复缺陷478 项提升能力的修改中,有 197 项未通过恢复验证。
04

为恢复提供必要的状态和操作

在原有恢复语言下,仅靠修复提示无法解决这些缺陷。在不同测试中,准确状态信息和更丰富的撤销操作改善了结果。

研究者针对这 197 个自然出现的恢复故障,测试了四种由验证器引导的修复策略。在原有恢复语言下,没有一种成功。Sah 说,有些尝试缺少关于先前状态的准确信息,另一些则无法表达撤销所需的操作。

团队分别测试了这两个限制。在一个子组中,提供修改位置和内容的准确信息后,成功恢复数从零升至 48 例中的 38 例;在另一个子组中,增加更丰富的撤销操作后,成功数从零升至 143 例中的 142 例。恢复既需要状态信息,也需要足够的操作表达能力。

扩充撤销语言后的恢复结果
幻灯片 4 / 5扩充撤销语言后的恢复结果研究者比较了原语言下 197 项中恢复 0 项,与扩充后恢复 180 项的结果。

扩充恢复语言后,团队恢复了 197 项有缺陷修改中的 180 项,约占 91%。600 项任务中可接纳的改进从 281 项升至 461 项,提高了 30 个百分点。随后 Sah 将讲解交给 Dolly Sah。

05

接受修改前测试并验证恢复

EvoUndo 捕获原状态,执行修改和恢复,再独立验证是否还原。只有同时满足能力和恢复检查的修改才会被接受。

Dolly Sah 介绍了 EvoUndo 的接纳流程。智能体提出修改,同时给出影响契约和恢复计划,系统记录原状态。在测试环境中执行修改和恢复计划,再由独立验证器检查原状态是否恢复。

EvoUndo 的接纳流程
幻灯片 5 / 5EvoUndo 的接纳流程系统记录、测试修改并独立检查,再决定接受或修复。

只有当修改按用户指定的标准提高了能力,并且通过恢复检查时,系统才接受它。否则,智能体会尝试修复,或者验证器直接拒绝该修改。这样,在部署之前,恢复能力就成为接纳决策的一部分。

在超时示例中,EvoUndo 首先读取并记录原值 30,然后智能体将其改为 60。如需恢复,保存的凭据提供应还原的值。独立验证器会将结果与原值比较;仅仅运行撤销命令并不足够。

06

根据影响选择应对方式

Dolly Sah 区分了重试、恢复、补偿和升级处理。选择取决于发生了什么变化,以及能否安全验证恢复结果。

合适的应对方式取决于实际发生了什么。如果没有变化,重试可能安全;如果知道原状态,就可以恢复;如果外部操作已经生效,可能需要补偿操作。如果无法验证恢复安全,或验证器拒绝恢复,智能体就应停止并升级处理。

Dolly Sah 最后对比了两个项目。UndoBench 表明,成功执行不保证成功恢复。EvoUndo 将记录、修改、恢复和独立验证纳入同一流程,只有同时满足能力和恢复要求的自我修改才会被接受。

研究者将 EvoUndo 视为让恢复成为自主智能体基本能力的一步。他们希望智能体不仅能够执行操作,也能在出错时恢复。

同频道的其他文章

5 张幻灯片58:03EN → 简体中文
AI Engineer· 2026年11月17日Codex 如何连接上下文、云端工作与智能体委派Dominik Kundel, Charlie Guo · OpenAIOpenAI 的 Dominik Kundel 和 Charlie Guo 展示如何把已连接的上下文、快速反馈和远程智能体融入实际工作。编程智能体开发流程与测试智能体工程+2
5 张幻灯片19:38EN → 简体中文
AI Engineer· 2026年11月17日Simon Willison:AI 智能体能解决更多问题,工程工作却仍然不轻松Simon Willison · Datasette一个蜂鸣探测器、一款策略游戏和鹈鹕基准测试,展示了编程智能体如何在 2026 年改变他的工作。编程智能体智能体工程AI security+2
4 张幻灯片19:55EN → 简体中文
AI Engineer· 2026年11月16日Brandon Thomas:用 AI 智能体开源重建创意软件Brandon Thomas · ArtCraftArtCraft 团队用约一天时间构建了一个类似 Photoshop 的初版编辑器,随后与社区一起扩展开源创意工具。Open SourceGenerative mediaSoftware engineering+2
5 张幻灯片23:19EN → 简体中文
AI Engineer· 2026年11月15日Diogo Almeida:可靠的 AI 需要不同的训练目标Diogo Almeida · TypeSafe AIAlmeida 认为,为辅助人类而训练的模型不适合无人监督的自动化;他主张围绕可靠智能构建软件。AI agents模型与训练Software engineering+2
6 张幻灯片17:31EN → 简体中文
AI Engineer· 2026年11月14日Lauren Tan:用可执行的检查让 AI 生成的代码更可信Lauren Tan · SpaceXSI这位 Grok Bot 工程师介绍了团队如何通过架构、验证和审查,支持大量智能体生成的代码。编程智能体开发流程与测试Software engineering+1
2 张幻灯片17:31EN → 简体中文
AI Engineer· 2026年11月12日Claude Code 需要的引导更少,无人值守工作却需要更强的检查Lydia Hallie · AnthropicLydia Hallie 介绍权限、隔离环境和验证如何接手人们过去在每次会话中执行的任务。编程智能体开发流程与测试Agent orchestration+1