SWE-bench 团队谈编程智能体、评估与编程的未来

Matthew Berman 采访 Princeton 研究人员 Kilian Lieret、Ofir Press 和 Carlos E. Jimenez，讨论 SWE-bench、SWE-agent 和软件开发的未来。在这场 2024 年 12 月的对话中，团队解释了基准和智能体的构建过程，并讨论了当时尚未推出的计划。

Berman 询问他们使用的编程工具。Lieret 表示，他从 GitHub Copilot 转向 Cursor，欣赏它能够建议在文件其他位置进行合乎逻辑的后续修改。他说自己通过 Cursor 使用 Claude；Berman 也认为其引用文件的能力很有用。

Press 表示，在 SWE-agent 开发期间，他使用 Visual Studio，并通过网站向语言模型提问。他的许多工作是阅读智能体轨迹并调整提示。Jimenez 说，团队还使用 Cursor 和 AWS 基础设施处理云工作负载及自动化 SWE-bench 评估。

Jimenez 解释，SWE-bench 的起源是把 GitHub 看作不只是代码集合。它的 issue 和 pull request 系统保存了用户报告问题、贡献者提出修复的实例。这些历史记录为从真实开源项目构建软件工程任务提供了途径。

基准向智能体提供 issue 和仓库上下文，然后使用测试评估其拟议修改。与要求编写单个函数的简短编程题不同，这些任务可能需要浏览现有代码库并修改多个文件。通过基准测试衡量的是在选定 issue 上的成功情况；这不能证明系统能完成所有软件工程任务。

Lieret 回忆说，这些任务最初似乎太难，难以吸引很多人尝试。Press 澄清了团队经历：Jimenez 和 John Yang 主导原始基准工作，Press 随后加入，Lieret 在基准发布前后加入。Yang 没有参加这次访谈。

Press 回忆，早期基线解决了约 1.96% 的问题，他最初认为智能体达到 6% 就非常了不起；他曾说如果团队达到这一目标，就请大家吃意式冰淇淋。他说随着开发推进，结果上升到约 13%。这些是团队特定评估设置下的历史结果，不能随意与后来不同基准版本的分数比较。

团队尝试了许多命令和工具，并阅读智能体轨迹以理解失败原因。Press 表示，一个有用的认识是要为语言模型设计智能体—计算机界面，就像图形界面围绕人类用户设计一样。模型需要来自环境的、易于处理且信息充分的反馈。

文件查看器就是一个例子。展示整个长文件可能让智能体难以处理，因此界面每次显示 100 行，并提供滚动和搜索命令。Press 说，在他们的实验中，这个窗口比 200 行或 300 行的窗口效果更好；这是特定设置下的实证结果，而非普遍的上下文大小规则。

编辑是另一个难点。智能体有时会重复一行，或修改偏差一行的范围。Press 将编辑后集成 linter 的做法归功于 Yang，这使系统能够捕捉一些错误并提供反馈。改进来自反复实验，而不只是给模型更长的提示。

Press 回忆，Cognition 在推出 Devin 前不久联系了他们，并向 SWE-bench 提交结果。公众对 Devin 的关注，加上随后开源 SWE-agent 的发布，帮助基准获得了关注。他说，在那次历史比较中，他们的早期结果相近，但速度和开放程度不同；这些说法不能确立当前的产品排名。

Berman 将 SWE-bench 概括为测试来自真实 issue 的编程任务的基准，将 SWE-agent 概括为用工具包装模型来尝试这些任务的系统。Press 将工具放在一个连续谱上：自动补全在开发者编写时提供帮助，而研究智能体旨在无需干预地从 issue 走到拟议修改。即使智能体在运行期间自主操作，人工审查仍然重要。

Berman 预测 AI 工具最初会增加构建软件的人数，随后猜测程序员最终可能不再必要。他以生成式游戏演示为例，思考按需创建的应用。这是他的预测，而非 SWE-bench 的研究发现。

Jimenez 同意助手可能降低学习陌生语言、框架和工具的门槛。模型广泛的知识可以帮助人们更快入门，但生成的工作仍需评估。他预计更广泛的访问可能让更多人参与软件构建。

展望更远的未来，Jimenez 设想智能体尝试修复 bug 和实现功能请求，而人们越来越多地审查其工作。他认为在某些设置下，让智能体处理许多 issue 可能成本不高，但成本取决于模型、上下文、尝试次数和基础设施。他关于工程师转向质量保证的设想是一项预测。

Berman 询问语言模型能否本身成为操作系统，在没有传统应用的情况下生成用户所需的内容。Jimenez 称这是一个极端且不寻常的设想，可能带来有趣研究，但效率尚不确定。生成式游戏演示不能证明这样的系统会取代普通软件。

Lieret 预计，随着助手减少重复编程，有能力的开发者会提高生产力。他说中期就业影响尚不确定：更高效率可能减少每个项目所需的工作量，但更便宜的软件也可能创造此前不可行的项目需求。

对于更大或更关键的系统，Lieret 强调可预测的行为和保证。他预计传统代码仍然重要，因为系统需要可检查的性质，即使人类以更高层次表达需求也是如此。确定性代码仍需测试，并不会自动保证正确性。

Lieret 还担心，在现有代码上训练的模型可能复制既有模式，而不是采用新模式。开发者可以明确要求新方法，但必须说明自己想要什么。他预计编程会持续存在，尽管语言以及规格与实现之间的平衡可能改变。

Press 预测，智能体将越来越多地把自然语言 bug 报告转成供人审查的 pull request。他估计解决大多数常规 issue 和功能请求可能需要几年，同时指出当时的智能体难以处理复杂 bug 和功能。他的百分比与时间表是 2024 年的预测，而非对当前性能的测量。

在更长的时间范围内，Press 设想普通用户可以要求计算机在电子表格中添加一个有用按钮，并直接获得它。他对技术能力更广泛地普及感到兴奋，同时承认十年预测很困难。这个例子是愿景，而非已经证明的保证。

Lieret 提醒，旧式无代码工具在控制、跟踪变更和协作方面遇到过问题。他预计临时的一次性任务与必须可靠、可维护的专业软件之间仍有区别。Berman 同意，解释需求、思考边界情况和评估系统依然是费力的工作。

Berman 询问，如果 AI 编写更多代码，编程语言本身是否会改变。Jimenez 说，Python 的可读性反映了人类偏好，但这些偏好未必与模型最容易处理的形式相同。他猜测更强的类型约束或不同语言结构可能有用，同时强调自己并不知道。

Jimenez 指出一个现实制约：Python 和 JavaScript 等流行语言有大量训练材料。他设想了更高级的语言或模型辅助编译过程，但认为这仍属推测。Berman 补充说，为模型优化的语言不一定要让人类读者感到熟悉。

Lieret 考虑了具有更强保证的语言，因为工具自动补全代码后，多输入字符的成本降低。他还设想程序员编写更多描述期望行为的语句和测试，由模型补充实现。这是工作流程可能发生的变化，而非已证明能取代实现设计的方案。

他提醒，当编写实现本身会揭示问题究竟是什么时，严格的测试驱动开发很困难。集成测试可能比依赖未知实现的单元测试更容易提前指定。他预期规格、检查和代码会更灵活地结合，而不是形成唯一固定流程。

Press 强调训练数据和算力对模型开发的重要性。他认为新发明的 AI 专用编程语言最初缺乏大型训练语料，这会使其难以普及。他无法断言，如果所有语言都有同样丰富的数据，另一种语言是否会更好。

Lieret 建议探索转译：把新语言与训练示例更多的成熟语言连接起来。团队一致认为这个问题仍未解决。他们讨论的是可能的研究方向，而不是某种新语言将胜出的证据。

Berman 询问项目下一步计划。Press 表示，团队正在进行 SWE-agent 的重大重构和 1.0 版本，目标是让它在本地和云端更容易运行与扩展。录制时这还是计划；可用性和实现可能改变。

Press 还介绍了 SWE-bench Multimodal，它将 issue 解决评估扩展到包含视觉组件的任务，包括用户界面、地图、绘图和图表。他说评估基础设施正准备发布。该基准是一组选定的 issue，并不是对所有视觉编程的全面衡量。

Lieret 解释，重构旨在缩小 SWE-agent 代码库、使其更易修改，同时改善并行执行。他描述了并发运行许多实例的目标，但会受到资源和模型速率限制。他对更快评估的估计是该拟议设置的目标，而非保证的运行时间。

团队将远程执行拆分到名为 SWE-ReX 的包中。Lieret 说，它管理检出仓库、安装依赖并运行智能体代码所需的环境，计划中的选项包括本地 Docker 和云后端。沙箱是一种有用的隔离机制，但不应假定任何实现都没有风险。

Jimenez 将 SWE-agent 描述为执行后端之上的可配置智能体与工具层。他说用户可以选择浏览器或显示器等组件，而 SWE-ReX 管理执行。这种分离旨在让系统对用户和研究人员都更灵活。

团队还计划提供云评估 API，让用户提交预测结果，而不必在本地运行每个评估容器。Jimenez 说，并行云执行可以减少部分用户的等待时间。实际性能、可用性和成本取决于服务与工作负载。

对于 SWE-bench Multimodal，Jimenez 说 AWS 支持最初会帮助团队提供免费评估，持续时间取决于需求和资源。Press 补充说，服务端评分可以减少意外或故意测试泄漏的机会，并允许公开结果。这是一项缓解措施，并不能证明所有基准操纵都不可能发生。

Berman 感谢团队接受采访及其开源工作。讨论以 SWE-bench、SWE-agent 和 SWE-ReX 的链接结束，并区分了他们在 2024 年的计划与后来可能发布的版本。