GPT-5、Cline 与 SWE-bench：如何评判 AI 编码智能体

2025 年 8 月 8 日，Matthew Berman 在 Forward Future Live 上与 Matt Wolfe 和 Ray Fernando 讨论这一周密集发布的 AI 产品。随后，Cline 的负责人讨论编码智能体，SWE-bench 团队成员则谈到如何评估这些系统。

Wolfe 说，GPT-5 发布会让他有些失望，但模型本身又给他留下了深刻印象。他让模型一次性制作《Vampire Survivors》的克隆游戏，结果游戏运行正常，升级功能也有了。他强调的是早期个人试用感受，并非系统评测。

Wolfe 将这场发布会与 GPT-4 当年令人惊艳的演示作比较，例如把手绘网站变成可运行页面。在他看来，GPT-5 的展示让进步显得很有限，尽管他自己的编程体验很出色。

Fernando 对 GPT-5 的第一印象是可引导性很强：它会跟随用户不断变化的指令，而不是坚持自己的做法。他在 Cursor 中用它检查身份验证技术栈并处理一项棘手的重构，就像请一位经验丰富的工程师审查代码。

Fernando 注意到，模型有时会说明对某个方案的顾虑，同时仍然遵循他的偏好。他想进一步探索这种平衡。他打了个比方：司机应该把乘客送到要求的餐厅，而不是自行决定另一个目的地更好。

Berman 问可引导性与谄媚有何区别，并举例说早期模型可能会赞同糟糕的个人决定。Fernando 说，当他质疑一个重构方案时，GPT-5 确实提出了反驳，其解释也提醒他现有软件栈是如何工作的。

Fernando 不认为 GPT-5 会在所有任务中取代 Claude。他描述了自己的分工：先用 Claude 制订计划，再用 GPT-5 实施并进行细致的来回讨论；他倾向于删除不必要的代码。这种分工反映的是他自己的工作方式。

Berman 提到发布后转向 GPT-5 和自动路由，在他看来，这比在多个旧模型中选择更简单。Wolfe 认为这种简化有利于不知该选哪个模型的普通用户，不过高级用户可能会想念自己熟悉的选项。

Berman 喜欢快速回答与额外推理相结合的方式。Wolfe 说，在他的早期试用中，简单问题通常能得到快速回答，较难的问题则会触发更多思考，虽然有时他希望模型更仔细地推敲。他说用户可以要求模型多想一想。

Wolfe 说，过去他会把同一个提示词交给不同模型比较，有时还会合并答案。他预计，对于只想获得有用回答、不想研究模型菜单的用户，自动路由能减轻这种负担。

Fernando 建议，在接触新模型时不要照搬对旧模型的所有假设。在自己的编程实验中，他先关闭额外工具和 MCP 集成，观察模型本身能做什么，再围绕它重新构建工作流程。

Berman 在处理大多数问题时重视速度，遇到复杂规划或编程任务才使用推理模型。他认为，一些成熟基准的分数可能无法体现更细微的差异，因此希望通过实际使用来检验模型的长处和不足。

Fernando 同意，花时间了解模型的行为会有回报。他也喜欢在 Opus 和 GPT-5 之间传递工作，比较不同视角、完善计划，而不是只依赖一家供应商。

讨论转向 OpenAI 最近发布的开放权重模型。Wolfe 说，他在配备 M3 Ultra 和 256 GB 内存的 Mac Studio 上，使用 LM Studio 本地运行了 200 亿和 1200 亿参数版本。据他报告，在这台机器上，小模型大约每秒生成 100 个 token，大模型约 40 个。

Wolfe 说，开放权重模型比 GPT-5 的发布更令他惊讶，因为本地模型能制作游戏和应用，而且在他的任务中，其实用程度接近托管模型。这是他在性能异常强大的硬件上的个人感受，并非对各种工作负载进行的等效性测量。

Fernando 认为，本地推理适合需要离线和后台运行的产品功能，不必让每台设备同时连接服务器。他设想利用夜间闲置算力打造功能更丰富的应用；他描述的是一种可能的设计，而非已经部署的产品。

Fernando 权衡了昂贵电脑、电费与订阅费用后说，对他的编程工作而言，托管模型仍更划算。不过，作为应用开发者，他很期待利用本地推理在设备夜间充电时生成元数据等内容，减少对服务器容量和网络连接的依赖。

Berman 提出一种猜测：OpenAI 在 GPT-5 之前发布强大的开放权重模型，是为了打击其他付费推理服务。Wolfe 觉得这种竞争策略说得通，Fernando 则强调有用的模型会自行赢得口碑。嘉宾们并未证实 OpenAI 的真实动机。

Berman 将这种被猜测的开放权重策略与企业先免费提供产品、再销售配套服务的做法相比。Fernando 则强调周边工具和用户体验：在某项任务上表现出色的模型，会因为用户讨论而受到关注。

谈到 Claude Opus 4.1，Fernando 说它能很好地遵循指令，但他也见过一些说得很肯定、却需要进一步检查的方案。他不确定原因是提示词还是其他因素，因此在信任代码之前仍会进行审查；这只是他有限的初步印象。

Wolfe 说，在他自己的应用开发测试中，Opus 4.1 和 GPT-5 在设计与功能上感觉差不多。他提到两者公布的 SWE-bench 分数接近，但强调 API 价格差异。Berman 展示了当时的价格：Opus 4.1 每百万输入 token 15 美元、输出 75 美元；GPT-5 分别为 1.25 美元和 10 美元。

展示的价格表还列出 GPT-5 nano 的价格：每百万输入 token 0.05 美元、输出 0.40 美元。Wolfe 认为，如果两个模型在某项编程工作中感觉足够接近，价格可能决定他的选择；这些数字来自 2025 年的讨论。

Berman 介绍 Google 的 Genie 3 演示：用户可以在世界生成过程中控制它。Wolfe 对视角转开再转回来时场景似乎保持一致感到惊讶。这些是演示，不能证明世界没有边界，也不代表已经出现完整游戏。

Wolfe 将 Genie 3 与较早的生成环境作比较：以前移动或转向时可能遇到边界，或者看到场景发生变化。他认为演示中的场景持续性是一项进步，并设想未来游戏画面可以逐帧生成，而非采用传统渲染方式。

Wolfe 看到逐帧生成游戏的潜力；Berman 将演示与马斯克的预测联系起来，后者认为神经网络最终可能直接生成像素、音频和动作。他们将其视为未来的可能性，也承认如何构建和部署这样的系统仍不确定。

Fernando 预计进展需要多次迭代，并以自动驾驶中神经网络取代部分手写组件为类比。他也强调连接 AI 系统与硬件、开发者接口所需的软件层。Berman 引用“苦涩的教训”，用来解释他所看到的更加依赖规模的趋势。

Berman 对“苦涩的教训”给出宽泛解读：扩大通用计算的方法可能胜过人工精心设计的方案。Fernando 将进一步的进步与更多数据和算力的需求联系起来，并以 Tesla 收集驾驶数据为例。

Fernando 说，技术基础设施依然重要。他将未来的接口比作 Apple 的框架：开发者可以绘图，无须直接管理每一项硬件限制。他设想新的软件层帮助 AI 系统高效使用设备；这是设想，并非 Genie 已具备的能力。

Wolfe 猜测，配备摄像头的眼镜是否也能提供对世界模型有用的数据，并认为它可能同时带来用户价值和训练价值。这只是猜测。嘉宾们还讨论了马斯克对交互式视频生成的激进时间预测；Berman 提醒观众审慎看待。

Wolfe 问，生成的环境如何为多个玩家保持一致。Fernando 猜想不同设备可以共享信息来同步生成的世界，Berman 则称这个想法很有前瞻性。他们并未声称 Genie 的演示解决了多人一致性问题。

Berman 展示了用户如何在生成过程中通过文字提示加入事件，例如让一辆水上摩托出现在运河中。他问，完全生成的游戏是否会成为常态，以及这可能需要多久。

Fernando 说自己不是游戏玩家，以局外人的身份粗略猜测需要十年。在他看来，演示之后还需要底层软件、集成层，以及能将这些组件整合成完整产品的人。Berman 补充说，生成内容越来越多时，人的品味和筛选能力可能更有价值。

Fernando 说，制作有效的产品需要理解技术栈并连接各个组件的人，仅有精彩演示还不够。Berman 则用另一个含义谈“品味”：从不断增长的生成内容中选出值得体验的作品。

Wolfe 预计生成式游戏会成为一种类型，但不确定所有游戏都会这样制作。他预料一些重视独立创作者的玩家会抵触，而年轻玩家可能更关心游戏是否好玩。两位嘉宾都表示自己的时间判断只是猜测。

Berman 同意 Wolfe 的看法：最终体验对玩家很重要，游戏必须有吸引力，值得反复游玩。众人拿发布日期开玩笑，随后转向模型名称和公布的时间表为何难以解读。

谈及拟议中的 Grok 5，Fernando 认为模型编号部分是一种命名游戏，他还在观察面向编程的 Grok 4 将如何发展。Wolfe 则猜测马斯克选择宣布消息的时机。嘉宾们还指出，模型开发商会选择重点展示哪些基准。

Fernando 说，Grok 4 的可引导性没有达到他的期望，他希望未来的编程模型能更好地遵循指令。Wolfe 猜测，在新闻密集的一周宣布 Grok 5 也是为了吸引注意；两者都是个人看法。

Berman 欢迎 Cline CEO Saoud Razwan 和 AI 负责人 Nick。Razwan 介绍说，Cline 是一个开源 VS Code 扩展，接收软件任务后循环调用工具，利用编辑器、终端和浏览器完成任务。

Razwan 说，这个项目最初是一项实验，目的是尽量发挥 Claude 3.5 Sonnet 等模型以及大上下文窗口的能力。由于反复请求可能很昂贵，Cline 会显示请求和任务的费用。用户可以自带模型或推理服务；他表示计划支持 JetBrains。

Razwan 说，这种透明度覆盖单次请求和整个任务，让用户决定自己愿意花多少钱。有些用户自带推理服务并使用供应商赠送的额度，而不必局限于单一模型。

Nick 解释说，Cline 让用户自带 API 密钥，直接看到推理费用。他认为，固定价格服务的订阅用户可能看不到这些成本，而供应商也面临控制支出的压力。据他说，一些 Cline 用户仍愿意大量投入，因为自动化节约的工程时间可以抵消费用。

Nick 认为，定价激励会影响技术选择，包括只检索较小的上下文片段，或使用辅助模型应用修改。他说 Cline 更倾向于给强模型提供充足上下文，避免某些检索和即时应用系统。这是他所在产品团队的看法，并非对竞争对手的独立调查结论。

Nick 说，Cline 不采用基于嵌入的检索或单独的快速应用模型。他认为，额外使用模型应用修改可能引入细微错误或掩盖失败；这只是他对取舍的判断，其他系统可能选择不同做法。

Berman 联系自己经营 SaaS 公司的经历谈定价，并问 Cline 不赚取推理差价如何盈利。Razwan 说，最初的出发点是他自己希望看到并控制支出，同时根据任务难度和成本更换模型。

Razwan 举例说，对成本敏感的工作可以选择更便宜的模型，需要平衡时使用 Sonnet，任务较难时使用 Opus。他认为，展示成本有助于用户判断何时值得使用更昂贵的模型。

Razwan 说，用户会逐渐了解不同工作适合哪些模型和价位。同一架构也支持通过 Ollama 和 LM Studio 等工具使用本地模型，不过他说，早期本地模型的能力往往不足以胜任 Cline 工作流程。

Razwan 说，Cline 的商业计划是在开源项目周围提供企业软件和服务。他提到团队管理、账单、审计日志和基于角色的访问控制等需求，企业希望将工具推广给数百乃至数千名员工。

Berman 说，他自己的 SaaS 企业客户需要的是安全、合规和支持，而不只是更多使用量。Razwan 认可这一相似之处，并列举了大规模部署所需的管理功能。

被问到 Cline 如何接入新模型时，Nick 说，在他的测试中 GPT-5 安静且严格按字面执行指令。这暴露出原有模型无关系统提示词中的歧义和矛盾，包括规划模式响应工具的问题。

Nick 说，OpenAI 建议用 GPT-5 本身检查系统提示词，找出最小修改方案。模型提出了澄清文字和额外工具参数，包括一个标记，用来判断是否需要继续探索。Cline 通过实际测试和内部基准评估新模型，其中包括难度较高的差异编辑测试。

针对其中一个问题，GPT-5 建议增加参数，让智能体在回答前提供更多已经探索的证据。Nick 说，Cline 最终加入了询问是否需要进一步探索的标记，这说明提示词和工具设计会与模型行为相互影响。

Razwan 说，评估模型不仅要看它是否完成任务，还要观察它如何推进、花费多长时间以及犯了哪些错误。他报告说，在 Cline 的内部测试中，GPT-5 的结构化差异编辑表现不如 Claude 模型。这是公司针对特定任务的结果，并非普遍排名。

Razwan 说，通用基准很难重现每位开发者独特的工作流程。他自己更喜欢通过实际任务评估，特别关注工具调用、文件编辑和结构化输出，同时承认不同模型各有所长。

Nick 批评常见编程基准未能反映完整的智能体工作流程。他认为，一次性文件编辑与智能体在真实代码库中探索不同，因此他希望评估取材于真实任务，而不是只依赖合成样例。

两位 Cline 负责人选择了不同的默认模型。Razwan 说，考虑到效果和成本，他自己的工作仍使用 Claude 3.5 Sonnet；Nick 则说 GPT-5 符合他的风格：他先确定架构，希望智能体严格执行并减少多余说明。

Razwan 说，较新的 Claude 模型使用思考能力的方式不如 Claude 3.5 Sonnet 适合他的工作流程，而且思考预算较高时成本可能更高。相比之下，Nick 会先写好架构和规格，欣赏 GPT-5 愿意严格遵循它们。

Nick 介绍自己用 GPT-5 制作 Chrome 扩展，让 Slack 支持类似 Discord 的回复方式。他说自己大约一小时就完成、发布并开源了它；这个例子展示的是他的工作流程，不能代表典型表现。

Razwan 说，Cline 在种子轮和 A 轮融资中合计筹集了 3200 万美元，Pace Capital 领投种子轮，Emergence Capital 参与了后续一轮。他计划扩展企业功能和 IDE 支持，并表示团队从一月份的大约四人增长到采访时接近 30 人。

接着，Berman 欢迎 SWE-bench 团队成员 Ofir、Carlos、John 和 Kilian。团队介绍了基准的起源：开源代码库中的问题通常有对应的拉取请求，里面包含修复和测试。模型获得问题描述与较早版本的代码库，修改代码，再由相关测试评估。

SWE-bench 使用修复之前的代码库状态，而不只是一道独立的编程题。相关测试检查所提修改是否解决问题，让评估与研究者在开源项目中观察到的开发流程联系起来。

团队说，基准代码是开源的，因此模型开发商可以自行运行评估并公布发布时的成绩。研究人员也使用共同的小型框架 mini-SWE-agent 独立测试可访问的模型，结果可能与厂商公布的数字不同。

Carlos 介绍了 SWE-bench Bash Only：早期提交允许使用差别很大的系统，包括检索和多智能体配置，因而难以比较模型本身。新设置为模型提供相同的最小环境和 bash 接口，减少专门设计的框架支持。由于获得的帮助更少，分数可能较低。

团队说，bash-only 方法去掉专门工具，使用简单的文本接口，因此也能测试不支持原生工具调用的模型。比较中的每个模型都使用相同环境，而非各自定制的框架。

团队补充说，复杂的提交方案可能对同一问题尝试很多次，再用裁判模型选出答案，这会改变成本和测试条件。他们希望共同设置能带来更可比的测量结果。他们还说，排除有问题的实例可能使分数变化几个百分点，因此倾向于报告全部 500 个已验证问题的结果。

由于基准和源代码库都是公开的，Berman 问到数据污染。团队成员说，这些代码库不可避免地会出现在训练数据中，也承认外界对基准中 Django 代表性等方面的批评。他们的目标是追踪与实际工作相关的模型能力，而不是在分数上升时宣布软件工程已经自动化。

研究人员描述了一项实验：用成功解决问题的过程训练较小模型。学生模型见过已解决的问题，并不能保证它也能解决。他们认为这表明任务不只是简单记忆，同时承认训练数据与得分之间的关系仍然复杂。

Kilian 介绍说，他们比较了模型在旧问题与知识截止日期之后新问题上的表现。他说，他们没有观察到截止日期之后表现简单地崩塌；问题难度随时间变化也可能影响结果。这样的时间分析并不能证明不存在污染。

团队说，测试全部 500 个问题可以保持分母一致，即使其中一些问题很难或存在缺陷。他们也承认，如果目标是只报告供应商认为可解决的问题，使用不同分母也可以有其理由；关键是说明测试设置。

团队指出，OpenAI 的 GPT-5 模型卡结果在 500 个已验证实例中排除了 23 个。他们将厂商的设置与自己使用共同框架的比较区分开来，并表示智能体系统和实例选择不同，使得公布的数字难以直接比较。

在团队展示的历史图表中，共同设置下 Claude Opus 4 得分为 67.6%，GPT-5 为 65.0%，Sonnet 4 为 64.8%，GPT-5 mini 为 59.8%，GPT-5 nano 为 34.8%。嘉宾澄清，图中是 Opus 4 而非 4.1；当时后者尚未加入图表。

研究人员提到 Qwen3-Coder 的结果为 55.4%，随后讨论基准饱和。他们说 SWE-bench 不会永远具有挑战性，因此团队正在开发涵盖九种编程语言的多语言任务，以及包含图像的多模态问题；在讨论时，两者都更难。

多语言基准采用新的代码库和九种语言，多模态版本则在问题描述中加入图像。团队报告说，当时这些变体的分数低于原有基准，因此还有更多空间衡量进步。

一位研究人员认为，定性的使用感受有时可以转化为可测量任务。例如，AlgoTune 要求模型让程序运行得更快，可以不断尝试更有野心的优化方法，而不是止步于一个固定答案。

团队表示，除了通过率，成本和步骤数量也是重要维度。以更低成本或更少步骤解决问题的模型可能带来不同的用户体验；复杂命令也会影响易用性。适合的比较方式取决于应用场景。

团队再次谈到设计理念：不为每个阶段预先规定检索流程和工具，而是给模型一个最小接口，让它自行查找文件、选择修改和应对错误。Mini-SWE-agent 将这种方法推向一个可以访问 shell、向模型反馈信息的小型循环。

研究人员说，这个小型智能体会将错误传回模型，让它决定下一步如何处理。他们希望把更多工作交给模型，让测量结果较少依赖人工设计的复杂流程。

Berman 感谢 SWE-bench 的嘉宾，并鼓励观众查看该基准、用它测试模型。在讨论了模型发布、实际编码智能体设计和单一评估分数的局限之后，他结束了 8 月 8 日的节目。