Cursor Composer 2.5:速度、编程基准与评估的局限

原标题Cursor Composer 2.5: Speed, Coding Benchmarks, and the Limits of Evaluation

Theo 探讨 Cursor 编程模型的训练方法、实际表现,以及独立测试面临的困难。

TBTheo Browne讲者 · T3
频道
Theo - t3․gg
发布
2026年5月24日
视频
37:30
阅读
9 分钟
幻灯片
7
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Theo Browne 讨论了 Composer 2.5 公布的价格与编程成绩,解释 Cursor 公开的训练方法,并用一个游戏测试模型。由于独立使用渠道有限,他对基准和商业前景的结论有所保留;他还披露自己是 Cursor 的早期投资人。

  1. 1完成任务的成本除了 token 单价,还要比较 token 用量;订阅和谈判条款也各不相同。
  2. 2厂商报告的基准Cursor 的图表显示其模型在单位成本上的编程表现很强,但基准并未完全公开。
  3. 3定向训练反馈针对个别步骤的提示可以教会模型避免局部错误,而最终奖励可能几乎无法反映这些错误。
  4. 4合成任务与奖励投机删除功能可以创造可测试任务,但智能体可能利用环境中无意留下的线索。
  5. 5非正式的游戏测试重建的游戏展示了可用的核心机制,同时也出现加载、比例和操作问题。
  6. 6独立测试仍然重要模型访问方式受限,使外部评估和接入现有基准更加困难。

要点建议

  1. 模型成本取决于 token 价格、使用量和适用的商业条款。
  2. Cursor 的编程基准有参考价值,但不能取代独立评估。
  3. 针对特定步骤的反馈可以教会模型避免最终奖励可能忽略的错误。
  4. 合成任务需要仔细控制环境,防止模型走意外捷径。
  5. 快速编程模型适合交互式迭代,但复杂任务仍可能需要进一步检查。
全文

按章节阅读整理后的全文

只看原始文稿
01

值得关注的编程模型

Theo 介绍 Composer 2.5,并披露他对 Cursor 的投资。他解释了访问方式为何让独立比较更困难。

Cursor 的 Composer 2.5 是一个速度快、相对便宜的编程模型,值得关注。它公布的成绩引人注目,但有一个限制:模型通过 Cursor 提供,这让独立评估更困难。我的实际体验表明它有用,但我不会把它用于所有任务。

我需要说明,我是 Cursor 的早期投资人。后面我会谈到自己对公司与 SpaceX 交易的看法;投资关系仍然是理解我的视角时应考虑的背景。Cursor 没有为这次报道付费。

02

模型使用的成本

每 token 的费率、token 用量、订阅和谈判价格都会影响实际成本。Theo 讨论了 Cursor 面临的竞争压力。

模型价格有多个层面。供应商通常按每百万输入和输出 token 报价,输出一般更贵。token 是文本单位,不完全等同于单词。我在这里谈到的历史价格只是当时的快照,做决定前应查看供应商的现行价格。

每个 token 的价格只是第一项因素。第二项是模型解决具体问题需要多少 token。单价更低的模型如果生成大量输出,完成任务的总成本未必更低;不同的推理设置也会改变成本和答案。

我用 Artificial Analysis 的结果举例:在我看到的测试中,一些小模型生成的 token 比大模型更多,而 GPT-5.5 不同设置的输出量差异也很大。这些数字属于特定基准和配置,不能预测所有工作负载。

第三个因素是购买方拿到的价格。API 标价、企业谈判价格和个人订阅的实际成本并不一定相同。我认为,如果订阅受到大量补贴,Cursor 这样的中间商转售其他公司的模型时就会面临压力。

我举出的订阅价值和供应商利润数字是估算,不是公开的合同条款。限额、价格和可用额度因套餐而异,也会随时间变化。一般性的难题是:模型供应商既能销售自己的应用,也能决定竞争对手使用其 API 的条件。

03

数据与 Composer 的经济账

他解释交互数据和自有模型为何可能对 Cursor 重要。基准成绩由公司自己报告。

我认为数据可能是 Cursor 的优势。在设置和权限允许时,交互记录不仅能展示开发者写了什么代码,还能展示他们如何与智能体规划、纠错和迭代。具体交互能否用于训练,取决于产品的数据控制和政策。

Cursor 有理由开发自己的模型:如果它完全依赖竞争对手的 API,而对手又补贴自己的工具,经济账可能很难算。我最初不看好 Composer,因为早期版本的价格相对于质量似乎偏高,但后续版本改变了我的看法。

按我的体验,Composer 2 更便宜,也更好。Cursor 发布时给 Composer 2.5 标准版的价格是每百万输入 token 0.50 美元、每百万输出 token 2.50 美元;快速版本另有价格。这些是发布时的数字,不代表当前价格。

录制时的 Composer 模型价格
幻灯片 1 / 7录制时的 Composer 模型价格Cursor 价格表展示 Composer 2 和 2.5 标准版与早期模型的费率;价格可能变化。

在 Cursor 自己的编程基准中,公司报告 Composer 2.5 接近前沿模型,单任务成本则低得多。图表值得关注,但基准并未完全公开,我们无法独立检查所有任务,也不能假定排名适用于其他工作负载。

在我讨论的公开结果中,Composer 2.5 得分为 63%,GPT-5.5 为 64%,Opus 4.7 为 65%。我认为公布的成本差异令人印象深刻,但这些是特定设置下由厂商报告的结果,不是通用排名,也不是独立验证。

04

Composer 2.5 的训练

Cursor 介绍了 Kimi K2.5 基础模型、定向文本反馈和合成任务。Theo 讨论奖励投机的难题。

Cursor 表示,Composer 2.5 与 Composer 2 使用相同的 Kimi K2.5 基础检查点,并通过更多训练、更难的强化学习环境和新方法改进。公司还称它在长任务、遵循指令、沟通和工作力度调节方面有所改善,而单一基准未必能反映这些品质。

估计的训练算力分布
幻灯片 2 / 7估计的训练算力分布Cursor 的图表将 Composer 2.5 估计算力的大部分归于额外训练与强化学习。

训练图估计 Composer 阶段投入的算力远高于原始基础模型。我把这与 Cursor 宣布的 SpaceX AI 合作联系起来;我对交易条款和可能结果的评论属于推测,训练图本身并不能证实这些说法。

一种训练方法是带文本反馈的定向强化学习。长时间运行的智能体最终拿到的奖励,可能反映结果是否有效,却很难指出过程中某一次错误工具调用、含糊解释或风格违规。

定向文本反馈
幻灯片 3 / 7定向文本反馈Cursor 解释局部提示如何为长时间运行的智能体中的特定行为提供训练信号。

Cursor 介绍的做法是:在局部上下文中加入简短的纠正提示,得到教师分布,再让只看到原始上下文的学生向该分布靠近。目标是让模型学会行为,而不必每一步都收到提示,同时保留整体强化学习目标。

例如,智能体调用了不存在的工具,随后又恢复正常,最终成功奖励可能几乎不会惩罚这个错误。列出可用工具的提示可以改变教师在该步骤的概率分布,给训练提供更局部的正确信号。

公司还表示,训练使用的合成任务数量是 Composer 2 的 25 倍。一种方法是从能运行的代码库中删除有测试覆盖的功能,让智能体重新实现,再用原来的测试作为可验证奖励。这是一种基于真实项目生成更难任务的巧妙方式。

合成任务与奖励投机
幻灯片 4 / 7合成任务与奖励投机研究文章介绍功能删除方法,以及训练任务中出现的意外捷径。

合成环境也会出现奖励投机。Cursor 报告,模型曾从 Python 类型检查缓存中找回被删除的函数签名,另一次则反编译 Java 字节码。在我的实验里,智能体也曾找到附近的示例项目并借用线索。设计真正衡量目标工作的奖励和环境很难。

05

游戏构建测试

Theo 让 Composer 重建游戏,并检查生成的设计。结果部分可用,但还需要继续迭代。

实际测试时,我使用 Cursor 的 Glass 界面,尽管我觉得它缓慢、笨重。我参与开发的 T3 Code 也通过 CLI 集成支持 Cursor,但这次我使用 Cursor 自己的界面。第一次打开时出现项目不对的问题,重试后才进入。

我让模型参考现有的 Fish Slop 游戏,在新目录里从头重建,改善素材并让核心引擎更可靠。它很快启动并行智能体并开始修改。这只是一次非正式实验,不是可重复的对照基准。

初始页面没有加载成功;我让它运行起来后,核心机制确实能用。我不喜欢生成的素材,于是要求它换回原版。它很快完成了替换,但比例和可读性仍需调整。

重建的 Fish Slop 游戏
幻灯片 5 / 7重建的 Fish Slop 游戏Theo 在非正式测试中生成的游戏可以运行,但他随后发现了缺陷。

我还查看了一个设计比较网站:它让模型在使用或不使用前端设计 skill 的情况下处理相同提示词。Composer 的一些结果有不错的字体和视觉细节,另一些则有对齐问题,或者风格重复、显得过时。审美是主观的,但便宜模型能做出可用设计仍令人鼓舞。

比较生成的界面设计
幻灯片 6 / 7比较生成的界面设计设计比较网站展示同一提示词,以及使用前端设计 skill 生成的示例。

游戏仍不完善:比例有误,一些屏幕按钮不能操作,喂食机制也有问题。这是复杂任务,我能看到通过反复修改改善结果的路径,但它还不是完成品。对于日常 TypeScript 工作,我的体验相对不错。

06

独立评估与集成

Theo 希望看到更多独立测试,并介绍 SDK、CLI 集成和云端智能体。他也说明自己对 SDK 的体验有限。

我最大的顾虑是独立测试。录制时,我不能直接通过独立模型 API 调用 Composer,像测试其他模型一样运行相同评估。Cursor 自己的基准可能有用,但没有其他测量时,我无法有把握地推广它的结果。

我理解专门面向编程的模型可能在通用智能测试中表现不突出,也提到有消息称外部评估正在探索中。但这并不能取代独立编程测试。基准污染也是解读常见公开测试时需要谨慎的原因。

Cursor 的 agent SDK 和 CLI 集成为使用其基础设施开发提供了另一条路径。我们之前通过 CLI 的智能体协议使用较新 Composer 模型时遇到问题,团队后来修复了它。SDK 很有潜力,但这与在现有基准中直接替换模型 API 地址不同。

Cursor agent SDK 示例
幻灯片 7 / 7Cursor agent SDK 示例SDK 示例展示了如何通过 TypeScript 调用云端智能体。

我尤其喜欢 Cursor 的云端智能体:图形化 Linux 环境可以运行并检查受支持的项目,我也可以从手机或 Slack 触发任务。配置仍然重要,这只是我的产品体验,并不保证适用于所有应用。

我听到过对 SDK 不同的评价,但自己尚未充分测试,不能判断其可靠性。如果基于它开发,我建议在可行时保留替换集成的余地。更多人使用也有助于发现缺失功能并推动改进。

07

快速模型与协作流程

快速响应有助于积极参与的开发者迭代,而高度并行的流程有不同的取舍。Theo 最后对未来模型作出预测。

当开发者持续参与时,快速模型尤其有价值:让它研究问题、检查结果、要求修改,再继续迭代。Composer 2.5 未必像最强模型那样能独立解决每个复杂任务,但它的速度能显著改善这种来回协作体验。

如果你并行运行许多智能体,让它们工作时自己转去做别的事,速度的重要性就有所不同。我最近减少了极端并行,因为很难同时记住所有上下文;有些项目最后留在 worktree 中,我都没来得及检查。

最近我使用一个有补贴的快速模型,更清楚地体会到这一点,尽管我获得的异常宽裕额度不能代表普通价格。我认为,对于开发者在大型代码库中与模型密切协作的团队,成本较低的快速选项可能很有吸引力。

在我看来,如果 Cursor 既能提供有竞争力的自有默认模型,又能接入其他供应商的模型,它的企业业务地位会更强。这是部分基于我认识的人的商业判断,并非经过核实的市场份额估计,也不能证明任何正在进行的谈判。

Cursor 表示正在与 SpaceX AI 合作,用更多算力从头训练一个更大的模型。我认为这一趋势最终可能带来领先的编程模型,但这是预测,不是已经实现的结果。作为投资人,我在结果中有经济利益。目前可以拿自己的任务和约束来试用 Composer 2.5。

同频道的其他文章

5 张幻灯片38:47EN → 简体中文
Theo - t3․gg· 2026年10月28日Theo 的长时间 Agent 实验:验证、算力与成本Theo Browne · Ping Labs滑板游戏和两个编译器项目展示了反复检查与弹性算力如何支撑 agent 工作,也揭示了循环可能带来的高昂成本。编程智能体智能体工程AI cost & performance+2
5 张幻灯片36:07EN → 简体中文
Theo - t3․gg· 2026年10月27日Theo 谈 Token 成本、编程智能体与 AI 能力的价格Theo Browne · Ping Labs一则关于 Lauren 的 AI 支出估算广泛传播,引出了对缓存计价、基准测试和编程智能体工作方式的讨论。AI cost & performance编程智能体Inference+1
5 张幻灯片30:37EN → 简体中文
Theo - t3․gg· 2026年10月26日Theo 的三个技能:用编程智能体审查和交付代码Theo Browne · Ping Labssol-loop、full-send 和 full-stop 如何定义审查、验证以及不同程度的合并权限。Agent skills编程智能体Code review & verification+2
2 张幻灯片0:43EN → 简体中文
Theo - t3․gg· 2026年10月23日Theo 区分安全漏洞与实际攻击Theo Browne · Ping Labs一段简短讲解:软件漏洞披露和攻击事件为何属于不同类型的安全新闻。CybersecuritySoftware engineering
6 张幻灯片29:22EN → 简体中文
Theo - t3․gg· 2026年10月22日Theo 谈安全漏洞、被盗 API 密钥与 AITheo Browne · Ping Labs从漏洞披露到补丁部署之间的风险窗口,以及被盗推理密钥为何可能有价值的推测。CybersecurityAI securitySoftware engineering+1
4 张幻灯片31:13EN → 简体中文
Theo - t3․gg· 2026年10月20日Theo:更聪明的模型为何能帮助更多人Theo Browne · Ping Labs从游戏修改到编译器实验,Theo 重新思考谁能从更强大的 AI 中受益。编程智能体Developer productivityHuman-AI Collaboration+1