Grok 4.5 编程体验：Theo 的基准解读与初步测试

我在 Cursor 中使用了一个模型大约一天，原以为它是新版 Composer。后来才知道它是 Grok 4.5，而在知道名称之前我就对它印象不错。它的编程分数很强，报价也低，但我的体验并不能让每项基准排名都成为普遍结论。

发布材料强调编程、智能体任务和工程能力。展示的 DeepSWE 1.0 图表中，Grok 4.5 得分 62%，低于 Fable max 的 66.1% 和 GPT-5.5 xhigh 的 64.31%，高于图中的 Opus 结果。这些数字对应特定模型设置和某次评测快照。

开发方称这是一个大型混合专家模型，使用大量算力、经过筛选的数据，以及围绕多步骤工程任务的强化学习训练。我据此推测它是一个规模可观的新基础模型，但这是我自己的推断。他们还展示了一次生成的案例，包括 3D 作品，并报告了较快的服务速度。

Cursor 报告的 Terminal-Bench 2.1 成绩为 83.3%，接近图中 GPT-5.5 的 83.4% 和 Fable 的 84.3%。它还描述了联合训练过程，其中使用 Cursor 交互数据及更广泛的技术资料。基准结果不仅取决于模型，也取决于运行框架和设置。

视频录制时，Cursor 宣传订阅包含大量使用额度，并提供初期优惠。我认为，成本更低的模型可能帮助工具提供商让个人订阅更有吸引力；不过方案、限额和价格都可能变化，应自行核实。

Cursor 表示，模型联合训练时使用了编程交互数据，以及科学、研究和知识工作方面的更广泛数据。强化学习任务设计得困难且包含多个步骤。我猜测这些因素共同促成了结果，但这里无法确定各部分的具体贡献。

CursorBench 乍看对它尤其有利：图表显示它以低得多的单项任务成本取得与 Fable high 类似的分数。但图表附有一个关键限定，因此不能把这项比较视为干净、独立的测量。

Cursor 披露，其自身代码库的一个早期快照被无意纳入 Grok 4.5 的训练数据。由于 CursorBench 使用该代码库的任务，模型拥有优势，但具体影响未知。公司表示已从未来模型的数据中移除这部分内容；我赞赏这种披露，但引用分数时必须说明背景。

视频中展示的 API 价格是：上下文低于 20 万 token 时，每百万输入 token 2 美元、输出 token 6 美元；超过该阈值后，展示的费率翻倍至 4 美元和 12 美元，上下文窗口为 50 万 token。这些是当时的数字，不是当前报价。

我觉得更长上下文的费率不太合理，尤其是输出 token 也涨价。我对定价动机和 GPU 经济性的解释只是猜测。成本还取决于任务消耗多少 token，因此只比较单价并不够。

我展示的快照中，Artificial Analysis 给 Grok 4.5 的 Intelligence Index 分数为 54。在该评测套件中，它报告的平均成本约为每项任务 0.31 美元，图中 Fable 对比值约为 2.75 美元。这些数字描述的是该评测，而不是任意工作的费用。

编程智能体图表也显示，在所展示的运行框架中，它用较少 token 取得了较强表现。我觉得这很有吸引力，因为 token 更少、费率更低，可能让模型用起来更快并降低成本。不同任务和框架可能改变这种取舍。

它并非在每项测试中都出色。在我的 Skatebench 测试中，它得分 76%，每次回答平均使用约 2,100 个 token，在这项特定测试中成本相对较高。一个模型在某个基准上高效，在另一个基准上可能投入更多推理。

基准测试无法完全反映实际工作中的使用感受。我用 Grok 4.5 在开源发布前审计 Lakebed，查找安全、维护和发布问题。它发现了许多其他模型也发现的问题；当我让它开始修复时，表现尤其好。

我提供了一条拉取请求和一份报告，询问哪些问题已经解决。它回答说，该 PR 完整解决了两个阻塞项，另一个只解决了一部分，而大多数发布门槛仍未满足。我喜欢它区分已完成工作、限定条件和剩余任务，而不是把报告当作已经处理完毕。

随后我询问两份不同列表中的特定编号条目，并用简短前缀消除歧义。它直接回答了问题，解释了与发布有关的顾虑，并帮助确定剩余工作的优先级。在这次会话中，这样的上下文处理体验很好。

我一次给了它几项指示：针对选定问题分别创建拉取请求，调查另一项顾虑，并暂缓其他事项。它创建了两个 PR、回答了问题，并列出上线前要做的工作。随后我让它处理审查评论，并用 Cursor 的监控技能跟进这些 PR。

另一个智能体提出了修改建议，我把建议截图交给 Grok。它按要求修改了其中一个 PR。我的意思不是输出不需要审查，而是这次多步骤的来回协作对我来说格外顺畅。

根据我的体验，它没有找到 Fable 找到的所有问题，代码也不如 GPT-5.6 周全。尽管如此，它快速、低成本地处理了一个大型交互任务。我认为它是有用的编程选择，但这些比较仍基于有限的个人测试。

我进一步让它把我的 Fish Slop 游戏改成 3D。它制作了环境、生物和水箱几何体；其中一些 3D 素材比我其他实验生成的更让我满意。不过初始布局出了问题，结果也有明显缺陷。

潜艇和生物模型很粗糙，移动控制方向颠倒或操作别扭。后续提示修好了一些指针行为，但没有解决所有问题。尽管视觉进步让我意外，我不会按当时的状态发布这个游戏。

我把 Fable 和 GPT-5.6 视为较新一代模型，部分原因是它们能够编排子智能体，把大型任务拆成更小的部分。我用 Grok 4.5 做这方面的尝试很有限，但它没有表现出同样细致的能力，有时进程挂起后还会卡住。

一些差异可能来自运行框架，另一些可能来自模型。我的游戏类比是：Grok 4.5 像是用上一代技术做出的特别出色的产品，而更新的方法已经出现。这是主观理解，并不是经过测量的代际分界。

我对 xAI 和 Cursor 改进产品的速度印象深刻。更多竞争可能促使其他提供商让模型更快、更便宜、更有能力。结果是否如此还有待观察，但我很期待他们接下来做什么。