GPT-5.6、Grok 4.5 与 Muse Spark：比较能力、成本和安全性

摘要

30 秒看懂

讲解者比较 OpenAI 的 GPT-5.6 系列与 Anthropic、xAI 和 Meta 的模型，强调基准表现取决于任务和成本。他也讨论早期安全测试，以及自动化研究和未来模型规模的说法为何仍有不确定性。

1智能体工作Agent’s Last Exam 图表显示，Sol 得分接近 54%，Fable 为 45%；两者设置与成本不同。
2编程比较的局限编程指数包含已单独展示过的基准，难度更高的 SWE Marathon 对比中没有 Sol 结果。
3更便宜的选择所展示的配置下，Muse Spark 在 Vibe Code Bench 上约为 72%，Sol 约为 81%，但前者成本低得多。
4自我改进的不确定性讲解者质疑 Sol 据称对 Luna 进行后训练时，人类提供了多少协助和审查。
5安全测试英国测试人员发现通用越狱方法；OpenAI 缓解了这些具体案例，但测试人员预计仍会出现类似方法。

要点建议

在所展示的多项智能体基准中，GPT-5.6 Sol 得分很高，成本通常低于 Claude Fable。
编程基准彼此重叠，且部分模型缺少结果，单个排行榜不能确定哪个模型最好。
Meta Muse Spark 等更便宜的模型展示了另一种性能与成本的权衡。
据称模型协助了研究，并不能证明自主自我改进或研究速度同比例提升。
英国安全测试人员在特定测试条件下发现通用越狱方法，相关具体案例已被缓解。

主题模型与训练 Benchmarks AI cost & performance AI Safety

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

新模型与智能体工作

讲解者介绍 GPT-5.6 系列，比较面向工作任务的评测成绩与成本。

新一轮模型发布不仅是在争夺最高分。OpenAI、xAI 和 Meta 也推出了可能接近领先模型、价格却低得多的产品。我测试了 GPT-5.6 Sol、Terra 和 Luna，并查看了基准、演示和发布材料。

OpenAI 推出了三款模型，提供多个推理强度档位；Sol 面向付费计划。在我看到的许多对比中，对应的 OpenAI 模型成本约为 Claude 的三分之一，但具体关系因基准而异。

在 Agent’s Last Exam 上，Sol 使用 extra-high 强度得分接近 54%，Fable 使用最高设置得分为 45%。基准创建者称，任务来自多个行业的真实项目，采用可重复评估，而不是依靠人工裁判。

得分不到 90% 不代表工作流程不会改变：编程基准尚未饱和时，开发者就已开始优先使用 AI。我想，金融和其他专业工作是否也会如此，人先让模型完成任务，再审查和修改结果。这只是可能性，并非基准已经证明的预测。

Zapier 的 AutomationBench 测试跨业务职能使用真实工具完成端到端工作流的能力。这里 Sol 仅领先 Fable 0.7 个百分点，成本也接近。展示的 GDPval 对比中，Fable 的 Elo 略高，但成本约为三倍。

编程、推理与游戏演示

他指出编程比较的局限，并测试 Sol 创建的游戏。

Artificial Analysis 的编程指数显示 Sol 得分高于 Fable、成本更低，但综合指数包含了另外单独展示过的一些测试。两个更新、更难的基准 Frontier SWE 和 SWE Marathon 也没有 Sol 的结果。不能把重叠图表当成独立证据。

SWE Marathon 使用持续数小时的软件工程任务，每次试验消耗数千万 token；图中 Grok 4.5 领先 Fable。Grok 和 GLM 5.2 也改变了价格比较：更便宜的竞争者可能让 OpenAI 的成本曲线不再那么突出。

在抽象推理基准 ARC-AGI-3 上，Sol 约 8% 的绝对成绩不高，但高于图中低于 2% 的其他模型。据称一个 OpenAI 模型还拿满了竞争编程基准的分数。我认为这表明答案容易验证的领域可能进步迅速，但其他任务的衡量与训练仍更困难。

模型公司越来越多地用可玩的游戏展示界面设计和浏览器操作能力。我给 Sol 使用了与 Fable 相同的提示词。在我看来，Sol 做出了更好的标题画面，但两次处理不好声音设置；游戏的视觉效果不如 Fable，不过跟随玩家的伙伴很讨喜。

使用更快的设置时，Sol 约 20 分钟就给出了结果，Fable 则花了一个多小时；更快设置也消耗了更多额度。这只是我的个人测试，并非受控比较。

Muse Spark 与 Simple Bench

话题转向低成本模型和讲解者自己的推理基准。

Meta 的 Muse Spark 1.1 提供了另一种权衡。图中的 Vibe Code Bench 成绩显示，Muse Spark 约为 72%，Sol 约为 81%，在展示的配置下前者成本约为后者的三十五分之一。做原型或游戏时，更便宜的模型可能足够；但仍需要更广泛的测试。

Meta 与 Humanity’s Last Exam 的共同创建者 Scale AI 有关联，我想这是否值得提出数据污染的问题。这只是疑问，并非发生污染的证据。GLM 5.2 等其他模型也说明，相当强的能力可以以低得多的成本获得。

我自己的 Simple Bench 测试常识和脑筋急转弯问题。Sol Pro 得分为 71.7%，比 Fable 低约 10 个百分点；普通 Sol 约为 65%。更新后的结果还包括时间线和成本前沿；我认为 Qwen 3.7、GLM 5.2 和 DeepSeek V4 Flash 的性价比值得关注。