Matthew Berman 解读 Google 的 Gemini 4 Carbon 公告

Matthew Berman 介绍 Google 公布的 Gemini 4 Carbon，并称该公司将其描述为最强模型。他计划回顾公告和基准数据，但指出录制视频时该模型尚未向公众开放。

Berman 不喜欢模型公布与开放之间存在间隔，认为等待访问使独立评估变得不舒服。随后他介绍 Artificial Analysis：这家公司汇总基准测试，也进行自己的评估。

视频称，Carbon 在更新后的 Artificial Analysis Intelligence Index v5 中得分 59，高于 Berman 展示的其他模型成绩。他说公告还声称编码、智能体任务和网络安全测试有所提升，包括漏洞发现、利用和修补。

Berman 表示，初期开放会先让网络安全合作伙伴使用，随后再面向更多用户。他认为这可能有助于先发现并修补漏洞。他阅读的公告提到了发布前测试，以及通过 Google 的 Fairwind 计划逐步开放访问。

公告还报告了安全代码生成方面的内部提升，以及不对齐和编造情况的减少。Berman 指出 Gemini 4 Argon 大约两周前才发布，但他说自己不知道 Carbon 的改进来自继续训练还是后训练。

Berman 报告首发价格为每百万输入 token 2 美元、输出 token 10 美元，缓存输入有 95% 的折扣。他说所查资料列出的优惠期后价格分别为 4 美元和 20 美元，但没有说明优惠期持续多久。

他认为，单看 token 价格无法确定经济性：完成任务的成本还取决于模型解决问题所消耗的 token 数量。他猜测首发价格可能延续，但这只是个人观点，并非已确认的定价承诺。

基准表比较了 Carbon、Argon、GPT-6 Astra、Claude Opus 5.5 和 Claude Fable 5.1。Berman 报告表中 Carbon 的指数得分为 59，Argon 为 50，Astra 为 57，Opus 为 58。

在展示的编码测试中，他引用 Carbon 在 SWE-sweep 上的 9.6 分，以及 Terminal-Bench 4.0 约 65 分；后者对照的 Argon 成绩约为 57。他认为终端测试与智能体编码相关，因为它考察命令执行能力。

在计算机操作测试中，他引用 Agents’ Last Exam 的 77.4 分和 OSWorld 的 81.5 分。他个人更喜欢 GPT 模型操作电脑和浏览器，但指出所展示的 OSWorld 表格中 Opus 5.5 高于 Carbon。

在 Vending-Bench 上，表格显示 Carbon 最终余额约为 1.6 万美元，高于对照的 Astra 约 1.5 万美元。Berman 还指出报告中 RiemannBench 和 Terminal-Bench-Science 的领先成绩。

Berman 表示，近期数学研究公告使用的内部模型可能不同于公开版本。在网络安全表格中，他引用 Carbon 的 CWE-bench 71 分和 ExploitGym 约 54 分。他对竞争模型安全能力差异的解释被表述为个人判断。

他回顾 Google 关于减少走捷径和利用漏洞的说法。公告报告 Terminal-Bench 4.0 中成功作弊为零、尝试作弊为 4%，同时准确率提高。Berman 还引用了相对于 Argon，无依据断言约减少一半的报告。

Berman 再次讨论 token 效率：所示图表显示 Carbon 每项任务大约使用 12.3 万个输出 token，低于他提及的 Claude 模型。他估计，Carbon 的用量约为这些例子的一半，比 Opus 5.5 少约 20%。

他查看智能指数与每项任务成本的图表：左上区域代表更高得分、更低成本。Carbon 位于质量较高的位置，但其他模型处在成本更低的位置。他预计 Google 还会开发更小、更快的模型；这是他的预测。

Berman 表示，展示的 GPT-6.1 各版本接近成本与质量前沿，并认为 OpenAI 的整体产品组合很强。由于自己尚未试用 Carbon，他个人目前仍偏爱 Opus 5.5，同时也称赞 GPT-6.1 Sol。

他指出图表中的 GPT-6.1 Sol max 每项任务约使用 6.8 万个输出 token，而 Carbon 为 12.3 万。他最后表示，预计未来还会继续改进并降低成本，自己对 Google 的前景持乐观态度。