GPT-5.5 与 DeepSeek V4：基准、成本与算力限制

讲述者在 GPT-5.5 和 DeepSeek V4 发布后比较两者，参考系统卡、基准结果、个人测试和实验室领导者的访谈。他说，录制时 GPT-5.5 的 API 尚未普遍开放，因此许多早期成绩由服务商自行报告。

经过几天的提前测试，他预计 GPT-5.5 会成为自己的日常模型，略优于 Opus 4.7。这是个人偏好。展示的 SWE-bench Pro 比较中，GPT-5.5 得分 58.6%，低于 Opus 4.7 的 64.3% 和 Mythos Preview 的 77.8%。

在 Terminal-Bench 2.0 上，展示的 GPT-5.5 成绩为 82.7%，略高于 Mythos Preview 的 82.0%。讲述者提醒，各配置不同，而即将推出的 Pro 版本当时还无法直接比较。单个基准不能决定哪个编程模型最好。

在 Humanity’s Last Exam 中，展示的结果由若干竞争配置领先。讲述者推测 OpenAI 可能在一些通用知识表现上更重视效率。他强调每个 token 或每美元的表现，同时指出更多推理算力可能提高基准分数。

在 ARC-AGI-2 上，他报告 GPT-5.5 比对比中的 Opus 模型得分更高、成本更低。他自己的 SimpleBench 测试显示，DeepSeek V4 Pro 以更低成本接近 Opus 4.7。这些结果都针对具体测试和设置。

讲述者讨论 OpenAI 系统卡中的网络安全评测。英国 AI 安全研究所在一组窄范围任务上报告了较强表现，但存在不确定性；一项规模较小的端到端评测中，不同模型的结果又不同。讲述者提醒，标题式比较很困难，防护措施也很重要。

在一段片段中，Sam Altman 质疑某些安全宣传是否也有助于集中访问权，同时承认有些安全担忧是正当的。这是他对竞争者宣传方式的解读，并不能证明某项具体安全主张是假的。

讲述者将事实准确率与模型承认不确定性的频率相比较。展示的 Artificial Analysis 幻觉指标是该基准中所有非正确回答里错误回答的比例，不是所有问题中的错误比例。展示的 GPT-5.5 比率为 86%，Opus 4.7 最大设置为 36%；比较受测试和配置限定。

讲述者引用 Anthropic 系统卡中另行报告的 Mythos 结果，并指出跨来源比较困难。他也提到一项外部电子表格基准和 Vending-Bench，后者的商业表现和行为取决于模拟是否使用多个智能体。

在 HealthBench Professional 上，展示的长度调整后得分为 GPT-5.5 的 51.8 和 GPT-5.4 的 48.1。讲述者还引用了一个得分更高的临床医生专用配置。这些是特定条件下的基准分数，不能证明临床安全，也不能替代医疗专业人员。

OpenAI 还测试了模型能否遵循对推理文本的约束。讲述者说 GPT-5.5 很难遵循仅使用小写字母的限制，并报告 OpenAI 认为较低的可控性可能有利于监控。这类结果并不意味着可见推理是完整或保证忠实的记录。

视频提到一项偏见评测，比较对不同自我介绍用户的回答。讲述者报告，在该测试中有害输出率存在差异。其范围限于特定提示和测量，不能推断模型具有普遍的心理偏好。

OpenAI 系统卡评估认为 GPT-5.5 未达到其递归自我改进的高能力门槛，尽管在其他能力领域评估更高。在包含 41 个真实内部研究漏洞的调试测试中，画面显示 GPT-5.4 和 5.5 的平均评分接近，并带有不确定性误差线。

讲述者引用一项时间跨度分析：即使采用包含部分帮助的宽松成功定义，任务越长，成功率也会下降。他将其解读为当前持续自主研究能力有限的证据，同时承认模型仍可能影响网络安全。

一项外部网络安全评测在其选定任务上发现 GPT-5.5 相比 GPT-5.4 有更大提升，测试成本也更低。不同评测可能测量不同能力并给出不同排名；阅读结果时应结合具体设置。

DeepSeek V4 是开放权重模型，这不等于公开了完整训练数据和流程。论文描述了百万 token 的上下文窗口，以及 Pro 混合专家模型的 1.6 万亿总参数、每次激活 490 亿参数。

DeepSeek 报告称，V4 Pro 在若干推理和编程基准上超过一些较早模型，但仍落后于部分更新的前沿模型。讲述者说其相对成本可能低得多，但实际成本取决于任务、供应商、token 用量和部署方式。

论文描述了对长文档训练数据的重视，包括科学和技术材料。DeepSeek 还展示了覆盖多个领域的中文专业任务，并报告相对于所选模型的有利结果。讲述者借此主张，应在实际使用的语言和领域测试模型。

DeepSeek 表示，其长上下文架构结合了许多技术，而这些技术的底层原理尚未全部充分理解。讲述者将这种复杂性视为高效支持长上下文所付出的权衡。

在 VibeCodeBench 上，展示的分数约为 Opus 4.7 的 71%、GPT-5.5 的 70% 和 DeepSeek V4 的 50%，每次测试的成本各不相同。基准本身指出，即使排名第一的模型仍会在相当比例的工作流中失败。

讲述者使用 GPT-5.5 和图像工具制作交互式冒险游戏，再用其他工具添加视频和音乐。过程需要迭代和调试，他指出了对话气泡文字溢出等明显缺陷。这个演示展示的是创造性工作流，不是完全自主的生产流水线。

讨论转向算力。讲述者引用有关 DeepSeek 和 Anthropic 算力受限的报道；Greg Brockman 称竞争对手面临短缺，同时也说 OpenAI 自己的用户正在经历算力稀缺。这些是录制时的观察与说法，不是当前供给情况报告。

讲述者认为，现有算力正投入高价值专业任务，自动化重复性的计算机工作可能提高生产力。他将其与自主科学突破区分开，并指出企业如何分配生产率收益仍有不确定性，包括是否减少员工。

最后，他追问经济活动中有多大比例由重复任务组成，并认为即使部分自动化也可能产生重大影响。这是预测，不是这些模型发布已经带来的实测结果。