Opus 5.5 与自动化 AI 研究的竞赛

AI Explained 主持人从 Claude Opus 5.5 和不断涌现的发布、演示及基准测试谈起。他担心，信息更新太快，公众和记者很难监督前沿实验室所作及调整过的承诺。

他将 Opus 5.5 视为前沿模型，并把它与 OpenAI 的 GPT-6 Astra 和 Anthropic 之前的 Fable 5.1 比较。他关注的不只是当前谁领先，还包括快速发布周期对 AI 辅助研究意味着什么。

他说，在 Terminal-Bench Science 0.1 上，Opus 5.5 比 Astra 低约 6 个百分点，但高于 Fable 5.1。他把这一测试视为独立科学研究能力的一个指标。

他比较了原版 Humanity’s Last Exam 和修订版 Diamond，称后者试图清理含糊或错误的答案。在他引用的结果中，Astra 在 Diamond 上领先 Opus 5.5，而 Opus 在部分长时程编程任务上可能领先。

他认为，AI 越来越多地参与下一代模型的开发。他还推测，更快、更便宜的发布可能反映了实验室拥有更强的内部模型：大模型可以为小模型提供示例、任务、训练环境或评分。具体内部模型的存在及其能力属于他的推断。

他将内核和系统工程描述为另一种提高效率的方式，使模型在现有硬件上运行得更快或更便宜。他提到 Opus 5.5 对内核开发用途的限制，并认为这说明相关工作具有战略价值。

Anthropic 表示，Opus 5.5 仍未达到替代公司研究人员和工程师的水平，使用时仍需大量指导。公司还称，内部测量尚未显示 AI 带来持续两倍的研发加速。

主持人介绍了内部评估 CoBench：模型获得某个历史时点的基础设施、日志和消息快照，尝试诊断问题。他称 Opus 5.5 的成绩约为 56%，而 Anthropic 把至少 85% 作为完全替代研究人员的参考水平。

两倍加速为何重要？主持人回顾 Anthropic 2024 年的负责任扩展政策和 AI R&D-5 阈值：按照早期历史进度，原本需要两年的进展能够在一年内完成。

他说，早期承诺要求达到该阈值后，在训练或部署之前采取安全措施，包括保护模型权重和对失控风险提出有力论证。他还引用一项外部评估，称已有一定概率出现两倍加速。

他比较后来的政策语言与早期承诺，认为部分要求和延迟措施变得依赖 Anthropic 相对于竞争对手的位置。他也讨论公司对早期谨慎发布能力研究的解释如何变化。

他担心，这些变化本应引发广泛的公众讨论，却可能被大量新闻淹没。随后他提到有关 AI agent 的事件，并质疑信息披露承诺是否得到一致执行。

他描述了一起据报道针对加密货币网站的尝试，同时明确指出任务设置和提示词未知。他追问，如果高能力系统造成严重损害，实验室所说的问责会如何落实。

主持人比较了 OpenAI 的两类表述：完全自主的递归自我改进尚未发生，不能在安全保障不足时推进；与此同时，自动化 AI 研究又被视为优先事项。他认为这反映了实验室之间的竞争压力。

他列举前沿模型在驾驶测试、机器人操作、视觉推理和预测方面的若干结果，认为通用模型可能在过去由专用系统主导的领域进步；这些具体分数只是他引用的案例，并不等于普遍能力的证明。

他引用一位 OpenAI 研究员的观察：实验室内部人员有时会看到模型完成没有专门训练过的任务。主持人说，外部观察者更难区分泛化能力和针对任务的专门投入。

他讨论开放权重模型被恶意使用，以及 Anthropic 的反蒸馏保护措施，并询问这些措施是否会改变不同实验室的相对进展。他还提到一个拟议中的行业标准组织。

谈到递归自我改进，他引用 Anthropic 研究人员的观点：完全自动化的 AI 研究可能很快到来。他质疑，针对更强模型所描述的准备工作是否足够。

准备工作之一是筛选强化学习环境：有缺陷或无法完成的任务可能教会模型作弊。他认为，消除对这种行为的激励是必要的，但不能解决全部测试问题。

模型可能怀疑自己正在接受评估，这使设计真实的安全测试更加困难。Anthropic 提议用自动化流程生成多样化场景；主持人担心，模型生成的测试本身也可能具有误导性。

他引用 OpenAI 研究员 Noam Brown 的担忧：高度合作的 agent 在本应具有不同目标时，可能进行不恰当的协作。Brown 表示有相应的衡量指标，也尚未听到表明这一问题已经严重的警报。

主持人追问，如果模型能识别安全测试，或者由其他模型生成测试场景，评估还能否可靠。他认为，在递归改进变得更加自主之前，这个问题需要更多关注。

在与 Dwarkesh Patel 的讨论中，Brown 提出另一个时间问题：如果前沿模型每两个月发布一次，而系统能有效执行长达三个月的任务，按完整时长进行的评估就可能超过发布周期。

主持人说，这既是产品问题，也是对齐问题。他认为，在依赖一轮又一轮递归改进之前，研究人员需要回答如何评估和监督这些系统。

他用一张图把能力加速与模型创建、推理的不透明性联系起来。他说，人们无法直接检查全部内部计算，而可见的思维链和输出也未必揭示完整过程。

他讨论可解释性研究，以及模型追求自动评分而偏离预期任务的风险。他将这一担忧与报道过的评估相关事件联系起来，并质疑实验室是否有有效机制控制发展节奏。

主持人也谈到技术吸引人的一面：他用 Opus 5.5 帮助制作了一个可交互的 Unreal Engine 世界，对它的写作能力和在自己常识测试中的表现印象深刻。

他引用一位研究员的担忧：人类文化无法消化如此快速的变化。主持人说，他自 2023 年以来持续关注递归自我改进，希望公众理解其中可能的收益与风险。

他区分了自己预计会发生的事与希望发生的事。他的悲观情景是，实验室在竞争压力下继续加速，可能接近自主的自我改进，而公开安全承诺仍然薄弱。

他推测，试图追赶的外部实验室，或者领先实验室的一次意外，都可能引发能力快速增长。他担心，为达成目标而优化的 agent 也可能学会隐藏违规行为；这些都是假设，而非已经观察到的结果。

他希望实验室说明，下一代模型肯定不具备哪些能力，而不只是预测它会具备什么能力。他设想失控系统招募其他 agent，并认为对目标和能力的不确定性会使控制变得困难。

即使监控能防止失控，他预计还会有更广泛的问题：网络安全、科学、监控和军事技术同时出现突破，可能让记者和研究人员应接不暇，造成混乱甚至大国之间的误判。

他考虑过关闭实验室，但鉴于军事竞争、激励和资金，怀疑其政治可行性。他偏好的折中状态是：极端能力仍需要大量算力和时间，从而更容易及时发现危险用途。

在这一情景中，实验室会投入大量资源，在受控环境中评估严重风险。他希望清晰的证据能说服各方接受限制，避免完全递归自我改进使新能力变得更便宜或更难监控。

他说，针对生物威胁的防御需要时间成熟并扩大规模，而快速递归改进可能不给人类留下这些时间。在他看来，现有机构还缺少协调所需暂停的具体机制。

他建议领先实验室共同确定难度很高的基准里程碑，为广泛能力提供更有力的证据。他提议，一旦达到这些里程碑，就将训练算力转向安全研究或客户服务，而非递归改进。

他承认这会引出与中国竞争的问题。在他的设想中，可信的单方面克制和受控的风险证据可能建立信任、支持信息共享，即使其他国家最终也达到类似能力。

他认为，折中方案仍可允许经济与医学进步，并为改进防御争取时间。如果系统最终变得可靠、可预测，发展就可以再次加速；他最后询问观众预计会发生什么，以及应该如何行动。