30 秒看懂
Theo Browne 认为,随着算力获取出现分化、领先实验室限制他人用其模型输出进行训练,开放权重 AI 模型可能难以追上最好的闭源模型。他说,在 T3 Code 中,开放模型只占 0.5% 的交互轮次;经过修改的编程基准测试也显示,多个模型的得分大幅下降。他还担心,AI 辅助会加速资源最充足的实验室的研究进程。新的硬件获取渠道或训练技术可能改变他的预测。
- 1长时间智能体任务暴露基准得分之外的差距Browne 说,他测试过的最好的闭源模型在保持连贯和协调子智能体方面胜过开放模型。
- 2开放模型占 T3 Code 交互轮次的 0.5%Browne 给出了自己产品的使用数据;这些数字描述的是该产品的用户,而非所有 AI 用户。
- 3编程任务稍作修改,许多模型得分便下降他介绍了一项基于 89 个公开编程任务的测试,认为熟悉的题目可能夸大模型的表面能力。
- 4更快获取 GPU 可能使差距持续扩大他用虚构的 GPU 数量作图,说明不同的获取速度如何产生越来越大的差距。
- 5智能体训练需要的不只是人类写作数据Browne 认为,任务历史和可验证的强化学习能教会模型普通示例可能遗漏的工作流程。
- 6外部报告估计模型能力增长速度加快他引用了一项高度不确定的估计:在定义明确的任务上,增长速度约为此前的两倍。他将其与自主起飞的预测区分开来。
要点建议
- Browne 预计,获取 GPU 的不平等会使参与前沿竞争越来越难。
- 应使用修改过的任务或私有任务评估模型,不要只看公开基准得分。
- 对于长时间运行的智能体任务,应测试模型能否保持连贯并有效分配工作。
- Browne 认为蒸馏限制使复制有用的智能体行为更加困难。
- 员工自报的生产力提升是有用信号,但并非受控测量结果。
按章节阅读整理后的全文
开放模型差距为何重要
DeepSeek 曾让我相信可下载模型能够接近前沿。如今我认为,那段近乎持平的时期正在过去。
我热爱开源:最初做内容时,我帮助维护者介绍自己使用的工具;现在我也投入大量资金,希望把 T3 Code 做成开源产品。因此,我很难过地说,对于自己的工作,我已不再期待可下载模型能赶上最好的闭源模型。
DeepSeek 在 2024 年底前后的发布改变了我的预期。我可以下载一个模型,感觉它接近几个月前的商业模型,而且能在 T3 Chat 里快速、低成本地使用。OpenAI 发布推理模型后不久,R1 也出现了,它的结果让我相信开放权重模型可以参与前沿竞争。
DeepSeek 和其他中国实验室还为硬件受限条件下的模型训练和推理提供了技术。虽然当前开放模型比几个月前强得多,但我认为差距正在扩大。我希望自己的判断是错的。
单一分数掩盖的能力
长期运行的智能体工作与 T3 Code 的使用情况,让我得出了不同于简单基准排名的判断。
我的三个理由是算力获取、蒸馏的难度,以及模型可能帮助改进下一代模型。在展开之前,第一个问题是如何衡量能力差异。
我生成的发布对比图里数字不一致,所以我不会把图上报告的时间差当作可靠结论。就我的使用体验而言,Kimi K3.1 Pro 令人印象深刻;我起初以为它没有开放权重,后来得知权重已经发布。这让我有些希望,尽管我觉得重要的开放权重模型发布频率降低了。
我看重的一项能力,是在漫长、混乱的任务中保持连贯,并将工作分配给子智能体。根据我的经验,最新的闭源模型在这方面有显著进步,而 Kimi K3.1 Pro 没有这样的表现。在这一维度上,我认为差距出现的时间比简单的基准比较显示得更早。
智能有多个维度。开放模型可以在现有基准衡量的项目上得高分,却仍缺少我认为长期任务所需的行为。一些闭源模型在这些行为上也做得不够。GLM Flash 因能遵循指令并保持连贯而令我印象深刻,但我仍然看到了差距。
Artificial Analysis 调整了指数,新版本使开放模型的平均得分降幅远大于闭源模型。我不认为这证明了针对开放模型的阴谋:对我来说,调整后的排名更符合我的体验。变化幅度确实让人想问,之前的测试奖励的是什么。

我查看了 T3 Code 的使用情况。在我展示的数据中,开放模型约占 0.5% 的交互轮次和 0.7% 的 token;至少使用过一次开放模型的安装实例占比从 16% 降至 6%。这是我自己产品的使用情况,我认为这表明其用户在工作中选择了闭源替代方案。
OpenRouter 报告称 DeepSeek 和 GLM 等模型的使用量非常大。我认为看这些总量需要考虑背景:T3 Code 每天的 token 总量也很可观,而且在我看来,免费访问解释了部分开放模型的使用量。用户群和产品各不相同,单看一个使用数字能作出的比较有限。
公开测试题目改变后会发生什么
一个经过修改的编程基准和我自己的小测试,让人担心模型迎合已公开题目。
另一个问题是,公开的编程基准衡量的是通用能力,还是对题目的熟悉程度。我介绍 Justin Lo 的一项实验:保留相似的问题,对 89 个公开 DeepSWE 任务的指令或起始代码做出修改。学过旧答案的模型可能会在修改后的任务上出错。
在我展示的结果中,Opus 5.5 在修改后的任务中没有降分,而其他若干闭源和开放模型的分数都下降了。DeepSeek V4.1 Flash 下降约 19 个百分点,一些模型的降幅也很大。我把这理解为过度迎合公开评估的证据;数字本身不能解释各模型的训练历史。

我制作的一个关于滑板技巧的小基准也出现了类似情况:一个开放模型答对了所有旧题,却没有答对新加的题。我怀疑团队有强烈动机针对公开测试优化,因为高分能吸引关注和资金。这可能让漂亮的排名对模型在变动问题上的表现产生误导。
获取算力为何可能扩大差距
我举例说明,随着时间推移,更快获得 GPU 的能力如何累积成不同的训练能力。
我的第一个结构性理由是算力。训练最强的模型需要大量计算资源,我认为更多算力仍能继续改善结果。中国实验室和研究者找到了适应硬件限制的办法,包括给旧 GPU 增加内存,但获得最新芯片仍受限制。
为了说明问题,我为一家美国闭源实验室和一家中国开放模型实验室虚构了初始 GPU 数量。双方都可能增加硬件,但如果一方获得硬件的速度快得多,双方资源差距就会随时间扩大。图上的数字只是示意,并非对任何一家公司的设备数量估算。
蒸馏为何变得更难
智能体训练需要任务历史和经过验证的练习;我认为,对强模型的限制使生成有用数据更加困难。
第二个问题是蒸馏,即用一个模型的输出帮助训练另一个模型。我反对严格禁止蒸馏,部分原因是领先实验室在许多网站变得更难供后来者获取之前收集了网络数据。但我认为,现在改进智能体所需的数据类型正在改变。
我认为初始预训练之后的训练越来越重要,尤其是在结果可以检验的任务上进行强化学习。智能体能发现与人类不同的工作流程,比如将多次工具调用合并成一个简短脚本。仅仅读更多人类写的材料,不一定能教会它这种行为。
在我描述的工作流程里,智能体检查真实任务历史,寻找合并操作的机会,并为后续训练生成合成示例。没有同等算力或使用历史的实验室,可能需要更强模型的输出才能建立这样的示例。我认为限制获取这些输出会让追赶更困难。
我认为 Anthropic 已经让从其模型提取有用训练数据变得更加困难。根据我自己的日志,我怀疑某些推理轨迹的形式是有意设计的,不过这是我的解读。我还提到一家推理服务商关于攻击和凭据失窃的报告,该服务商将其与低价模型访问市场联系起来。
我的理解是,一些运营者除了靠转售访问权限获利,还希望将由此产生的交互历史用作训练数据。我将这与针对 API 密钥的攻击联系起来。
在我的分析中,这两种力量相互强化:算力获取不平等扩大差距,而蒸馏限制消除了一种缩小差距的方法。我认为这有助于解释更强的可下载模型出现速度变慢,尽管我承认也可能有其他解释和未来方法。
我比较了 Kimi 和 OpenAI 模型生成的界面设计,发现它们非常相似。我把这看作可能存在蒸馏的迹象,但仅凭视觉相似性无法确定模型的训练方式。我还提到,据称某些智能体之间的提示词无法读取,这是保护能力的另一个例子。
AI 辅助研究可能加剧差异
一份外部报告和员工调查促使我担心能力增长加速,但证据和估计都有局限。
第三个因素是递归自我改进。我不认为我们已经进入模型独立使自己变得更聪明的完全自主起飞阶段。但我确实认为,AI 辅助可能已经加快了开发更好模型的工作,而这一速度对没有同样工具的实验室至关重要。
我讨论了一项关于 Anthropic 能力增长加速的外部评估。评估者说,他们认为最有信息量的大部分证据被删节,使读者不得不更依赖他们的判断。他们研究的问题包括能力增长是否加速、AI 是否有所贡献,以及什么可能阻碍未来增长。
报告估计,截至 2026 年 10 月,在定义明确的任务上,能力增长速度可能约为此前的两倍,但不确定性很大,合理范围约为 1.3 倍至 3 倍。我解释了沿原有趋势继续发展与超越原有趋势加速之间的区别。

我重点展示的一张图记录了 Anthropic 员工认为 AI 让自己的工作加快了多少。图中自报的倍数随多个模型版本上升,到一个内部模型时达到约 12 倍。这是员工自报数据,并非对实际生产力的受控测量。
我认为,获得内部研究能力可能进一步累积优势。按我的说法,服务商不向客户开放的行为,其他实验室更难通过蒸馏复制。通用编程能力或不同的研究技术仍有可能带来类似结果。
什么可能改变这一预测
我结合三种压力,并说明哪些进展可能让开放模型缩小差距。
我的结论结合了上述三点:算力获取不平等、蒸馏更困难,以及 AI 辅助研究,都可能使开放权重模型更难跟上。如果三者都发挥作用,我预计差距会扩大而非缩小。
我把 Anthropic 和 OpenAI 作比较,假设以此检验 AI 辅助研究是否创造优势;我认为前者在我关注的能力上进步更快。这个比较加深了我对资源较少的实验室的担忧。
获得更多硬件、采用不同蒸馏方法或新的训练技术,都可能证明我错了。我欢迎这样的结果:可下载模型很有趣,有助于人们拥有和理解自己使用的东西,对生态系统也很重要。目前,我不期待它们能在高要求工作中赶上我使用的闭源模型。
同频道的其他文章
32:29EN → 简体中文
28:16EN → 简体中文
45:45EN → 简体中文
27:57EN → 简体中文
42:19EN → 简体中文
19:39EN → 简体中文