Theo 谈 Kimi K3、模型蒸馏与开放权重 AI 之争

Kimi K3 是一个能力很强的模型，而它引发的反应也很不同寻常。开放权重 AI 的安全和经济问题值得认真讨论，但有关蒸馏和政治反应的一些说法需要更仔细地审视。我后面谈到的某些动机只是明确标出的猜测。

美国财政部长 Scott Bessent 表示支持开源 AI，但称如果秘密的大规模蒸馏构成知识产权盗窃，可能考虑制裁或实体清单措施。这是对可能采取的行动发出的警告，并不能证明某家公司已经盗窃。

我把这与 Anthropic 就训练所用书籍达成的 15 亿美元版权和解相对照。两者涉及不同的法律问题：和解不等于法院认定所有模型训练都违法，针对竞争对手的指控也不等于已经判定违规。我质疑的是人们讨论两类事件时似乎存在的不对称。

美国官员 Michael Kratsios 指称 Moonshot 蒸馏了 Anthropic 的 Fable，并获得受限制的 NVIDIA GB300 硬件，包括在泰国的访问途径。视频并未证实这些指控背后的证据。出口管制使先进芯片更难获得，但涉及某家实验室行为的指控，在得到独立证实前仍只是指控。

中国也在投资自主芯片和基础设施。我担心，旨在保护美国公司的限制措施可能把客户和研究推向其生态之外的替代方案。这样的取舍是否合理，不能仅凭一条指责模型开发商盗窃的标题来判断。

解释蒸馏时，可以想象一名资深开发者和一名经验较少的初级开发者。初级开发者尝试解决问题，看到资深同事的成功答案，逐渐学会模仿有用的模式。这只是类比：实际模型训练使用数据和优化，并不是有人真的在观察和理解同事。

更强的模型可以生成答案或示范，帮助训练较小或较便宜的模型模仿其中一些行为。学生模型可能学到表面模式，却没有获得教师模型的全部知识。实验室会用这类方法，让昂贵的能力更容易使用。

我以 Anthropic 的模型系列举例：我认为更强模型的一些编排行为被转移到了较便宜的 Sonnet 模型。这是我根据模型表现作出的理解，不是经过证实的 Anthropic 私有训练流程说明。

Cursor 的 Composer 2.5 是在已有模型基础上继续构建的另一个例子。Cursor 介绍过如何通过更多训练、更复杂的强化学习环境和新的学习方法改进基于 Kimi 的模型。它公布的比较也表明，结果会随基准和配置变化。

按照 Cursor 的估算，其额外后训练约占所计算总算力的 85%，原始 Kimi 训练占其余部分。我从中得到的启发是：基础模型很重要，但后续训练数据、环境和算力投入也可能十分可观。

为用户提供另一家实验室模型的公司，也可能从自己的工作流程和输出中学习。我认为付费使用服务并从结果中学习可以是合理的；但某种具体用法是否获准，是由合同、法律及个案事实决定的另一回事。

中国用户可能无法获得某些前沿服务的授权访问，因此出现中间商和绕过限制的动机。我提到有关间接转发请求、可能收集输入和输出的服务的报告，但这些观察不能证明某家实验室实施了特定行为。

仅凭输出无法看到内部的每一步推理。回到开发者类比：只读最终代码，比同时看到资深同事解决问题的过程，能提供的信息更少。即使输出仍可作为有用的训练数据，这也限制了仅从回答文本中能学到的内容。

我把从付费输出中学习，比作从书籍、员工或承包商那里学习。这个类比表达了我的看法：学习本身不应自动被当成盗窃。但它不能解决未经授权访问、合同限制或具体知识产权主张的争议。

接着我讨论一份网络报告：它指称部分发给 DeepSeek 的复杂请求被转发给另一个模型，并称输出被收集。报告提到明显相似的回答和行为变化，但这些观察本身无法独立证明转发、收集或蒸馏。该报告讨论的是 DeepSeek，也不能证明针对 Moonshot 的另一项指控。

我的总结是：蒸馏是一种常见技术，但谁在访问模型、收集了什么数据、适用哪些协议，是另外的问题。关于不当访问的指控需要证据；蒸馏本身的存在不能证明有不法行为。

一些批评者指出，Fable 公开发布与 K3 上线之间的间隔很短，因此质疑一个模型只是训练自另一个模型的说法。时间线有参考价值，但单凭它既不能证明，也不能排除某项具体的后训练或访问指控。我还提到一个公开的模型轨迹数据集，说明更广泛的数据来源争议。

Vercel 首席执行官 Guillermo Rauch 表示，内部安全评测发现 K3 能力很强，某个 OpenAI 模型表现更好但成本更高，而 Fable 拒绝了测试任务。这是特定私有评测中报告的结果，不能当作所有模型的通用排名或完整安全评估。

OpenAI 的 Dean Ball 也认为 K3 是好模型，其表现不能简单归因于蒸馏。他认为它在智能体编程方面具有竞争力，同时对 token 用量和运行所需基础设施提出疑问。我同意它的能力值得肯定，但对 token 效率的判断不同。

强大的开放权重模型带来棘手的安全取舍：防守方可以用它寻找弱点、加固系统，攻击者也可能利用相同能力。我提到一项关于发现 Redis 漏洞的报告；这只是视频中引用的例子，这里没有独立验证其具体数据。

我还提到一次据称使用开放权重模型进行安全调查的情况：其他服务拒绝请求时，它派上了用场。更普遍的问题是，限制可能既挡住恶意使用，也挡住正当防御工作。这种收益并不会消除广泛开放能力带来的风险。

Ball 对中国机构为什么开放权重提出假设，包括基础设施约束和出口策略。我补充一种可能：海外客户能够在自己控制的基础设施上托管模型时，可能更愿意使用中国开发的模型。这些是对动机和激励的解释，并不能证明政府的实际意图。

Ball 认为开放权重可能削弱前沿实验室的资本投资激励，最初还称它本质上会减缓发展。他讨论的是一种可能的经济机制，并没有证明开放必然拖慢所有进展。我理解为什么这样的措辞会让人不满。

他还猜测 AI 可能成为由公共资金支持的基础设施，并强烈反对这样的未来。人们完全可以不同意这一预测，也可以不同意他对开放权重支持者的描述。开放模型可以存在于多种商业和公共安排中。

Ball 预测，政府机构即使不正式禁用中国开放权重模型，也可能制造监管不确定性。我不愿看到闭源模型主要因为政府让替代方案难以使用而获胜。这是视频讨论的一项预测，并不证明他假设的具体指导文件已经发布。

我把 Ball 帖子的大部分内容理解为对激励和可能结果的分析，尽管其中也夹杂了强烈的个人观点。他还谈到模型进步带来的安全风险。我认为这一担忧值得考虑，但有些措辞过头了。

K3 的表现不能简单地用抄袭打发掉；我认为它在一些 3D 任务上尤其出色。同时，我预计前沿实验室还会保持一段时间的优势。研究成果是双向流动的：美国实验室也受益于中国团队发表的工作。

Ball 后来澄清自己措辞不够准确。他说自己的意思是开放权重可能在边际上减少资本支出，并不是说它在所有方面都会拖慢进展；他也承认开放权重可以在其他方面加速进步。我欢迎这一澄清，但其经济判断本身仍有争议。

在安全问题上，Ball 表示，他不认为当下模型足以证明有必要大幅改变政策，但警告未来的能力可能改变这一判断，政府也可能更难容忍风险。我赞同把对当前状况的评估与对未来的预测区分开来。

每个 token 更便宜，并不自动意味着完成一项任务的总成本更低。如果 K3 使用的 token 是另一个模型的两倍，即使单价减半，总成本也可能相近。速度也很重要：在条件相当时，我举的两倍 token、半速生成的例子意味着生成时间变成四倍。

价格和性能将来可能变化，但在录制时，我不认为 K3 相比 OpenAI 的产品在每种任务上都有最佳性价比。它的吸引力包括开放权重部署和某些特殊能力，具体仍取决于实际发布情况和硬件要求。输出中出现类似其他模型的短语，并不能证明复制或蒸馏。

我提到一些排名：Kimi 和 GLM 与 Google、Meta 的模型相比表现很强。这类排名衡量的是特定任务，而且会变化；更广泛的一点是，开放权重团队带来的竞争可以促使成熟实验室改进。我会针对不同编程任务选择不同模型。

接下来是明确缺乏证据的猜测：我推测，Anthropic 对 Fable 订阅权限和 Opus 5 发布时间的决定，可能与担心 K3 的基准表现及服务成本有关。我没有内部消息，这不能证明公司的动机，也不能证明 K3 实际导致了延期。

我预计 K3 会加剧模型价格和能力的竞争，也会影响政策讨论。我仍然支持开放权重，因为我不希望我们的工作完全依赖一两家公司，同时也承认越来越强大的模型会带来真实的安全问题。