Dario Amodei 谈 DeepSeek、AI 成本与芯片出口管制

Anthropic 首席执行官 Dario Amodei 发布了一篇文章，讨论 DeepSeek、模型开发的经济学，以及美国对先进芯片的出口管制。我将分析他的论点，并讨论当时关于 DeepSeek 可能使用 OpenAI 模型输出的指控。这段视频发布于 2025 年 1 月 31 日，其市场背景和预测属于当时的情况。

OpenAI 告诉 Axios，位于中国的组织可能不当使用了其模型输出；一些用户则展示了 DeepSeek 输出，声称它是由 OpenAI 创建的。这类回答不能证明训练来源：语言模型可能产生幻觉，也可能复现来自多个来源的文本。这里展示的公开证据并未证实针对 DeepSeek 的具体指控。

广义上，蒸馏是指利用另一个模型的输出或其他信息训练模型。在一段采访中，Groq 首席执行官 Jonathan Ross 声称，DeepSeek 在蒸馏或抓取 OpenAI 模型上花费的钱超过广泛流传的训练运行成本。这是他的指控，并非经过证实的结论；我当时称他似乎没有利益动机，但我的视频简介披露了我是 Groq 的小额投资者。

我想区分范围有限的训练成本数字，与更广泛的研究、硬件和开发成本，同时认可 DeepSeek 的工程创新。关于该公司使用了 50,000 块 GPU 的说法，是 Amodei 讨论的一项估计，而非经过核实的设备清单；它无法独立证明公司的支出或芯片来源。

美国 AI 顾问 David Sacks 也声称，有大量证据表明 DeepSeek 蒸馏了 OpenAI 模型。他的说法是一项指控，片段和展示的例子都无法确定具体训练数据。DeepSeek 的 R1 论文确实记录了将自己 R1 的输出蒸馏到较小的 Qwen 和 Llama 模型中；这与涉及 OpenAI 的指控是不同的事。

Amodei 的文章认为，外界对 DeepSeek 的反应夸大了它对美国 AI 领先地位的威胁，同时也使出口管制变得更加重要。我同意消息发布后 NVIDIA 股价大幅下跌看起来反应过度，但这是我们对市场行为的解读，并非对每位投资者决策原因的已证实解释。Recraft 赞助了本视频的一个独立环节。

Amodei 的政策担忧是，获取大量先进芯片是否可能让中国开发高能力 AI 系统。美国出口管制对某些向中国转移先进芯片的行为设有限制，具体取决于规则和门槛。我关于最终地缘政治主导地位的猜测，以及对特定走私路线的说法，不应视为既定结果或 DeepSeek 供应链情况的证明。

Amodei 描述的第一种动态是规模扩展：在其他条件大致不变时，增加训练算力在历史上改善了部分任务的表现。他的假设例子是，随着支出从 100 万美元增至 1,000 万、再到 1 亿美元，任务成功率从 20% 升至 40%、再到 60%。这只是说明一种可能的关系，并不是所有能力都会随着每次十倍投入线性提高的普遍规律。

Amodei 认为，更高分数在实际中可能具有重大意义，因此公司可能愿意投入越来越昂贵的训练运行。但基准测试表现与现实技能之间的对应关系取决于任务；将其举例比作本科生或博士水平，并不能建立普遍等价关系。

第二种动态是效率曲线的变化。更好的架构、软件和硬件可以让相同性能所需的算力减少。Amodei 描述了频繁出现的小幅算力倍增、偶尔出现的较大提升，以及少见的巨大改进；这是他对行业进展的概括，并非每个模型都能保证达到的速度。

Amodei 认为，开发者可能利用效率收益训练能力更强的系统，而不只是减少总支出。我将这种可能性与杰文斯悖论联系起来：单位成本降低可能刺激需求。总算力使用是否增加取决于价格、投资、需求及其他约束；效率提高本身不能保证这一结果。

我猜测人工超级智能可能给一个国家带来持久优势，Amodei 也考虑了先进 AI 的地缘政治后果。固定的赢家通吃结果以及控制这类系统的能力都尚未得到证明。Amodei 估计模型成本效率在历史上每年约提高四倍，他把它作为粗略比较，而不是物理常数。

第三种动态是扩展对象的变化。Amodei 强调了用于推理的强化学习以及推理时增加的计算量。二者相关但不同：强化学习在训练期间改变模型，测试时计算则是在回答期间执行的工作。采样并选择输出只是其中一种可能方法，并非对所有推理模型的通用描述。

Amodei 表示，这种较新的训练方法可以改善答案相对容易验证的任务表现，例如数学和编程竞赛。有用的奖励信号使系统能够强化成功行为，但这些收益未必同样适用于开放式或主观任务。

我用 AlphaGo 对阵李世石时著名的第 37 手说明强化学习和自我对弈。2016 年的 AlphaGo 系统结合了人类专家棋谱学习、强化学习和搜索；完全不依赖人类示例的说法适用于 AlphaGo Zero 等后续工作，而不是最初参赛的系统。这一出人意料的棋步展示了创造性的结果，但不能证明人类不可能想到它。

Amodei 将推理训练描述为建立在预训练模型之上的后续阶段，并表示这种方法当时仍处于规模扩展轨迹的早期。他强调，2024 年 12 月发布的 DeepSeek-V3 是重要的基础模型，其工程效率在 R1 发布之前就值得关注。

DeepSeek 的 R1 报告描述了以 DeepSeek-V3-Base 为基础、使用强化学习并结合其他训练阶段的过程；R1 并非简单的一步流程。Amodei 认为，V3 在选定任务上的表现接近较早的美国领先模型，而报告的训练成本更低。这类比较取决于具体模型、测试、算力核算口径和时间。

Andrej Karpathy 曾强调 V3 报告的效率，提到约 2,048 块 GPU 运行两个月，训练费用约 600 万美元。DeepSeek 的 V3 技术报告按每 GPU 小时 2 美元估算了 278.8 万个 H800 GPU 小时，即所报告训练阶段约 557.6 万美元。报告明确排除了此前的研究和消融实验；该数字既不是 R1 的全部成本，也不是 DeepSeek 的总支出。

我提出，OpenAI 生成的数据可能有助于解释成本，同时承认这一说法尚未得到证实。我也讨论了 AI 公司使用公开网络材料训练，却反对他人使用其输出之间的张力。这些做法可能涉及不同的法律条款和事实；这一类比不能确定任何具体用途是否合法。

Amodei 表示，Anthropic 的 Claude 3.5 Sonnet 训练成本为数千万美元，且没有使用一个更大、更昂贵的模型进行训练。他的比较是，V3 以较低成本接近了约早七至十个月的美国模型表现，但成本差距没有某些报道暗示的那么极端。这是竞争对手首席执行官的估计，并非经过普遍验证的排名或财务审计。

Amodei 认为，成本降低约三到四倍符合他对行业年度效率趋势的估计。按照这一观点，尽管 V3 由中国公司发布，其时间点与持续进展相符。我同意这种区分很重要，但成本轨迹和比较都是估计，并不能保证未来表现。

他提醒说，公司使用的芯片远多于分配给最终单次训练运行的数量：研究、实验和其他模型也会消耗资源。他对 DeepSeek 拥有 50,000 块 Hopper 代芯片及相关资本成本的估计明确存在不确定性；公开报道并不能将这一库存确立为事实。

我强调，DeepSeek 的创新以及开放模型权重仍然值得认可。Amodei 预测，美国和中国的研究人员会应用效率改进，同时继续投入巨额资金训练更大的系统。这是一项预测，而非所有公司都必须增加支出的已证实必然结果。

Amodei 预测，几乎在所有任务上都比几乎所有人更强的 AI 可能在 2026 或 2027 年出现，需要数百万块芯片及至少数百亿美元。视频中我将其作为他提出的时间表讨论；这是一项猜测性预测，仅凭 DeepSeek 的发布无法推断出这种能力、成本或日期。

他的两种情景取决于中国能否获得相当的算力。他描述了一个可能的两极世界，即美国和中国都拥有强大系统，并认为中国可能将人才和资本集中用于军事应用。这些是地缘政治情景和判断，并非对能力或政策结果的已确立预测。

如果管制大幅限制中国获取芯片，Amodei 设想美国及其盟友将有一段优势时期。他认为，DeepSeek 的表现本身不能证明出口管制失败，而且极大规模的芯片采购比小规模采购更难隐藏。这类限制的效果和成本是有争议的政策问题；视频也没有独立核实具体供应路线。

最后，我同意 Amodei 的看法：DeepSeek 的发布未必对 NVIDIA 不利，股价下跌令人难以解释。这是对市场反应的意见，并不保证 NVIDIA 未来的需求或股价表现。