Steeve Morin 谈人工智能推理、芯片与切换硬件的成本

ZML 创始人兼首席执行官 Steeve Morin 与 Harry Stebbings 讨论人工智能推理、硬件经济性和模型供应商之间的竞争。ZML 构建旨在让模型跨不同芯片运行的软件，因此 Morin 在自己倡导的可移植性方面有直接商业利益。

Morin 将 ZML 描述为一个旨在让模型运行于不同供应商硬件上的基础设施层。其承诺是在不牺牲性能的情况下提高模型部署的可移植性；这是他对自己公司的说法，而非经过独立核实的比较。

他预计，人工智能应用会越来越多地结合多个模型或后端组件。用户可能只看到一个界面，即使不同系统在后台分别处理文本、图像或其他任务。

Morin 认为硬件选择会显著影响推理的经济性，并举例称某个 AMD 配置对特定 700 亿参数模型比 Nvidia 更高效。具体幅度取决于模型、硬件、工作负载和成本假设，并非普遍适用的四倍优势。

他认为 Nvidia 的强势地位部分来自 PyTorch 和 CUDA 的组合，部分来自硬件可用性。开发者通常可以在已有 GPU 上复用成熟工具，而支持另一套技术栈需要额外工程工作。

Morin 质疑为推理购买昂贵 H100 GPU 并长期融资的经济性。他将可能存在的价格与性能错配描述为泡沫风险，而非对 Nvidia 财务结果经过验证的预测。

他认为，对交互式聊天而言，输出快速出现可能很重要；而对智能体和推理而言，完成任务的总时间可能更加重要。这改变了他对多用户总体吞吐量与单次请求延迟的权衡。

他将 GPU 架构描述为原本面向高度并行图形处理的硬件的适配。专用人工智能芯片可以作出不同权衡，尤其是在计算与内存之间的数据传输速度方面；他的比较是技术观点，而非完整的基准测试。

对于大规模训练，Morin 强调连接加速器的互连技术，并认为 Nvidia 的网络技术是其地位的重要组成部分。他说，推理工作负载可能有不同的网络需求，具体取决于模型部署方式。

他将可用算力分为可购买或租用的 GPU、Google TPU 和 AWS Trainium 等特定云加速器，以及较新的专用芯片。在他看来，用户能在这些方案之间选择，而不是被锁定于一家供应商，会更有利。

Morin 讨论了芯片制造、加速器供应商和云服务商各层的利润率。他引用的百分比是粗略说法，不应机械相加，也不应视为特定部署经过审计的利润率。

他说，训练和推理优化的目标不同。训练往往优先考虑在大型系统中快速实验和迭代，而生产环境推理必须大规模可靠地提供响应并控制运营成本。

他将画一幅画与可靠地制作一百万幅画作比较：尽管两者都是画画，工具和流程可能不同。对于推理，容量配置、监控和可靠性与让模型成功运行一次同样重要。

一项主要运营挑战是自动扩缩容：需求上升时增加容量，需求下降时减少容量。Morin 说，闲置的加速器可能很昂贵，但节省多少取决于利用率和部署方式，而不是固定倍数。

尽管他看到了替代方案的技术机会，Morin 承认 Nvidia 芯片供应广泛，并将继续用于推理。即使另一种架构在某个指标上表现更好，已经部署的硬件仍是一项优势。

他将 Cerebras 和 Groq 作为面向高单流速度系统的例子。他推测某些产品的成本经济性，同时明确说自己没有底层细节；这些评论不是经过核实的亏损数字。

快速的片上 SRAM 可以减少读取数据的时间，但会占用芯片面积并可能提高制造成本。Morin 将其与外部内存比较，认为实际设计必须在速度、容量和价格之间权衡。

他预计，未来几年推理和智能体将增加对不同延迟特性的需求。他对潜在空间推理和替代架构的讨论，是关于未来系统可能性的技术判断，并非证明当前模型像人类思考。

他预计高带宽内存和片上内存都仍然重要。更专用的架构和存内计算方法可能改善数据移动，但它们未来的成本和部署情况仍不确定。

被要求划分未来人工智能算力价值中推理和训练的比例时，Morin 估计五年后推理占 95%、训练占 5%。这是个人的推测性预测；访谈没有定义支持该比例的实测营收或支出序列。

他认为，抽象硬件差异的软件可以让供应商依据实际性能和成本竞争，而不是依赖开发者锁定。ZML 的业务正围绕这一主张建立，因此他在结果中有直接利益。

切换供应商很困难，因为维护多套软件栈和摊销现有设备都会产生成本。买家可能需要足够大的采购承诺才能证明切换合理，而供应有限可能使最大客户更有优势。

Morin 提出的解决方法是降低实际切换成本，让客户更容易选择可用算力。他描述了与芯片厂商合作以支持其硬件；这是 ZML 的商业判断，并不能证明目前切换真的没有成本。

讨论 Microsoft 和 AMD 时，他声称特定推理配置能在可用内存中容纳更多模型并取得更高吞吐量。他还声称这改善了 Microsoft 的推理经济性；这些关于具体公司采购和盈利的说法在访谈中未获独立证实。

他的例子比较了不同加速器上某个模型的部署方式，并不意味着增加 GPU 总会带来相同的性能增量。实际结果取决于架构、工作负载、并行方式、内存和软件。

被要求选择一只股票时，Morin 说基于当时的供应情况，他会选择 Nvidia；如果替代方案获得更多采用，他的看法可能改变。他明确表示这是个人观点，而非投资建议。

他说，数据中心支出仍大量用于训练，扩展现有同构 GPU 集群在运营上可能比加入第二套硬件栈更简单。这有助于解释为什么技术效率不会自动决定采购结果。

Morin 用产品、数据和算力构成的三角来评估人工智能竞争。他认为 Google 因分销、数据和自主开发的算力而处于特别有利的位置；这是竞争判断，并非未来赢家的证据。

他认为，依赖其他公司的基础设施可能让模型供应商面临成本和战略劣势。实际协议和利润率各不相同，因此访谈没有证明每家供应商的单位经济情况。

谈到规模扩展，他对比了增加算力、提高效率和探索新架构三种方式。他以 DeepSeek 为受约束条件下工程优化的例子，并讨论 Yann LeCun 的世界模型研究作为可能的长期方向。

Morin 对使用连续自然语言 token 以外的表示方式进行推理的模型，以及基于扩散的方法感兴趣。他将这些视为研究方向，而不是已经证明可以取代当前模型的方案。

他认为模型蒸馏是公平竞争，而主持人询问其法律和伦理影响。这是 Morin 的观点；访谈没有确定任何公司做了什么，也没有判定特定使用方式是否符合法律或合同。

对于合成数据，他并不确定。他指出，游戏和代码可以通过规则或执行提供外部反馈，而反复用模型生成的文本训练可能带来质量问题；他没有声称这一问题已经解决。

他预计较小模型因效率仍有吸引力，但也承认具备长上下文窗口的更强模型有时可能替代微调。哪种方法胜出取决于未来成本、准确性和运营要求。

Morin 将检索增强生成解释为检索相关信息，并在模型作答前将其加入上下文。这种方法可以让请求依据外部材料作答，但检索质量和上下文限制仍会约束结果。

他称赞 DeepSeek 的效率工作，并认为约束可以促进创新。他也指出 OpenAI 消费者品牌的实力，同时提醒媒体对新模型的关注本身不能确定长期竞争结果。

Morin 不认为欧洲监管是每一家人工智能初创企业面临的决定性障碍，并说自己无法评估 Mistral 的全部财务情况。他对这些公司和地区的评论是谈话时的观点。

他对 Stargate 宣布的规模持怀疑态度，但说自己不知道所宣布的数字是否会兑现。除了资本可获得性，他认为人才、能源和效率也是重要约束。

他建议人工智能初创企业密切关注模型和算力成本占营收的比例。在他看来，差异化产品需要留出足够空间覆盖自身运营，而不是仅仅转售昂贵的算力。

Morin 根据自己说听到的情况，对 Nvidia Blackwell 的供应和工程问题提出担忧。关于取消订单、交付做法和可能出现下滑的说法，在访谈中未获证实，仍属于他的推测。

最后，他认为硬件供应、延迟和未来架构可能重塑推理市场，同时承认自己的估计可能有误。对客户而言，实际问题仍是如何以可接受的成本可靠地运行有用的工作负载。