Oliver Kennon：GPU 运营能力如何改变 AI 成本

我是 SemiAnalysis 研究分析师 Oliver Kennon。GPU 能发挥多少能力，取决于运营者：购买硬件只是获得潜力，运营能力决定最终交付的有用工作及其成本。

在商品市场，生产者竞争交付可比较的产出。成本曲线按生产成本排列各家企业；售价相同时，成本更低的生产者能保留更多利润，价格下降时也有更大的竞争空间。

对 AI 来说，期望的产出是有用的智能。理想指标是在满足质量要求时，每项成功完成的任务成本。目前这一指标难以统一，因此在工作负载和质量要求可比时，每 token 价格可以作为实用的替代指标。

GPU 小时衡量的是投入，而不是客户获得的产出。硬件和电力是投入，软件与运营决定它们能多有效地转化为可用回答。运营者选择推理服务软件，并保证请求持续运行。

SemiAnalysis 的 InferenceX 示例使用 B200 GPU、DeepSeek-R1-0528、约 8,000 个输入和 1,000 个输出 token，并设定每用户每秒 100 个输出 token 的中位数目标。两套完整服务配置每块 GPU 每秒分别输出约 199 和 298 个 token。

比较中的服务软件、配置和并发量同时不同，并非只改变软件的单变量实验。在这些条件下，一套配置在相同交互速度目标下多产生约 50% 的输出。如果每小时租金相同且都满足要求，每个合格 token 分摊的租金就更低。

有用的输出必须满足任务的质量要求、足够及时、在需要时可用，并将信息保留在约定的访问边界内。Kennon 指出，芯片性能指标没有体现安全性，但安全性不可或缺。

SemiAnalysis 的一项历史安全调查发现，监控访问权限曾暴露另一位客户的日志和指标。这个例子说明，速度快的集群仍可能无法满足客户要求；幻灯片没有点名供应商，也没有说明其当前状态。

即使有更快的推理服务更新，也需要有人检查实际回答和负载、验证质量、安全部署、保留回滚路径并持续维护。这些职责可能属于供应商、客户或双方，买家需要明确责任归属。

SemiAnalysis 的 ClusterMAX 通过实际测试、文档和客户反馈，评估托管 GPU 集群运营者的资源交付、可靠性、监控和安全。Kennon 强调，这些相对评级针对托管集群，不能自动套用到同一供应商的裸金属产品。

租赁价格与生产成本是不同的数字。GPU 所有者承担设备、电力、空间和支持费用；租用 GPU 的推理服务生产者则把租金作为投入成本，还要加上交付回答所需的软件、人员及其他服务费用。

自己拥有设备的生产者，需要把设备投资分摊到使用寿命并加上运营成本。无论采取哪种模式，都应将同一时期的全部支出除以合格产出，以比较有用工作的成本。

更好的运营同样需要花钱：测试、安全部署和维护都依赖人员与投入。新增产出必须足以覆盖额外支出。一次出色的基准测试不能证明持久优势，团队必须随着工作负载和软件变化反复做好这些工作。

成本曲线上的位置是相对的。幻灯片的假设例子中，你每项成功任务的成本从 10 降到 8，竞争对手则从 12 降到 6。双方都进步了，但对手从成本更高变成了成本更低。

当需求超过供给时，不同成本的生产者都可能找到客户，使差距不那么明显。Kennon 认为，企业尤其是有杠杆的企业，应在价格压力加剧前建立运营和成本优势；他对市场周期的看法属于预测。

要像比较商品一样比较算力，买家需要清晰的等级说明所获得的服务。两份 B200 租赁报价可能包含不同服务，并把不同的运营工作留给客户。服务等级并不意味着所有任务的智能产出都可以互换。

租赁价格基准汇总某个明确市场内的 GPU 小时价格，本身不衡量生产成本或交付的智能。它的含义取决于服务范围、合同条款、采样对象和汇总方式；挂牌报价与实际成交也是不同的数据。

期货合约为未来交割或根据参考价格现金结算设定标准条款。Kennon 认为，运营者评估有助于定义可比较的服务等级与相关租赁价格基准，两者都是建立可信算力期货市场的基础。

单靠评级不能确定等级、保证基准可靠或创造流动性。租金价格对冲可能抵消租金变化，但无法修复部署失败，也不能保证客户付款。对冲效果取决于参考价格与实际租金变化的关系。

最终指标是在满足质量要求时，每项成功完成任务的全部支出。运营能力同时影响支出和有用产出，而竞争地位还取决于对手是否进步得更快。Kennon 建议买家和生产者在整个周期内持续评估运营者。