Jonathan Ross：Groq、推理经济性与 AI 基础设施竞赛

Groq 创始人兼首席执行官 Jonathan Ross 认为，即将到来的 AI 推理需求需要不同的芯片和基础设施方法。在这场 2025 年 2 月的访谈中，他与 Harry Stebbings 讨论模型扩展、Groq 架构、基础设施融资和 AI 竞争。Groq 销售推理硬件与服务，因此其首席执行官在这些比较中有直接商业利益。

Ross 将规模定律描述为模型规模、训练数据与性能之间的关系。他说，除了数量，数据质量也很重要；如果没有有效的渐进方式就同时提供简单和困难的例子，训练方法可能浪费算力。

他提出的反馈循环是：用模型生成合成示例，筛掉质量差的输出，再用选出的数据训练更好的模型。他预计反复执行这一过程可以提高训练效率。这是他的解释和预测，并不能证明合成数据总是质量更高或没有错误。

他用排序算法和乘法说明，有些问题需要中间步骤。他认为，更多训练可以让模型对熟悉例子更有直觉，而测试时计算可以为更难的问题提供额外推理步骤。

Ross 预计更好的训练和运行时推理会协同发挥作用。谈到限制因素时，他说算力、数据和算法都重要：更多算力有时可以弥补其他方面进展不足，但它并不是唯一因素。

他将 DeepSeek 的部分进步归因于让训练数据生成和检查更容易的算法改进。这是他对该工作的简化解释，而非对模型或训练成本的完整技术评估。

Ross 说，在 Google 工作时，模型投入使用后最终消耗的推理算力是训练算力的十至二十倍。这是他的经验描述，并非适用于所有模型、部署和时期的普遍比例。他也不认同 DeepSeek 消息公布后 Nvidia 股价下跌的市场反应。

他建议创始人提前为未来能力变化做好准备，而不是假设今天的限制会一直存在。例如，医疗和法律应用面临幻觉问题；如果错误减少，可能改变能够实现的事情。Groq 自己也花了多年押注规模化推理会变得重要。

Ross 说，那些年里他也有过怀疑，但希望在 AI 变得更强大时维护人的自主权，这一直驱动着他。有一次公司接近资金耗尽，便通过名为 Groq Bonds 的计划，请员工以部分薪水换取股权。

他回忆，约 80% 的员工参与，约一半员工将薪水降至法律规定的最低水平。他说，后来一轮 3 亿美元融资的第一笔资金到账时，公司剩余现金还少于该计划节省的金额。他将这段经历视为向团队坦诚困难的例子。

Ross 将推理能力比作执行工作的员工，同时指出模型一旦训练完成，就可以较一致地部署。他的比喻暗示公司可能用部分计算支出替代招聘，但并不能证明芯片或模型等同于人类工作者。

他说，Groq 从 2024 年初约 640 枚投入生产的芯片增长到年底超过 4 万枚，并计划在 2025 年超过 200 万枚。后者是访谈中报告的目标，而非已经完成的部署。

被问及供应时，Ross 说 Groq 的下一阶段规模目标需要大量晶圆厂产能。他将高带宽内存和先进封装描述为 GPU 生产的重要限制，并列举 SK hynix、Samsung 和 Micron 作为内存供应商。

按照他对 Groq 架构的描述，模型参数保存在芯片上，计算任务通过流水线在多枚芯片之间流动，而不是反复读取外部内存。他将其与可能使用更少设备及外部高带宽内存的 GPU 配置作比较。

Ross 声称，在他所考虑的比较中，尽管系统占用空间更大，这种方法生成每个 token 的能耗约为对方的三分之一。他将差异归因于数据跨越更长、更宽连接时的能耗。访谈没有提供模型、批处理大小、硬件配置或基准测试，无法将这一说法普遍化。

他认为，数据中心的批处理可能比小型边缘设备更节能，尽管单个边缘设备耗电更少。结果取决于工作负载和利用率；访谈提供的是说明性类比，而非全面测量。

他认为 GPU 是强大的训练硬件，并说更便宜的推理也可能增加训练需求。Groq 还尝试让自己的芯片与 GPU 分别处理模型的一部分；他说，这可能改善现有 GPU 部署的经济性。

他报告称，沙特的一次部署从签约到首次在生产环境提供 token 用了 51 天。他将部分速度归因于更简单的互连和可预测的执行。这是公司报告的一个案例，并非所有客户的标准部署时间。

Ross 认为，芯片营销经常强调不能直接回答客户问题的规格。他更偏好每美元可生成的 token 数和每瓦可生成的 token 数，并结合性能来评估，而不是单看理论每秒运算次数等数字。

他质疑某项 GPU 性能提高 30 倍的说法的呈现方式，并说 Groq 的回应是自己仍然更快。仅凭访谈无法评估这两项说法：模型、工作负载、延迟、吞吐量、功耗、价格和测量条件都会影响结果。

他将 Nvidia 描述为尤其擅长训练，而 Groq 专注于低成本、快速推理。尽管双方都能服务推理客户，他说有些客户会同时购买两者。这反映了 Groq 的竞争定位，并非某家公司占有整个市场的独立结论。

Ross 声称，在他的比较中 Groq 的推理成本低五倍以上，并称每个 token 的能耗约为三分之一。他给出一个三年成本示例，其中运营支出与资本支出所占比例不同。由于没有提供必要的硬件、利用率和定价假设，这些数字不能视为普遍基准。

他说，限制 Groq 市场份额的不只是成本或速度，还有部署规模有限。他相信，不使用外部高带宽内存会让扩张更容易。这是公司高管对供应链的判断，并不能证明不存在其他产能限制。

Ross 认为，Nvidia 可以继续销售用于训练的 GPU，而 Groq 服务高量推理。他说，部分 Groq 交易的前期利润率约为 20%，之后还有额外收益的可能；这一数字针对他描述的交易结构，并非可直接比较的全公司利润率。

他说，在这一模式下，合作方为部署提供资金，获得回报和收益分成，之后分成方式会改变。Groq 的扩张能力既取决于资本，也取决于部署产能。实际回报取决于各项交易的条款和表现。

Ross 担心，大型云服务商向不同数据中心开发商提出同一电力需求时，需求可能被重复计算。他预测，部分近期项目可能无法实现，几年后则会出现更严重的电力限制。他的容量和时间估计是预测，并非经过核实的清单。

他区分了拟议的数据中心场地与真正运行的设施：可靠电力、发电机、水和其他设备都需要规划和时间。他说，买方可能遇到宣称已准备就绪、实际上尚未解决这些要求的项目。

融资期限不匹配贯穿不同资产的使用周期。Ross 举例说，模型训练以月计，芯片以若干年计，数据中心可能以十年以上计，发电厂则更久。各方都希望获得与自身投资期限相匹配的承诺。

他说，Groq 与有能力为长期基础设施提供资金的 Aramco 及一个沙特实体合作。他澄清，所报告的 15 亿美元协议按他的描述属于收入，而不是一轮 15 亿美元融资。这是他对协议金额和时间的描述，并非独立核实的已收现金或已确认收入。

按他的说法，合作方提供资金在数据中心部署芯片，Groq 用业务所得偿还并分享上行收益。他提到此前约 1.9 万枚芯片在 51 天内部署的案例。访谈没有确定具体商业条款和最终回报。

Ross 声称，当时 Groq 在开放模型上有正的贡献利润，并将其与用补贴压低价格的竞争对手作比较。贡献利润不等于全公司净利润，访谈也没有提供足够细节核实这一比较。

他说，Groq 还与专有模型提供商合作，包括与 PlayAI 展示语音模型。他希望在维持利润率的同时降低价格，押注更低成本会带来更多使用。

他提出的目标是到 2027 年底提供至少一半全球 AI 推理算力。他称规模比短期利润更重要。这是激进的公司目标，并非未来市场份额的证据。

Stebbings 问及 Meta、Google 和 Microsoft 宣布的大额资本支出。Ross 指出，这些数字除了实体数据中心，也包括芯片和系统。他认为 AI 机会巨大，但各个项目的回报仍不确定。

他预计价值分配会非常不均衡，并担心单一实体占据主导。他描述初创企业发展的过程：先解决未满足的需求，再通过营销竞争，之后建立持久优势并应对下一次颠覆。

Ross 预计许多个别 AI 投资会亏损，但相信整体回报可能超过总投资。他警告说，投机资金也可能流入仅在表面贴上 AI 标签的产品。他描述的亏损和总体回报都属于预测。

借用凯恩斯“选美比赛”的比喻，他认为投资者有时押注的是其他人会资助什么，而非实际客户价值。面对多个资金充裕的 AI 竞争者，他预计产品质量会很重要，但也说大量融资可能将稀缺人才分散到不同公司。

Ross 说，Groq 不打算赢下每一场薪资竞价。公司试图吸引愿意参与使命、看重潜在股权价值的人。这是公司的招聘理念，并不能保证员工忠诚或投资回报。

他说，Groq 决定不自行训练基础模型，因为模型提供商将权重交给公司托管，不希望面对直接竞争者。公司可能针对特定场景进行微调。他还说，Groq 不会为训练而永久保存用户查询，但构建在其上的应用可以有自己的数据处理方式。

Ross 说，公司努力自动化工作，让员工人数的增长慢于客户或部署规模。访谈时，他报告约有 300 名员工负责芯片、网络、软件和云基础设施。他重视小团队和人才密度。

他把某项指标每增长三倍称为一个“问题单位”：同时扩大芯片、客户和员工规模，会给有限的管理能力带来不同问题。他的目标是设计无需人员同比增长也能扩张的系统。

谈到中国时，Ross 认可 DeepSeek 的创新，但声称其蒸馏了 OpenAI 的模型。访谈没有证实这一指控。他对芯片获取、竞争策略和中国模型限制的评论是观点和推测，并非经证实的结论。

他认为，中国可能通过规模和电力弥补部分硬件效率限制，而向海外扩张可能面临不同的能源约束。他将开放程度和审查列为可能影响模型开发的问题；访谈并未确定这些选择最终会如何发展。

谈到欧洲，Ross 认为当地人才优秀，但担心他们流向其他市场。他建议建立密集的创业社区、让员工更容易在雇主之间流动，并鼓励承担风险。这些是政策提议，而非对其法律或经济影响的评估。

他说，目标是在 AI 带来丰裕的时代维护人的自主权。结合家庭财务起伏的经历，他担心，即便生活没有物质压力，人们仍可能需要寻找目标和满足感。

Ross 说，他寻找这样的员工：把尚未实现的改进看作一种损失，而不是可有可无的收益。在 AI 让原型更容易制作的世界里，他预计人们需要进一步打磨产品才能脱颖而出。

他更倾向于授权，而不是告诉每个员工如何完成工作。为了让团队方向一致，Groq 使用一枚刻有每秒 2,500 万个 token 目标的纪念币。它代表内部目标，并非经验证的公开性能结果。

他说，如果不可能失败，他会订购多得多的芯片，但现实中的扩张需要谨慎，因为每次扩大规模都会带来新问题。他预计 Nvidia 在未来十年可能增长，但无法给出可靠的倍数。

Ross 推测，如果减缓衰老在科学上可行，AI 可能在十年内帮助带来一次突然的进展。他明确将预测限定在“可行”的条件下，并没有证明这件事可行，也没有预测具体疗法。Stebbings 分享了自己对医疗进步的希望。

在七年没有找到产品市场匹配之后，Ross 说，找到需求改变了经营 Groq 的情绪体验。他形容创始人的幸福感从为期待中的未来而活，转向在当下看到结果。

他预测，有影响力的 AI 公司可能出现在减少幻觉、拆解智能体任务、创造发明和代理决策等领域。他将这些视为可能的发展阶段和机会，而非已经解决的能力或已经确定的赢家。

他认为，幻觉风险在不同应用中意义不同：用户可以核查低风险搜索中的来源，而医疗诊断和法律需要高得多的可靠性。他说，早期团队仍可为未来改进做好准备，但风险取决于具体用途。

他说，如果产能得以部署并售出，沙特协议可能随着时间带来更多收入，他还讨论了未来硬件产能的可能性。这些是有条件的预测，并非已签约的未来销售或利润。

Ross 最后希望，自然语言工具能让更多人创建软件。他设想不会编程的人也能通过说话开发应用；这是对潜在创业机会的愿景，并不能证明仅有访问权限就能消除所有障碍。