Jonathan Ross 谈 Groq 推理芯片、AI 经济与人类自主权

Matthew Berman 欢迎推理芯片公司 Groq 的创始人兼 CEO Jonathan Ross，讨论硬件、商业与 AI 的未来。Ross 曾参与 Google 张量处理器的工作。作为 Groq 的 CEO，他与自己讨论的性能和采用情况主张有直接商业利益关联。

Ross 说，他喜欢在 Google 工作的经历，曾参与 TPU 和 Google X 的工作，但逐渐认为大公司的审批流程是一种限制。他说，在公司内部，一个项目可能需要许多人同意；在外部，一个投资者就可以资助一个大胆的想法。他建议潜在创始人思考自己是否感到受当前环境约束。

Berman 问 Ross 离开时是否已经想好了 Groq 架构。Ross 说，他当时甚至不知道自己会再做芯片：TPU 论文发表后，投资者都想讨论 AI 硬件。当他提出让软件更易用时，一位投资者表示愿意出资。Ross 说团队最初约六个月专注于编译器，之后才开始设计芯片。

Berman 问，为什么 Groq 每块芯片的内存相对较少，以及需要大量芯片是否会使部署昂贵。Ross 说，相关衡量标准不仅是芯片数量，还包括系统使用资源的效率。他将 Groq 的系统描述为一个大型流水线，旨在减少反复访问外部内存。

Ross 将系统比作工厂流水线：把工作分布在大型设施中，建设成本可能很高，但每个任务在各个环节停留的时间很短。他认为，反复从外部内存搬运模型参数可能拖慢其他硬件。这是他对架构的解释，并非针对每种 GPU 工作负载的独立测量比较。

当被问到企业应购买硬件还是使用服务时，Ross 建议先从 GroqCloud API 开始，只有达到非常大的规模时再讨论本地硬件。他说 Groq 当时约有 7 万名开发者和 1.7 万至 1.8 万个 API 密钥；这些是公司报告的采用数据，并非独立审计的用量。

Ross 说 Groq 当时没有出租单块芯片的计划，预计最终会让客户上传模型，由 Groq 负责运行。他认为自动调度可以提高利用率，同时声称 GPU 利用率通常只有约 25%，而 Groq 硬件的功耗约为其十分之一。这些比较没有提供工作负载、系统边界或测量细节，不应视为普遍适用的结果。

Berman 问未来五到十年什么会限制 AI。Ross 称算力是新的石油：他认为，与单纯分发已存储的信息不同，生成式系统必须针对每个请求计算回答。他估计部署模型的成本可能是训练成本的 10 至 20 倍。这个比例取决于使用量、模型和时间范围；访谈没有提供支持这一普遍说法的计算。

谈到创业者可能在哪里获得价值时，Ross 说实体基础设施可能比免费提供的模型更容易变现，但创办芯片公司尤其困难，因为硬件需要完整的软件生态且开发周期很长。他认为不那么光鲜的基础设施工作存在潜力，同时提醒竞争已经加剧。

Ross 将 AI 企业比作早期印刷业：材料需求可能更容易预测，而一些出版商虽然面临更大不确定性，仍可能取得很高价值。他说模型和应用公司可能有较高上行空间，但结果差异也很大；创始人应从事自己了解并喜欢的领域。这些是他的判断，不是保证成真的预测。

Berman 对智能体尤其感兴趣，问快速推理除了超过人的阅读速度之外还能带来什么。Ross 回答说，人们会快速浏览完整页面并细化查询，因此即使输出速度超过阅读速度，延迟仍会影响交互体验。他还引用了延迟降低 100 毫秒可提升转化率的说法，但没有说明来源或条件。

Ross 说 Groq 的聊天产品一周内新增用户从 8,000 人增至 40 万人，并再次提到开发者与 API 密钥数字。他认为速度是吸引用户的部分原因，并举出交互式语音、搜索，以及点击链接就生成新页面的“无限维基百科”等例子。这些是公司自己的数字和示例；生成的文章不一定符合事实。

Berman 问模型开发者应如何针对 Groq 进行优化，以及公司如何选择模型。Ross 提到了“硬件彩票”：占主导地位的硬件会影响哪些模型架构得到关注和优化。他声称某些比较中性能比 NVIDIA GPU 高 5 至 10 倍，但没有提供模型、精度、硬件配置或测试方法。

Ross 说 Groq 的编译器能自动完成大量工作，而循环网络等低延迟架构、量化计算和快速互连可能提供进一步优化的机会。他说公司计划精选一小组有意思的模型，而不是运营一个像 Hugging Face 那样广泛的模型库。

谈到希望和担忧时，Ross 希望生成式 AI 能鼓励好奇心，帮助人们比电视或社交媒体的激励机制通常允许的那样更细致地理解彼此。他设想孩子们伴随鼓励提问和多角度思考的工具成长。这是一种充满希望的预测，而非已确立的社会结果。

Ross 将语言模型比作揭示智能广度的望远镜，希望人们把这种广度视为值得探索的事物，而不只是感到恐惧。他说伽利略发明了望远镜，但这一历史细节不正确：伽利略改进了已有的发明，并将其用于天文观测。

Berman 问，如果一代人依赖 AI 获取信息，谁来控制模型权重和偏见。Ross 说 Groq 的使命是维护人类自主权：他担心便捷的帮助可能逐渐变成代替人做决定，从订购牛奶到影响政治选择。他说 Groq 希望选择帮助用户理解选项而非替他们作决定的模型，同时承认模型筛选仍会是一项挑战。