Fractile 的 Walter Goodwin 希望突破 AI 内存瓶颈

Walter Goodwin 将 Fractile 描述为一家为前沿 AI 构建机柜级系统的芯片公司。公司员工涵盖机器学习研究、制造工艺、散热设计，以及将整台机柜组装在一起的机械工程。

Harry Stebbings 问，随着 AI 企业整合更多技术栈，芯片公司能否成功。Goodwin 说，Fractile 计划通过芯片和机柜盈利，而不是通过销售模型与客户竞争。

这种商业模式仍需要模型方面的专业知识。Goodwin 说，他的团队研究架构和工作负载可能如何变化，因为芯片需要数年设计，错误预测可能导致硬件方向错误。

Stebbings 问，垂直整合是否是为了摆脱不断下降的利润率。Goodwin 同意实验室和云服务商希望找到昂贵现有芯片的替代品，但他区分了普通工作负载和前沿能力。

Goodwin 说，有些任务已经达到一种智能水平：开放模型足以满足需求。即便如此，服务商仍可以围绕完成相同有效结果的成本展开竞争。

他认为前沿模型尚未商品化：最好的模型仍能获得利润，而前沿进展后来也能改善较小的模型。他以 DeepSeek 的模型和推理软件为例，说明跨层设计带来的效率提升。

Goodwin 预计，能力较强的专业云服务商在基础计算服务方面会越来越相似，不过目前还不清楚谁能执行得好。Stebbings 指出，服务商正在增加模型路由和推理服务以形成差异。

Goodwin 说，与使用成熟的 GPU 或 TPU 相比，部署新芯片平台仍是风险更高的押注。他认为专用系统在部分工作负载上可能实现超过十倍的改进，同时承认自己是这个市场的竞争者。

他以 Fluidstack 部署 Google TPU 为例，说明云服务商可以不再依赖单一 GPU 供应商。他认为，成功完成这种转换的服务商可能获得经济优势。

Goodwin 肯定 Nvidia 大规模生产通用系统的能力。Fractile 的押注则更聚焦：预判未来工作负载，让推理快得多，即便这会牺牲一些通用性。

他认为，专业化不一定意味着市场小。大语言模型推理本身已成为规模可观的工作负载，使专门构建的系统在商业上成为可能。

Goodwin 用两项芯片规格解释内存墙：以每秒操作次数衡量的算术能力，以及数据传输到处理器的速度，也就是内存带宽。

他估计，过去 25 年算术能力的增长远快于内存带宽。他说，顺序生成 token 时，模型反复需要访问权重和上下文，因此算术单元尚未充分利用，数据搬运就可能限制速度。

在他的例子中，一个每秒生成约 80 个 token 的大型模型，速度可能受权重加载频率限制，而非处理器的理论计算速度。具体结果取决于工作负载和系统。

Goodwin 将外部 DRAM 比作仓库：必须把箱子搬到办公室才能处理。放在处理器上的 SRAM 距离更近、访问更快，但按单位面积和成本计算，其容量远小于高密度 DRAM。

理想组合是快速访问和大容量。Goodwin 说，Fractile 正研究将 DRAM 直接放在逻辑芯片上方，而不是放在旁边，以便在芯片表面形成大量短的垂直连接。

他指出，现有高带宽内存已经堆叠 DRAM 晶粒，但并不是简单地按 Fractile 提出的方式放在逻辑晶粒之上。这种方法需要专门的三维集成和制造工作。

Goodwin 说，公司不希望永远被一种内存技术定义。它预计会在多代产品中沿用这一设计，但如果底层 AI 工作负载发生变化，公司也希望调整方法。

他将使用类似高带宽内存组件的传统芯片，与大量使用 SRAM 的替代方案作对比：后者可能很快，但受容量限制。他提出的方法旨在结合接近 SRAM 的带宽与 DRAM 的密度。

推理模型和长期运行的智能体需要顺序生成大量 token，因此速度很重要。Goodwin 认为，长上下文也需要大量内存容量，所以只针对快速聊天回答优化会遗漏部分工作负载。

他说，底层三维集成技术建立在既有研究之上，但将它们用于内存堆叠，既需要重新设计架构，也需要愿意支持定制工艺的制造伙伴。

Stebbings 质疑芯片初创公司的宣传与实际生产之间的差距。Goodwin 说，Fractile 已从晶圆厂拿到测试芯片并在开展更多试验；完整产品流片计划在未来几个月进行，他并没有将其描述为已经完成量产。

规模化是另一项挑战。Goodwin 指出，晶圆厂产能、高带宽内存，以及完成物理设计和制造交接的合作伙伴都面临竞争。

Fractile 将物理设计与制造之间的接口保留在内部，而不是使用 Broadcom 作为后端合作伙伴。Goodwin 说，直接关系让公司能够研发不同的构建模块，并与供应商合作开展定制堆叠。

他将此与服务多个芯片客户的通用平台作比较：客户架构可能不同，但主要制造和内存组件可以共享。定制方法可能形成差异化，但也需要与更大的供应商协调。

Goodwin 认为，使用不同制造工艺和内存代际，可能让 Fractile 获得竞争最激烈供应链之外的产能。他将这种可能性作为公司生产策略的一部分。

流片是把完成的芯片设计文件交给晶圆厂。该文件规定了用于制作制造掩模的物理布局；交付后再修正错误的成本会很高。

流片只是下一阶段的开始。经过数月制造，工程师必须在实验室调试返回的芯片，并先在单芯片、再在托盘、最后在整机柜上运行工作负载。

Fractile 追踪一项称为 task zero 的里程碑：在装满自家芯片的机柜上运行参考工作负载。Goodwin 说，目标是可靠、可制造的系统，而不仅是提交设计文件的日期。

良率、冗余、软件和系统可靠性决定产品能否以可行的经济成本批量制造。Goodwin 认为，创始人和投资人有时过于关注显眼的流片日期，而对之后的工作关注不足。

Goodwin 说，AI 基础设施的限制资源一直在变化：最初是 GPU，后来是更广泛的芯片和内存供应，现在越来越多地转向土地、电力和数据中心容量。

他认为，固定的电力预算让高效芯片更有价值。在有限兆瓦数内提供快速响应的服务商，必须考虑有效输出总量，而不仅是单个用户的响应速度。

Goodwin 说，并网排队显示出强劲的潜在需求，同时承认并非所有拟议项目最终都会建成。他认为电力是数据中心增长的根本限制。

Stebbings 问中国的能源政策是否给其带来优势。Goodwin 提到大型水电项目，认为数据中心可以建在偏远发电设施附近；他也看到英国和欧洲将数据中心与可再生能源结合的机会。

Goodwin 最初对推理的判断是：训练属于固定成本，使用训练好的模型最终必须证明这笔成本合理。他还在推理模型普及之前预计，可以在推理时投入更多计算以改善答案。

他描述了困难 AI 工作的两个维度：多个智能体可以并行探索可能性，而每个智能体又可能生成很长的 token 序列。这种组合可能比单次聊天响应消耗多得多的计算。

他说，面对困难的研究问题，系统可以花数天生成候选解、搜索文献并比较替代方案。他认为推理计算是一种投入更多资源追求更好答案的方法。

Stebbings 质疑融资能否支持这种需求。Goodwin 回应说，模型算法和硬件都可以提高效率：例如，更好的上下文压缩或注意力选择方法，可以让同一芯片完成更多有效工作。

Goodwin 认为，高 GPU 利用率和未满足的需求，使当前建设潮有别于互联网泡沫之后闲置的光纤。他预计改进后的模型和硬件将使每个机柜、每兆瓦提供更多有效计算。

被问到十年后一个 token 的成本时，Goodwin 说这取决于背后的模型及其能力。他预计运行模型的总支出会上升，即使单位计算所获得的有效工作量会提高。

他认为芯片和前沿模型都具有持久价值。芯片设计周期和部署寿命很长，而前沿模型需要昂贵的团队和计算投入，领先能力可能获得溢价。

他说，针对公司进行微调目前可能有帮助，但当更强的开放模型发布时，这种优势可能缩小。他不确定定制开放模型未来会如何与前沿服务相比。

Goodwin 质疑专门用于编排多种芯片的软件是否能永久保持其价值。他认为，某些硬件多样性可能只是对现有芯片限制的暂时回应。

用不同芯片处理推理的不同部分会造成容量规划问题。模型权重可以跨用户共享，但每个用户的上下文不同；模型大小或上下文长度变化，可能使固定芯片组合得不到充分利用。

Goodwin 认为，Fractile 提议的堆叠 DRAM 设计可以在一个系统中结合计算能力、带宽和内存容量。这是公司的架构目标，并非访谈中已展示的生产基准结果。

被问及 Nvidia 的 Groq 交易时，他说 Groq 团队及其快速推理平台满足了真实需求。他认为 SRAM 的容量和成本限制了其在超长上下文智能体上的应用，同时承认该平台具有速度优势。

他不愿在专业推理服务商之间选出一家，但欣赏它们在锁定大规模自有产能之前尝试新硬件的能力。他预计推理服务领域会出现少数规模极大的公司。

Fractile 完成了 7.2 亿美元的 C 轮融资。Goodwin 说，这笔资金让公司能够并行研发更多代芯片、网络和系统，并签订更长期的供应协议。

他说，公司将继续投资模型研究，以预测不断变化的工作负载。它还在扩大台湾地区和美国的团队，并建立机柜级系统与数据中心集成方面的专业能力。

被问到会投资哪家供应商时，Goodwin 因 TSMC 在先进芯片制造中的作用而选择了它。他还提到 D-Matrix 是另一家研究三维内存技术的公司。

Goodwin 说，近期能力进展缩短了他对数学和编程等可验证问题取得进展的预期。他预测一年内将有系统攻克困难的可验证挑战，这属于他个人的预测。

他预测 Nvidia 可能在五年内达到 10 万亿美元估值，并认为 AI 基础设施需求将持续。他还说，现有数据中心必须不断更换芯片，为新进入者创造机会。

为加强英国科技行业，Goodwin 优先考虑扩大能源供应，包括可再生能源和核电。他最后表示希望 AI 能帮助改善医疗，并让教育更加个性化。