Jane Street 谈 GPU 基础设施、交易与招聘

Dwarkesh Patel 与 Jane Street 技术部门联合负责人 Ron Minsky、物理工程负责人 Dan Pontecorvo 一同参观了公司在得克萨斯州的一座训练数据中心。Patel 提问，在某些交易决策必须以纳秒完成的业务中，基于 GPU 的模型如何发挥作用。

Minsky 解释，交易有许多不同的时间尺度。在一个极端情况下，系统必须在不到 100 纳秒内处理并响应数据包。这样的速度下 CPU 不够快：直接连接网络的 FPGA 可以在接收完输入数据包之前就开始发送响应。

如此快速的系统只能执行简单计算。整体策略会结合不同速度的决策，从数百纳秒、微秒和毫秒，到一小时或一天。更多时间可以容纳更复杂的模型或决策流程。

被问及模型预测什么时，Minsky 提到公允价值是一个重要目标：估计一种金融工具的价值，可以为许多交易流程提供输入。这并不是唯一的预测目标，他没有透露更敏感的细节。

推理可以在 CPU、FPGA 或 GPU 上运行，取决于模型大小、计算需求和延迟。在最快的时间尺度下，物理距离影响极大，甚至光纤长度都很重要。更大、更慢的模型则可以更灵活地将计算部署在远离交易所的位置。

Pontecorvo 说，交易所的托管设施对电力和散热有自身限制。GPU 的功耗可能高到必须将其分散到多个机架，而不是集中在专门设计的液冷机架中。

Patel 问到 Jane Street 与 CoreWeave 的 60 亿美元算力协议。Minsky 说，公司希望获得更多容量用于训练和实验。研究人员探索多种架构，更快的迭代让他们有更多机会测试想法。

Minsky 说，专门模型很有用，因为不同应用使用的数据来源和速率不同。金融数据噪声较大，每字节包含的信息较少；与某些其他场景相比，数据可能更多，模型却较小。存储、加载、模型架构、推理吞吐量和延迟都会影响设计。

被问及推理与大型聊天机器人工作负载有何不同时，Minsky 说延迟尤其重要，尽管批处理仍然有意义。市场数据流可能在一个具有因果顺序的领域内提供极高的连续数据速率。两种场景会遇到类似的工程问题，但约束不同，选择也不同。

数据加载性能受到特别关注。Minsky 介绍了公司为大规模、跨多个数据中心的研究工作建设内部对象存储。训练算力无法全部放在一个地方，因此传输庞大的数据集、协调存储与计算调度都是重要问题。

多年来，公司通过依赖 x86-64 和一个主要研究数据中心及存储集群来简化环境。如今这两个假设都变了：电力限制要求使用分布式设施，更新的 NVIDIA 产品则需要支持 ARM。Minsky 说，组织的一项重要能力是知道哪些简化假设可以安全采用。

Patel 问，能力足够强的 AGI 是否能够直接完成 Jane Street 的工作。Minsky 并不排除未来系统在所有认知任务上超越人类、实现大部分业务自动化，但他认为这样的世界还不算近。他认为，人们容易低估公司规模的复杂工作。

Minsky 借用困难计算问题的类比，称交易是“AGI 完全”的：资产估值需要预测未来，而世界的许多不同方面都会影响这些预测。当部分任务实现自动化后，竞争优势可能转向剩余的难题。他说自己希望拥有更多工程师和交易员，而不是更少。

Jane Street 的业务包括多种软件和交易活动，其中有些并不是高度电子化的。Minsky 描述了通过聊天或电话协商的交易，人们需要评估交易对手和逆向选择的风险。他说，尽管几十年来人们一直期待更多市场走上同样的道路，债券交易的自动化程度仍低于股票交易。

Patel 问到模型与决策之间人的参与。Minsky 说，异常动荡的日子既会带来机会，也会带来困难的流动性决策。即使单笔交易快到人无法逐一干预，人仍可以判断当前情况与以往有何不同，并监督自动化系统。

Pontecorvo 说，数据中心和散热如今比过去受到更多关注。运营者也在重新审视旧假设：与其用交付周期长的发电机为整个设施提供备用电力，团队或许可以只保护关键系统，从而让 GPU 提前六个月上线。一项选择即使在某个工程维度上并不理想，也可能是更好的商业决策。

除了算力和内存，Pontecorvo 还指出发电机、变压器和液冷设备是当前瓶颈，同时提醒供应短缺情况变化很快。他的团队与采购部门合作，储备可互换的组件；大型发电机和涡轮机则需要更审慎地采购和提前准备。

随着机架密度提高，Pontecorvo 希望建筑可以更小、建造更快。模块化基础设施可以在场外设计和建造，再运到现场，实现更接近即插即用的部署。但高密度机架仍需要大量电力和散热基础设施；如果设施无法支撑，一个 1 兆瓦机架也没有用。

规划必须先于芯片订单，因为基础设施的交付周期可能超过一年。Pontecorvo 说，不同加速器对散热和密度的要求不同，因此团队与供应商合作，让设施为未来几代设备做好准备。

Patel 问 Jane Street 如何使用闲置算力，并类比大型平台在 GPU 空闲时改进广告模型。Minsky 说，公司受到算力限制：它会评估研究任务，但已经不得不拒绝一些有价值的实验。更频繁的重新训练和批量推理也可以使用额外算力。

Minsky 承认这项投资有风险：模型和交易价值可能没有达到预期，竞争对手也可能削弱其优势。不过，考虑到当前工作负载，他认为公司远未达到算力过剩的程度。Pontecorvo 补充说，公司可以先承诺电力和数据中心容量，再购买昂贵的芯片；多余设施容量也有可能转给其他人。

Patel 认为，招聘研究人员会加剧对稀缺算力的竞争。Minsky 的看法不同：有价值的研究人员正是购买更多算力的理由。他说公司目前有数万块 GPU，预计不久后将达到数十万块；后者是前瞻估计，而非当前数量。

Minsky 说，硬件不是招聘的主要障碍。找到优秀人才，以及拥有足够的指导能力来培训他们并帮助他们融入文化，才是更大的限制。公司希望在增长的同时继续成为一个适合工作的地方。

Pontecorvo 列举了物理工程岗位，覆盖选址、设计、施工和运营，包括机械、电气和结构工程师、建筑师及项目经理。Minsky 补充说，机器学习和交易需要多种背景的人才，包括模型架构、LLM 训练、数学、计算机科学、物理和工程领域。

Jane Street 还在寻找通才软件工程师和专家。Minsky 说，随着公司算力支出增加，相较于过去主要关注最敏感的低延迟代码，整个机器集群的优化变得更有价值。超大规模企业的经验可能适用，尽管公司的问题也有独特之处。

Minsky 提到定制 ASIC 工作，以及探索组建形式化方法团队的努力。他说后者仍带有探索性，但因为 AI 而变得更加值得关注。他还强调需要前端工程师，构建技术扎实且对人好用的应用。

Minsky 认为，对 AI 工具的热情不应掩盖人的因素。目标是构建包括 AI 工具在内的系统，提高人的理解、自主能力和效率。组织寻找并培养优秀人才的能力，仍是决定它能做成什么的核心。

Patel 向听众介绍 Jane Street 的谜题，包括一个关于语言模型隐藏触发短语的挑战，参赛者和 Jane Street 当时都还没有解决。Minsky 说，谜题是公司文化的一部分，也是接触潜在候选人的一种方式。对话最后提到了公司为播客听众准备的页面。