Daniel Pontecorvo：为交易基础设施和办公空间降温

Ron Minsky 介绍 Daniel Pontecorvo，他在 Jane Street 的物理工程团队工作了约 13 年。Pontecorvo 说，团队负责数据中心、办公室和托管场所的租赁、设计、建设和运营，让公司能够开展业务。

Minsky 问交易数据中心在物理层面有什么不同。Pontecorvo 首先指出，它需要靠近交易场所：在微秒级尺度下，连光纤长度都很重要。性能、电力和冷却也很重要，同时还要留出增长空间，避免设备相距过远而产生距离问题。

在数据中心，除 IT 设备本身外，冷却是主要耗电项目。Pontecorvo 解释，电源使用效率 PUE 等于总耗电量除以计算设备耗电量。他说，高效站点约为 1.1，较差的可能达到 1.8 或 2；室外空气和节能循环可以减少对高耗能机械冷却的需求。

在基本冷却系统中，冷水机组将水冷却到例如 50–65°F，再循环送至机房空调设备。服务器排出的热空气经过盘管，将热量传给水，冷却后的空气再回到机房。水能够通过闭式回路的管道灵活输送冷量。

将冷却盘管移近热负载可以减少空气回流和损失。随着服务器能够承受更高温度，设计人员也提高了送风温度以节省能源。其他方案可以向水体排热，或利用室外空气和蒸发；目标是在保证可靠运行的前提下使用尽可能高的送风温度。

Minsky 问温度较高是否会增加故障风险。Pontecorvo 说，行业指南和计算流体力学有助于评估温度与湿度，包括故障情况下的表现。正常运行温度越高，冷却故障时的余量越小，因此团队要平衡冗余、成本、响应时间和与业务团队的沟通。

后门热交换器将冷却盘管放在离机柜背面几英寸的位置。这降低了热排风回到服务器进风口的可能性，也减少了必须输送到远处冷却设备的空气量。Pontecorvo 指出，风扇功率随风速的立方增长。

气流路径很重要，因为服务器和交换机的气流方向并不总是一致。设计必须将冷空气送到各个进风口，并约束排出的热空气，避免回流。即使机房平均温度可以接受，混合气流也可能形成局部热点。

热传递取决于流量和温差。Pontecorvo 说，服务器进出风温差约 20–30°F 是常见的折中选择：温差更大可以减少所需风量和风扇能耗，但所有组件仍需要足够冷的空气。在服务器内部，制造商会根据预期气温安排芯片、内存和电源的位置。

温差对系统其他部分来说也可能过大。升温后的回水仍需由针对特定容量和温度范围设计的冷水机组降温。超出容量会消耗冗余，并可能打乱流量平衡，设备故障时尤其如此。

确定管道、风管和风扇的尺寸，就是要让流量与设备产生的热量相匹配。冷热通道布局将服务器的进风口和出风口对齐，使热排风与冷送风分离。随着设备密度增加，封闭通道能让这种分离更加有效。

消防带来了另一项物理约束。Pontecorvo 介绍，预作用喷淋系统在确认有热量或烟雾之前，不会让水进入机柜上方的管道。一次冷却故障导致温度高到打开了标准喷头，但空管道避免了喷水；团队随后选择了温度等级更高的喷头。

Minsky 指出，只有团队能发现中间阶段的问题，两阶段系统才有价值。Pontecorvo 同意，监控涵盖消防、冷却、电力和其他建筑系统。Jane Street 将多个平台的数据汇入自己的软件，设置适合自身需求的阈值，并利用同样的信息预测容量。

警报存在一个“恰到好处”的问题：太晚，团队就会错过行动机会；太频繁，真正的警告就会淹没在噪声中。Pontecorvo 说，调试验收、事故和事后复盘有助于完善阈值，包括确定哪些情况值得在工作时间外叫醒人员。

在一个数据中心，机柜级温度传感器在服务商发现问题之前，就检测到温度略有上升。一次维护操作将冷冻水引向一个开放接口，排掉了数千加仑的水。早期信号帮助团队展开调查，并向业务部门解释事故和预计恢复情况。

警报大约在下午 3:58 发出，接近交易结束。Pontecorvo 强调经过审核的操作流程很重要：维护前在没有事故压力的情况下制定检查清单，而不是在关键设备上临时发挥。

Minsky 解释，切换到其他站点并不能无差别地替代交易数据中心，因为物理距离会改变延迟。了解站点还能安全运行多久，可能决定公司能否完成收盘交易。这使单个站点的韧性尤为重要。

响应人员根据软管流量和管道容积计算重新注水所需时间，并派人到现场监督和报告进展。Pontecorvo 说，与外部运营方坦诚交流依赖于事故发生前就建立的信任。目标是尽早听到坏消息并共同应对，而不是事后措手不及。

机器学习带来了高得多的 GPU 功率密度。Pontecorvo 说，过去一个机房或几排机柜使用的电力，如今可能集中在一个机柜里。基本原理仍然适用，但管道、线缆和冷却容量必须更大，也要更靠近设备。

谈完消防之后，Minsky 觉得把水放在电脑附近听起来令人不安。Pontecorvo 解释，水的热容量和密度使其单位体积携带热量的能力远高于空气。因此，冷冻水长期以来都被用来通过小管道输送热量，再将热量传给空气。

有几种方法可以让液体更靠近设备。后门热交换器在机柜后方立即冷却空气，无须接触服务器。封闭的热通道上方也可以设置冷却设备；发生高温事件时，设计为脱落的面板会让喷淋水到达下方火源。

直接液冷将液体送到芯片，尤其是 GPU 上的冷板。微小通道将液体分布到较大的表面积上以吸收热量。浸没式冷却则是另一种方法：整个服务器浸在不导电的介电液体中。

冷板中的微小通道使流体质量变得重要。过滤、添加剂和谨慎选材有助于限制生物生长、腐蚀以及可能阻碍流动的颗粒。塑料或不锈钢管道可以减少碎屑；否则，热传递不良可能使芯片过热并退化。

泄漏可能损坏服务器和附近设备，机柜中的高电压还会带来人身安全问题。团队减少接头，在适当位置使用焊接接头，在连接点附近设置漏水检测器，并制定应急流程。检测本身还不够：运营人员必须决定是关闭设备还是亲自调查。

关机可能中断长时间的训练任务，或影响对交易重要的推理服务。Minsky 指出，检查点可以减少损失的工作量，但 Pontecorvo 说中断仍有影响。物理工程师不希望自己的系统成为工作负载停止的原因。

Pontecorvo 说，十年前每个机柜 10–15 kW 就算很高；现在的设计达到 170 kW，他还提到有人讨论未来的 600 kW 机柜。提高配电电压有助于用同样尺寸的线缆输送更多电力，但新的密度给旧设施带来了挑战。

一台 GPU 机器可能用掉过去为整个机柜预留的电力，因此在改造设施中，机柜大部分空间可能空着。专门建设的站点可以更密集地部署设备，但需要更多空间放置配套设施。管道和电缆最终可能大到放不下，而冗余和故障场景使 UPS 配电更加复杂。

网络又增加了一项物理约束。Minsky 描述了设备间通信量大得多的 GPU 网络，以及需要大量布线的轨道优化设计。Pontecorvo 说，光纤、网线、冷却管道和气流都在争夺机柜空间；未来的机柜可能更大或更定制化。

下一代机柜和配电标准仍在发展。Pontecorvo 也重视仔细布线对维护的价值：光纤出现故障时，整洁的安装能让定位和更换容易得多。团队设计时不仅考虑快速部署，也考虑长期故障排查。

话题转向办公室。Pontecorvo 回忆，过去把人从固定办公桌移走，意味着拆下显示器、键盘和电脑。随着团队扩大并希望坐在一起，公司寻找更灵活的安排，于是给办公桌装上轮子。

Jane Street 重视开放交易大厅中的近距离沟通，不过 Minsky 指出，开发区域通常更安静，旁边的房间也提供专注工作的空间。距离近让人们可以转身或走过去交谈。办公桌每周都会以不同规模搬动，有时涉及数百人。

光有轮子还不够：电力和网络必须安全、可靠且易于断开和重新连接，冷却也必须跟着使用者移动。架空地板通过可移动的散流器送出冷空气。人们可以调节桌边的气流，同样的空气也能冷却桌下性能强大的电脑。

办公室的空气处理设备使用冷冻水，向架空地板下的低压空间供应约 60–65°F 的空气。地板高约 12–16 英寸，地砖可以拆卸，并设有通风和布线开口。早期桌面级 CO2 冷却需要固定管道，使搬动更加困难。

可移动办公桌将一个人熟悉的设备布局带到新位置。Minsky 说，个人并不是每周都搬，但每年会有一两次较大调整，以适应增长、实习生和不断变化的协作需求。暂时让团队坐在一起可以促进密切合作，优先事项变化后也可以再调整。

团队与制造商合作设计了标准办公桌，配有可锁定轮子、升降功能、通风口、显示器支架和线缆通道。它采用公制标准，可以在全球部署。地板下的模块化电源连接向线缆供电，线缆沿办公桌后方的托盘布设。

成束的铜质网线曾经有堵塞地板下气流的风险。团队改为将光纤接到每排末端定制机箱里的交换机；铜缆则留在地板上方、办公桌后面。这些交换机与附近的人使用同一套地板下冷却系统。

Pontecorvo 说，团队也会询问同事的需求。其昼夜节律照明在一天中改变色温：早晨较暖，中午前后较冷，晚些时候再变暖。他提到个人反馈不错，同时承认自己不知道是否有研究直接证明这套系统能提高表现。

地板下送冷将混合后的新鲜空气带到呼吸区域附近，并让每个人调整舒适度。Pontecorvo 说，系统输送的空气量更大，提高了换气和过滤频率。团队还监测室内空气质量，并在内部分享测量结果。

谈到 CO2，Pontecorvo 说，证据表明浓度升高会影响人，尽管具体影响很难确定。他提到约 1,500–2,000 ppm 时会引起担忧，而室外约为 400 ppm。密集交易大厅内的人们呼吸产生 CO2，因此团队增加室外空气的混入量，并测试洗涤器。

仅靠通风将浓度降至 500–700 ppm，可能需要大量室外空气、风管空间以及加热或冷却空气的能源。团队考虑利用传感器读数和风阀，将空气引向人员聚集处。Pontecorvo 说，系统仍由人监督和调整，而不是完全依靠自动化。

CO2 洗涤器的材料最终会饱和，必须加热以释放捕获的气体，再将其排到室外。设备需要空间和电力。Pontecorvo 说，团队仍在分析，与引入更多室外空气相比，洗涤器整体上是否更高效。

Minsky 问团队如何招聘能够涵盖如此广泛学科的人。Pontecorvo 说，求职者可能不会立刻将 Jane Street 与机械、电气、建筑或施工工作联系起来，但他们可以通过办公桌、数据中心、照明和其他设施的反馈，看到设计带来的直接影响。

团队重视有经验的人，也开设了实习项目。Pontecorvo 说，团队可以培养有好奇心且愿意广泛学习的人；没有固定成见的新人可能挑战既有做法。他希望同事对可移动办公桌和前沿液冷等问题感到兴奋。