AI 数据中心如何运作:电力、冷却与社区权衡

原标题How AI Data Centers Work: Power, Cooling and Community Tradeoffs

Matthew Berman 解释 AI 提示词背后的实体基础设施,从加速器机架和备用电源到用水与当地规划。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2025年10月13日
视频
15:43
阅读
7 分钟
幻灯片
1
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在这段 2025 年 10 月的解说中,Matthew Berman 介绍 AI 数据中心如何训练模型和提供推理服务、电力密度与冷却为何重要,以及建设如何影响社区。他还讨论备用发电机、热量再利用和云基础设施的例子。视频包含 Dell Technologies 的赞助;若干预测和能源比较取决于年份、工作负载与地点,需要结合具体背景理解。

  1. 1实体的云机架、交换机、存储、电力和冷却系统让数据中心能够进行计算并提供信息服务。
  2. 2训练与推理训练通过密集计算形成模型参数;推理处理用户请求,其需求随时间变化。
  3. 3电力需求能源部的 2024 年估计与 2028 年情景范围涵盖美国所有数据中心,而非仅限 AI。
  4. 4密度与冷却高密度加速器机架需要精心设计供电和散热,往往包括液冷。
  5. 5建设与选址土地、电网接入、许可、施工、当地税收和水资源都会影响设施选址。
  6. 6备用电源与环境选择柴油发电机、水资源管理和热量再利用带来的权衡因地点而异。

要点建议

  1. AI 数据中心结合加速器、网络、存储、配电、冷却和实体安全设施。
  2. 训练和推理的工作负载不同,实际单次查询能耗也会因模型和任务而有很大差异。
  3. 美国能源部 2024 年的一份报告估计,数据中心在 2023 年消耗了美国电力的 4.4%,并预测 2028 年占比为 6.7% 至 12%。
  4. 冷却选择会影响用水和用电;闭环冷却不一定意味着总用水量为零。
  5. 社区需要考虑供电可靠性、水资源、备用发电机排放、建筑岗位和长期收入。
全文

按章节阅读整理后的全文

只看原始文稿
01

提示词背后的基础设施

Berman 将数据中心描述为实体的云,并讨论投资计划的速度与中心内部的组成部分。

当你向 ChatGPT 提交提示词时,回答来自实体计算基础设施。数据中心将服务器、供电设备和冷却系统安置在建筑中,而不是存在于抽象的云里。它们的规模和配置各不相同,但最大的 AI 设施可能需要大量投资和电力。

投资计划展示了建设规模。[OpenAI 于 2025 年 1 月发布的 Stargate 公告](https://openai.com/index/announcing-the-stargate-project/)称,项目计划在四年内投资 5000 亿美元,其中初期投入 1000 亿美元;公告并没有宣布数万亿美元的 Stargate 承诺。2025 年 9 月,NVIDIA 表示计划随着系统部署,逐步向 OpenAI 投资最多 1000 亿美元,而不是已经支付了全部金额。

可以把数据中心想成计算工厂。服务器机架里有 CPU、GPU 或其他加速器,高速网络连接机器,存储设备保存数据。设施还需要配电、备用系统、冷却以及实体和数字安全。它的基本组成与计算机相似,但规模扩大后工程挑战会发生巨大变化。

AI 发展增加了对加速器和高密度设施的需求。矩阵乘法是许多模型中的重要运算,需要以巨大规模执行,但 AI 也使用其他运算,并能在不同硬件上运行。大型生成式模型所需计算量可能远超某些专用应用,但比例取决于任务和配置。

02

能源、训练与推理

AI 工作负载大量依赖矩阵运算。训练与服务的负载特征不同,单次查询的能耗估计取决于具体工作。

我引用了这样的估计:一次 ChatGPT 查询耗电 2.9 瓦时,一次传统搜索耗电 0.3 瓦时,并比较了生成图片与给手机充电的能耗。这些只是说明性估计,并非普遍不变的数字:模型大小、回答长度、硬件、利用率和核算方法都会影响结果。后来的 [IEA 分析](https://www.iea.org/reports/key-questions-on-energy-and-ai/executive-summary)指出,简单查询的效率已有提升,而推理和视频任务可能消耗多得多的能源。本视频包含 Dell Technologies 的赞助。

训练是构建和改进模型的密集计算过程;一次训练运行有开始和结束。推理则发生在部署后的模型处理请求并生成输出时。服务可能全天运行,但负载会变化,硬件和电力需求取决于每种工作负载的服务方式。

03

电力密度与冷却

不断增加的负载和高密度机架会影响配电和冷却设计。用水与用电的权衡取决于具体设施。

电力是核心约束。[美国能源部 2024 年的报告](https://www.energy.gov/articles/doe-releases-new-report-evaluating-increase-electricity-demand-data-centers)估计,数据中心在 2023 年消耗了美国电力的 4.4%,并在不同情景下预测 2028 年占比为 6.7% 至 12%。这些数字涵盖所有数据中心,并非仅限 AI;情景范围也不是对未来结果的实测。

我引用 PJM 的一项预测:到 2030 年,峰值需求将增加约 30 吉瓦,并将其规模与数千万户家庭或约 30 座 1 吉瓦电厂比较。这些只是粗略的容量比较,不能直接换算为全年耗电量:需求会随时间变化,电厂也并非总以额定功率运行。

AI 集群可能使高密度负载集中在特定变电站附近。因此,选址需要与公用事业公司协调发电、输电、接入时间和当地容量。需求增长可能给可靠性和成本带来挑战;规划可以降低风险,但无法保证任何社区都绝不会受到干扰。

机架是容纳服务器和加速器的框架。我介绍了约 80 至 120 千瓦的高端 AI 机架,并讨论未来可能出现的 600 千瓦机架;这些是例子和预测,并非通用规格。随着电力密度增加,设施可能需要更强的配电、结构支撑和不同的维护方式。

更多电力会产生更多必须排出的热量。一些高密度系统让液体在芯片附近循环,再将热量转移到更大的冷却系统。如果冷却失效,自动热保护可以降低设备运行速度或关闭设备;硅芯片立刻熔化并不是预期的直接结果。视频包含参观 Cerebras 设施的画面。

冷却需要权衡,不存在单一的最佳设计。液冷能够高效地从高密度设备带走热量,而在适当条件下,风冷和干式散热可以减少现场直接用水。闭环系统会循环使用冷却液,但散热或电力供应链的其他环节仍可能消耗水;表现取决于气候和系统设计。

我引用每千瓦时 1.9 升的典型用水效率数字,以及 Google 位于 Council Bluffs 的设施在 2023 年用水约 10 亿加仑的例子。这类数字取决于统计边界、气候和地点,不应套用到所有数据中心。选择设计时,当地水资源、社区意见和透明报告都很重要。

04

建设与当地影响

项目经历选址、工程设计、许可和调试等阶段。社区需要权衡税收、建筑岗位与资源消耗。

建设从土地、电力和光纤接入开始,然后经过工程设计、许可、施工、测试和调试。我提出超大规模项目可能需要 18 至 30 个月,各阶段可以重叠;实际工期差异很大。xAI 的 Colossus 初期快速部署是一个特殊例子,不应把它视作能与所有设施从头到尾直接比较的工期。

大型园区可能占地数百英亩,需要大量基础设施、设备和冷却系统。安全措施可能包括外围屏障、出入管制、证件、摄像头和受限服务器机房。具体措施与人员配置因运营商和地点而异,并不存在一套普遍适用的清单。

北弗吉尼亚是主要的数据中心市场。我引用 Loudoun County 报告的数据中心税收对一般基金的贡献,并指出其他市场包括凤凰城、芝加哥、俄勒冈州和俄亥俄州。税收、电网接入、土地、水资源和地方政策都很重要。建设可以创造许多临时岗位,而长期运营岗位可能少得多,且因设施而异。

05

备用电源、再利用与更广阔的市场

备用发电和热量再利用是基础设施的一部分。Berman 最后讨论云服务商、电网规划和用水方面的常见误解。

许多大型设施使用柴油发电机作为备用电源,参观 Cerebras 时展示的设备就是例子。它们不仅在紧急情况下运行,也会在例行测试和维护时启动,排放会影响当地空气质量。运营商正在探索电池、燃气轮机和氢等替代方案;核电也可以成为更广泛供电策略的一部分。

数据中心的备用发电机
幻灯片 1 / 1数据中心的备用发电机设施画面展示了一台发动机驱动的发电机,可在电力中断时支持运营。

我认为好的项目应从电力规划开始,与公用事业公司合作,披露用水情况并让当地社区参与。热量再利用也有帮助:我举了 Meta 丹麦数据中心向区域供热系统输送热量的例子。结合当地条件评估后,闭环冷却、干式冷却和可再生电力都可能是有用的选择。

Amazon、Microsoft 和 Google 等主要云服务商运营庞大的数据中心网络,Oracle 和 CoreWeave 等公司也参与其中。我引用 2025 年的市场份额和投资计划来说明其规模;市场份额取决于定义和统计时期,企业资本支出也不一定全部用于 AI 数据中心。

电网运营商会为大量新增负载进行规划,但说数据中心不可能促成停电或社区受到干扰过于绝对。结果取决于系统容量、时间安排和当地条件。同样,备用发电机通常不以持续运行为目的,但会进行测试;用水量则因设计而异,从低用水方案到蒸发冷却都有。实际挑战是在扩充容量的同时,处理当地电力、空气和水资源影响。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1