Matthew Berman：利用闲置电脑进行 AI 推理

摘要

30 秒看懂

Matthew Berman 介绍了 Darkbloom 项目，它将闲置个人电脑接入分布式系统，运行开源 AI 模型。他认为，这种方法或许有助于回应人们对数据中心扩张的担忧，并指出用户可以检查其公开代码。视频提出的是一种乐观的可能性，并没有证明分布式推理能够取代数据中心或消除其能源消耗。项目自身的资料对系统和硬件要求有更具体的描述。

1数据中心扩张Berman 描述了为 AI 快速建设数据中心的情况，并说许多人不喜欢这种扩张。
2利用闲置算力他介绍 Darkbloom 将闲置电脑接入分布式系统，为开源模型提供算力。
3可供检查的代码Berman 说，担心安装风险的用户可以审计公开代码。代码公开便于检查，但并不保证安全。

要点建议

Berman 认为 AI 数据中心不断扩张及公众的反对意见，是寻找其他算力来源的动力。
Darkbloom 提议利用兼容的闲置电脑，通过分布式网络处理 AI 推理请求。
公开代码可以供人检查，但开放本身不能证明安全或隐私得到保障。
视频没有证明这种方法能够取代数据中心或降低总能源消耗。

主题Distributed training & inference 基础设施与部署 Inference Open-weight models Energy

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

数据中心问题

Berman 将 AI 的增长与大型数据中心的扩张、公众对建设的反感联系起来。他认为可能存在另一种算力来源。

现在没人喜欢数据中心，而这或许是一个解决办法。你在互联网上做的许多事情都涉及大型数据中心。随着 AI 兴起，数据中心正在大规模建设，很多人不喜欢这种扩张。

闲置电脑与公开代码

他介绍了 Darkbloom：一个能够利用闲置个人电脑运行开源模型的分布式系统。他提到其代码公开，并对该项目表示乐观。

有个名叫 Darkbloom 的项目，我认为它可能是一个答案。它能让你把电脑接入分布式算力系统。当你的电脑闲置时，它的剩余算力就可以用来运行开源模型。

代码库是公开的，所以如果你担心安装它，可以自己检查代码。人们开始使用这个项目，并为之感到兴奋。编者补充：[Darkbloom](https://www.darkbloom.ai/) 描述的服务使用搭载 Apple Silicon 的 Mac 进行去中心化推理，因此不能把视频中提到的闲置电脑理解为支持所有机器。其[公开的算力提供方代码仓库](https://github.com/Layr-Labs/d-inference)描述了独立的协调基础设施；可检查提供方代码本身，并不能证明整个服务开放或安全。视频没有提供数据，证明这种方法能取代数据中心或降低总体用电量；硬件可用性、网络性能、隐私和能源消耗仍是需要考虑的因素。