Daniel Beutel 谈 Flower SuperGrid 与协作 AI

Flower Labs 的 Daniel Beutel 介绍公司对协作 AI 的愿景：组织可以在数据所在地运行计算，并协调多个地点的工作。这是一场产品演讲，采用情况和性能主张来自讲者。

Beutel 以与 Starcloud 合作在卫星上训练视觉 Transformer 的例子开场。他把它作为分布式计算的示例；该演示并不能证明太空训练普遍具有经济性。

他将 Flower 追溯到剑桥大学的去中心化 AI 工作。参与方可以保留本地数据集并协调跨站点计算，而不是将所有原始数据集中到一处。

Beutel 将 Flower 描述为开源框架，并列举社区和组织使用情况。他将其称为行业标准是公司方面的主张；演讲并未比较整个领域的采用情况。

他的动机是让更多分散数据用于训练和推理。他提出公共与私有 token 数量的估计，但这些数字取决于定义和数据质量，演讲中没有独立证实。

组织通常通过收集或许可获得更多数据。Beutel 提出数据持有者协作是另一条路径，同时承认数据仍分散在许多独立系统中。

他将协作网络比作电网和互联网的发展。这一类比解释了他的共享基础设施愿景，但本身不能证明任何拟议网络的经济性或治理效果。

Flower 提出的技术栈包含三部分：分布式平台、为协作设计的智能体，以及能从参与站点数据中学习的训练流水线。

第一个组件 SuperGrid 旨在简化联邦系统的建立。Beutel 演示了创建联邦、邀请参与者，以及在数据站点连接各个节点。

开发者可以启动分布式运行，并查看状态和日志。Beutel 将演示与更长的手动设置作比较，但实际部署节省的时间取决于集成和治理要求。

他列举平台功能，包括隔离、可审计通信、模型传输和治理，以及机密计算集成。实际安全属性取决于配置、威胁模型和部署方式。

Beutel 举出一个基层医疗项目，说明在不集中原始记录的情况下跨患者数据站点工作。这是报告的客户案例，并非某项临床效果的独立证据。

对于智能体，他区分访问公共网络信息、组织自身数据和其他参与方数据。参与方同意协作时，网络可能提供额外上下文。

他将检索、推理和行动描述为智能体的核心能力，并增加智能体之间的协作。生产环境中的协作还需要发现、权限、安全和审计能力，而不只是消息协议。

在他的架构中，协调者向各站点的智能体发送任务。每个站点都可决定是否参与，以及拟议回复能否离开其边界；协调者随后合并获准的回复。

Beutel 将该设计概括为原始数据留在本地、智能体交换受治理的消息。数据留在本地本身并不能阻止敏感信息出现在回复中；策略与执行机制必须处理实际共享的内容。

Project Kaya 是团队的早期访问协作智能体。演示中，协调智能体联系分布在不同地区的多个节点，并根据收到的回复准备答案。

第三个组件是去中心化训练流水线。Beutel 说，它可以利用参与站点的信息改进模型，而无需先将所有原始训练数据集中。

他介绍 Flower 面向英国的开放权重模型 Lizzy 7B；自动字幕误识别了模型名称。[Flower 模型页面](https://flower.ai/models)将其列为面向英国的模型。演讲中的性能比较属于公司主张。

Beutel 报告某项去中心化训练结果的通信成本最多降低千倍。“最多”取决于基线和实验条件，因此不能假定适用于每个网络或模型。

在所展示的训练循环中，协调者把模型发送到参与节点。每个节点本地训练并返回更新，协调者聚合更新；这个循环不断重复。

原始记录留在本地可以减少直接数据传输，但不会自动保证隐私。[联邦学习研究](https://proceedings.mlr.press/v234/zhao24b.html)表明，在某些条件下，共享模型信息可能泄露训练数据；防护措施需要单独评估。

他介绍与美国能源部及 Sandia 国家实验室合作，在三个站点进行去中心化训练的工作。演讲把它作为进行中的项目介绍，而非已发表、经独立验证的结果。

Beutel 最后重申三个层次：SuperGrid 提供网络、Frontier 提供分布式训练，Kaya 等智能体提供协作。他的更广泛预测是，这类网络对 AI 开发将变得更加重要。