GPU 之外：光学、类脑与生物计算

YC Paper Club 邀请 François Chaubard、Ilker Oguz、Alok Vasudev 和 Sean Cole 讨论传统 GPU AI 计算之外的选择，话题包括优化、光学、类脑芯片和生物神经元。

Chaubard 描述现代 AI 如何围绕模型架构、反向传播和硬件的组合发展。他询问，功耗、内存和通信限制是否可能促使未来出现不同组合。

他认为内存容量和带宽是 Transformer 工作负载的主要关注点。硬件和模型设计相互影响，因此替代处理器也可能需要围绕其优势设计的算法。

Chaubard 预测，反向传播之外的方法可能变得更加重要。这是研究预测；讨论并未证明反向传播或 GPU 会在特定时间消失。

光学与类脑设备的限制可能不同于数字加速器，包括存储状态、实现非线性或对物理操作求导的困难。这些限制会影响哪些学习算法在实践中可行。

Chaubard 介绍了对零阶优化方法的测试。它无需直接对每一步操作求导，而可以扰动参数、比较前向计算的损失，再用差异估计更新方向。

他举的例子是同时扰动随机逼近法 SPSA。这个估计器使用随机扰动；实际成本和准确性取决于维度、采样数量以及所解决的问题。

他质疑为梯度和 GPU 设计的架构是否最适合仅需前向计算的优化器。替代学习规则可能需要不同架构，而不是直接替换现有 Transformer 中的训练方法。

他提出的 SOMA 方法对数据分群，分别训练较小的循环专家，再将输入路由到这些专家。[研究预印本](https://arxiv.org/abs/2609.37899)介绍了分片零阶优化的设定和评估。

动机在于，受扰动参数的维度增加时，梯度估计噪声也会增长。分片使每个专家较小，但自身也带来设计和路由成本；该方法仍是研究，并未证明可以普遍替代反向传播。

Chaubard 认为，如果物理硬件能大幅降低前向计算成本，只需前向计算的学习可能受益。但完整系统仍需承担输入、输出、存储和重复测量的成本，因此这一前提需要系统级测试。

Ilker Oguz 介绍光计算。数据中心已经使用光链路进行通信；另一个独立问题是光能否也在计算机内部执行有用运算。

在适当条件下，光可以支持并行传播和低损耗传输。Oguz 讨论光学系统如何执行矩阵运算，但优势取决于硬件、精度和完整工作负载。

在数字电子系统中，数据移动和开关操作消耗能量。光计算可以利用物理传播，但这并不意味着周边激光器、探测器、转换和存储不消耗资源。

Oguz 解释光计算为何尚未取代电子处理器：完整能耗包括电子和光表示之间的转换，以及把数据送入设备和取出的开销。

另一个难点是非线性。无源光学组件可以实现大规模线性运算，但神经网络也使用非线性激活，这会增加硬件和设计复杂性。

Oguz 介绍基于扩散的图像生成研究。扩散模型通过反复去噪，逐渐将噪声变成图像，因此同一个学到的运算会被多次应用。

[光学扩散论文](https://arxiv.org/abs/2407.10897)对光通过透明层的传播进行编程，以执行去噪任务。这些无源层在去噪步骤间复用，而更广泛的系统仍包含电子组件。

Oguz 讨论一种复用少量设备的设计，而非为每个去噪步骤都制造单独的物理层。实验探索的是特定架构，不应被理解为生产环境中 GPU 的替代品。

他报告了能耗比较，其中包含权重无源且固定等假设。这些假设很重要：可编程性、输入输出转换和系统集成都可能改变整体结果。

问答中，参与者询问光学在哪些地方会失去优势。Oguz 指出，如果相对有效光计算而言需要传输大量数据，接口开销可能吞噬节省的部分。

讨论还涉及制造、重复通过和多通道编码。波长复用可能提高并行度，但非线性层、设备尺寸和转换仍是实际约束。

Alok Vasudev 将类脑计算介绍为在设计电路和芯片时借鉴生物组织原则的努力。他并未声称今天的芯片复制了生物大脑。

他以大脑结合感知、行动、记忆和适应的能力作为研究动机。与生物能耗的比较有启发性，但任务、测量方式和运行条件与数据中心不同。

他强调的原则包括存储与计算交织、事件驱动通信，以及连接强度变化。研究人员把其中选定的想法转化为电路，而不是复制神经元的所有特征。

生物神经元同时具有看似离散的脉冲与连续动力学。Vasudev 描述了构建电子对应物的尝试，并强调这种类比并不完美。

当前深度学习系统的架构与训练技术并不能直接对应生物过程。他提醒，不应假定为一种物理载体优化的模型会自动在另一种载体上表现良好。

例子包括让计算更靠近存储、脉冲神经网络和实验性半导体器件。有些想法比其他想法成熟；需要针对具体任务比较完整系统。

问答中，Vasudev 区分了早期研究与成熟产品，并讨论架构和硬件应如何协同设计。他还讨论噪声是否有时可以被利用，而非仅被视为误差。

Sean Cole 介绍一个混合实验：把电极阵列上的活体神经元连接到游戏 Doom。软件将游戏状态转换为刺激，并把电活动解码为游戏动作。

这项工作延续了此前将神经元培养物连接到 Pong 的研究，而 Doom 引入了更复杂的动作与观察空间。神经元只是整个系统的一部分；系统还依赖普通数字计算。

Cole 描述了一个基于近端策略优化的强化学习设置。普通神经网络处理观察并提供反馈信号，电极阵列则提供用于动作路径的生物活动。

他解释解码器如何将脉冲映射为动作。如果强大的解码器独自学会整个任务，表面成功就不能说明细胞学会了什么；他讨论了通过限制解码器来处理这一顾虑。

团队使用不同刺激模式，根据游戏结果和预测误差提供反馈。Cole 将这一机制描述为假设与工程方法，而非对生物学习原理的完整解释。

提问涉及“正向”和“负向”的含义、反馈如何影响细胞，以及噪声是否帮助探索。Cole 强调这些标签指游戏结果，并讨论了生物学解释中的不确定性。

被问及生物方法能否扩展时，Cole 说团队正在探索。引人注目的演示并不能证明商业规模下的成本、可靠性、学习机制或竞争力。