权重空间编程实验说明了什么，以及它的局限

Matthew Berman 介绍一项关于权重空间编程的研究：利用语言模型检查或直接修改另一个神经网络的参数。他对潜在影响感到兴奋，但报告中的实验仍处于早期，且针对特定任务。

他首先简要解释，神经网络由大量数值权重构成。训练通常通过调整参数降低损失，但理解内部结构究竟如何产生某种行为仍然困难。

研究者提出，语言模型能否推理权重并直接写入修改，而不是通过梯度下降更新。研究报告也提到，机械可解释性及其他生成、编辑权重的方法已有先前工作。

区别在于：前者由语言驱动的系统提出具体修改，后者由常规优化器执行固定更新过程。有些实验不允许工具和反馈，后续实验则允许沙箱和有限次数的前向运行。

第一个实验中，团队在 Breakout、Pong、Pac-Man 和 Freeway 的网格版本上训练四个小型策略。它们具有相同架构和接口；Astra 获得 17,253 个权重以及输入和动作说明，但没有获得游戏名称。

研究者报告称 Astra 在四种情况下都说出了目标游戏。Berman 解释权重中的模式如何使其推断出挡板或移动物体；这一实验针对的是紧凑且结构明确的网络。

屏幕展示数值权重和模型对 Breakout 例子的解释。其推断将权重分布、动作差异与游戏布局联系起来；这不能推广为已经理解每个内部计算。

Berman 还介绍 Pong、Pac-Man 和过马路的例子。研究者将第四个环境标为网格版 Freeway，这说明解释模型给出的游戏名称时需要看清具体实验设置。

第二个实验使用分别生成圆形、正方形和三角形的小型扩散模型。报告称 Astra 不运行前向过程，仅凭权重识别出形状，但描述的是轮廓，而实际输出是填充形状。

前两个实验暴露了可能含有明显线索的输入或输出层。为提高难度，研究者在下一项测试中移除了用英语、罗马字日语和 Python 训练的字符模型的这两层。

报告称 Astra 根据中间层权重识别出训练语言和复制注意力头。它可以用 Python 分析权重，但不能用输入运行网络或其层；这些模型约有 720 万参数。

接下来，团队要求 Astra 修复一个反复无法让汽车越过斜坡的策略。它得到权重、场景描述和一段记录的运行过程；后两者是数值权重之外的重要上下文。

研究者报告称，一次修改改变了 3.5% 的权重，并在 1,024 个评估回合中全部成功。修改后的策略先倒车以获得足够加速距离，再向前行驶。

Berman 推测直接修改未来可能有助于自我改进 AI。但在受控条件下修复一个小型外部策略，本身并不能证明前沿模型能够可靠地检查或递归改进自己的权重。

另一项实验中，Astra 为三个 MinAtar 游戏的小型网络生成权重。评估之前，它得到游戏规则和源代码，但没有训练数据、梯度、工具或在环境中练习的机会。

生成的网络在三个游戏中都超过报告中的一亿步 PPO 基线。与五亿步基线相比结果并不一致：Breakout 更强、Asterix 接近，而 Seaquest 低于基线。

研究者随后转向一个用于 9×9 围棋、约 150 万参数的网络。由于权重超出上下文窗口，Astra 使用 Python 沙箱写入张量，并获得不同数量的前向运行预算。

在没有前向运行时，生成的网络对两个较小 PPO 网络赢得超过一半对局；允许 50 次前向运行时，它超过报告中经过 2,000 万盘训练的同规模 PPO 基线。每次允许的运行可以包含一批对局。

下一项测试要求 Astra 判断两个语言模型中哪一个被训练得更倾向迎合用户。报告称，只能检查权重时，它无法将权重差异对应到这种行为区别。

当研究者进一步展示选定输入下的注意力模式时，Astra 在测试的三组模型中都识别出了更迎合用户的模型。这同时体现了严格测试的局限和额外观察可能带来的帮助。

最后，团队要求 Astra 在不使用梯度训练的情况下修改 Qwen3.5-0.8B 权重，以改善数学表现。它可以使用 Python 环境、练习题和有限次数的前向运行，但看不到评估测试集。

报告称 Astra 针对重复推理循环修改了 0.016% 的权重。在 50 次前向运行预算和指定采样设置下，报告中的 MATH-500 从 7.9% 升至 48.1%，GSM8K 从 13.8% 升至 67.1%。

作者强调，抑制循环不等于新增数学能力：它可能只是让模型完成原本就能算出的答案。在对较少陷入循环的 Gemma 模型进行的进一步测试中，修改没有证明带来有意义的数学提升。

Berman 最后思考这一研究对优化、可解释性、对齐和自我改进的潜在意义。这些是关于未来工作的假设，并非实验已经解决可解释性或展示递归自我改进的结论。