从扫描仪中的四十小时到一小时：借助共享的大脑空间重建你所看到的画面

Nathan Labenz 开场提到一个事实，他认为它正在被 AI 领域的其他喧嚣淹没：机器已经能从功能磁共振数据中重建某人正在看的画面。去年，他请来了开放研究小组 MedArc 的创始人 Tanishq Abraham 谈 MindEye，当时为单个观察者建立模型需要 30 到 40 小时的扫描。这一期的新嘉宾是 Paul Scotti，即后续工作 MindEye2 的第一作者。Scotti 曾是普林斯顿大学 Ken Norman 实验室的博士后，现在在 MedArc 领导神经 AI 研究，薪水和算力则来自 Stability AI。

这个项目始于 2022 年，那时 Scotti 加入了 LAION 的 Discord，想了解一个开放社区是如何发布高水平机器学习成果的。他在频道里发现了一个关于从大脑活动重建图像的讨论，自我介绍后认识了 Tanishq，并意识到两条研究线可以交汇：Norman 的小组想解码记忆，而重建视觉正是其前提。时机也很合适。新的自然场景数据集（Natural Scenes Dataset）刚刚出现，CLIP 和 Stable Diffusion 也已作为开放模型发布。做出最先进流水线所需的部件都已齐备，于是他们把 MindEye 做成了一个开放科学项目。

MindEye1 反响不错，同期的论文如 Brain-Diffuser 也用了相似的思路。局限在于，每个模型都只为一个人训练。每增加一位新受试者，就要再在机器里扫描 30 到 40 小时，每小时约一千美元。Scotti 认为，这对于记忆研究、心理意象、梦境重建、生物标志物诊断，或者任何临床医生真正会用到的场景，都是不现实的。MindEye2 正是朝这个方向迈出的一步：从新的受试者身上采集一小时数据，得到的重建效果虽然不完全达到 40 小时的水平，但已经很接近，“用过去 2.5% 的数据量，达到了几乎相同的质量水平”。

MindEye1 和 MindEye2 使用的是同一个自然场景数据集：八个人，每人被扫描 30 到 40 小时，这是一次由多家实验室合作完成的浩大采集。每个循环持续四秒：三秒呈现图像，一秒空白。一号受试者前后来了 40 次，每次约一小时的时段里看到 750 张图。整个研究中每张图都出现了三次，任务是在图片重复出现时按下按钮，这让人们始终保持注视。每个人一共看到了大约 3 万到 4 万张图。团队从未使用过按键数据；其他根据行为预测脑活动的论文认为它有用，但 Scotti 的团队没能让它发挥作用。

扫描仪的记录并非连续的。大约每秒钟，它就对大脑拍一张完整的三维快照，这是机器的重复时间。随后，一个一般线性模型把这一时间序列折叠成每张图对应的一个测量值。它实际测量的是血氧水平。工作得更卖力的组织需要更多血液，功能磁共振读取的就是边长 1.8 毫米立方块中的血氧变化。Scotti 说，每个体素都包含数十万个神经元，被压缩成一个数字，离“哪些细胞在放电”有好几步之遥，而信号又粗糙到让人惊讶图像居然还能被还原出来。

模型只看视觉皮层的体素，每人大约 1.2 万到 1.7 万个。数量各不相同，是因为大脑的大小和形状各不相同，视觉的功能图谱在不同人的皮层上分布也不一样，所以每次划出的“视觉皮层”边界都不尽相同。大尺度分区可以用自动化软件画出；更精细的图谱则要用视网膜拓扑定位实验（retinotopic localizer）：在视野的一角闪烁光线，观察皮层在哪里亮起。数据集中的每张快照都包含整个大脑。把全部数据都输入模型，效果反而更差。另外，不同人之间也不存在体素对体素的对应关系，这正是跨受试者共享模型并非简单拼接的原因。

解锁整个流水线其余部分的设计选择，有一个方向性。把数万个体素映射到数十万个像素上，参数量会爆炸，还会丢掉你真正想要的东西：图像“是什么”。Scotti 说，你要的是一个压缩的、语义丰富的空间，这就是他们映射到 CLIP 的原因。更好的 CLIP 模型甚至还保留着低层级结构，因此你可以从潜变量还原出原始图片。早期的脑解码工作依赖 Gabor 滤波器和卷积网络。按他的说法，现代的做法是：不惜一切代价，落到一个冻结的预训练空间里。

他把 CLIP 视作接在冻结模型上的另一种模态，并认为医疗应用会随着基础模型同步进步。MindEye1 用的是 Versatile Diffusion 解码；MindEye2 用的是 Stable Diffusion XL。更好的生成器会抬高大脑潜变量所能达到的上限，更好的表征空间则会提升潜变量本身的质量。Labenz 的类比来自 U-Net 的底部：从像素出发做卷积，压缩成更少但更深的通道，再在另一侧展开。扩散模型（diffusion）做的是类似的展开，从高层语义和低精度出发，还原回像素。

论文中的跃升，归功于两项进展。一项消融实验（ablation）隔离出了跨受试者共享训练的作用：即使用上全部数据，它也已经达到了最先进的重建和检索水平。如果固定住跨受试者共享的部分，新的 CLIP 和图像模型本身也能带来提升。第三项，论文里宣传得较少，是团队自己训练的一个 unCLIP 模型：他们对 SDXL 做了微调，使得真实的 CLIP 图像嵌入（embedding）能同时还原高层语义和低层布局。Versatile Diffusion 如果拿到一张人们在厨房里做饭的 CLIP 嵌入，会给出一个厨房和一位厨师，但位置不对、衣着不对、光线也不对。这是此前的上限，他们必须把它抬高。

在论文的流水线示意图中，大脑一侧的模块被标为已训练，图像一侧的模块被标为冻结。理想情况下，这些冻结部分本就该现成可用，MindEye2 只需训练一个多层感知机（MLP）和一个扩散先验（diffusion prior）。难点出在 unCLIP 上。典型的 unCLIP 模型取的是 CLIP 池化后的分类 Token，也就是把图像与文字描述对齐的对比式（contrastive）训练的输出，再把它变成像素。这条路径是有意做成语义导向的。这就是“image variations”的那套把戏：喂入一只老虎，就得到许多只老虎。Scotti 的团队需要相反的东西：切掉网络前端，只输入潜变量，让原图重新出现。

取而代之，他们用的是视觉 Transformer（vision transformer）的最后一个隐藏层，也就是每个 Token 的输出，这是一个维度高得多的对象。从这个未池化的 CLIP 潜变量中，基本上能恢复出原始图像。对比式训练的目标从未要求模型保留布局，但 CLIP 不知怎么就学会了整幅画面的表征。MindEye1 做不到这一点，所以它另外跑了一条低层级流水线：预测一张没有语义的模糊重建图，人站立的地方是一团暗影，背景是蓝天，然后让扩散过程以这一提示为起点，取代从噪声出发。模糊分支用的是 Stable Diffusion 的变分自编码器（VAE）等组件，并非 CLIP。

MindEye2 把这条低层级路径并入了主流水线，随后发现它几乎用不上。消融实验显示，从模糊重建图出发，效果其实更差，即使它能在结果表格里把低层级统计数据撑得好看。一个从大脑预测文字描述、再把它输入精修步骤的图像描述生成模块（captioning module），情况也一样：作为演示很酷，对最终质量几乎无关紧要。“这里的大部分信息，都藏在 CLIP 的潜变量中，”Scotti 说。去掉图像描述和模糊起点，图像看上去仍然是你所期待的样子。

对那些整天盯着排行榜的人来说，实际含义很尴尬。去掉额外提示之后，人类看重建图时仍然会说系统在工作；把提示加回去，逐像素相关性和中间层相似度就会上升。Scotti 手里有一些重建图，在他看来明显更好，却在该领域每篇论文都会报告的指标上得分更低。团队进行了在线的二选一强制选择测试（alternative forced choice）：给出两张图，让人选出与原图更匹配的那张。结果显示，人的偏好与标准表格就此脱节。强制选择本身也有偏向：它更偏爱自然主义的图片，而不太看重保留下来的低层级结构，所以它也算不上完美的裁判。

模糊模块就是最好的例子。一个粗糙的平均过程，在官方的低层级指标上得分极高，但主观看起来更差。对于会议论文来说，你仍然得赢下表格。Labenz 认为，这种天花板贯穿整个 AI 领域：自动化评分已经趋于饱和，人工评分又充满噪声。他举了 AVA 美学数据集为例，该数据集为每张图收集了约一百个评分，仍然报告均值和标准差，而不是一个单一分数，因为人们的意见分歧太大，无法把审美压缩成一个数字。他怀疑，即便是同一个人，他的判断也会随时间漂移。

另一个谜题是语义从哪里来。把视觉皮层想象成一叠边缘检测器的卷积堆栈，并不能明显地包含“老虎”的概念，更不用说一段描述文字了。Scotti 说，大脑其实两者都有。这些区域包括更高级的视觉区，而不只是 V1 和 V2。再往前走，就到了颞下皮层（inferior temporal cortex），它承担专门的语义处理工作；梭状回面孔区（fusiform face area）就是教科书式的例子。如果把体素限制在早期视觉皮层，映射到 CLIP 的效果就会变差。Scotti 说，如果目标只是刺激物的一比一复制，那就直接记录视网膜，或者在眼前放一台摄像机。之所以要看大脑，是因为你的表征与别人的表征之间存在差异：过去的经历、偏见，以及造就你这张映射图的功能地形。而这正是比较临床人群所需要的。

对于神经影像领域的读者来说，检索模块往往比漂亮的图更重要。对比损失（contrastive loss）把大脑潜变量训练成第三种 CLIP 模态，于是你可以取最近邻，或者沿着你选定的任意 CLIP 方向滑动这个潜变量。有一种廉价的批评是：模型只是知道“这里有一头大象”。Scotti 的回应落在颗粒度上：检索路径能在大约二十张斑马图中，以很高的准确率挑出确切的那一张斑马。这远不止“动物与非动物”的区分。它得到的是一个可以与任何其他 CLIP 向量比较的潜变量，这正是神经科学界关心它的原因。

在示意图的大脑一侧，每个人都有一个适配器，把自己的数据接入共享潜变量，之后的部分则是共用的。自然的检验方式是留一法：用原来八人中的七人训练，然后看第八人的一点数据能否落入这个空间。Labenz 提出了互补的数据问题：如果把八个人、每人四十小时，换成几百个人、每人一小时呢？这些数据或许早就躺在医院的档案库里了。Scotti 把它概括为精准神经科学的取舍。对许多人做短时扫描，能让你了解大脑之间如何不同；对少数人做长时扫描，则能获得高质量、针对个体的信号，这正是自然场景数据集的设计初衷。他两者都想要：先用汹涌而来的海量数据训练一个基础模型，再在其上叠加高质量数据集。

这个基础模型已经在推进中。计划是在他们能拿到的几乎所有公开功能磁共振数据集上训练，把它们压缩成一个可泛化的潜变量，并把这个潜变量当作从扫描中提取信号的新方式。他称赞这个领域习惯以 BIDS 标准发布数据。人类连接组计划（Human Connectome Project）是一个大型公开数据集；英国生物样本库（UK Biobank）是另一个，不过需要付费。他估计的总量是“数百万小时的人躺在机器里”，随后又留了余地：盘点还没完成，所以可能不到一百万小时，但即便如此，也比当前重建论文中的数百小时高出几个数量级。下游用途未必只限于图像。任何需要大脑嵌入的应用，都可以叠加在它上面。

MindEye2 本身约有 20 亿参数，比它需要的规模更大，因为会议截稿日期就像一张邀请函，让人去花掉手头所有的 GPU。其中一半以上来自一个线性层：把一个 4096 维的共享空间，映射到展平后的 CLIP 网格上，后者是 256 × 1664，约五十万维。这样一个庞大的 MLP，运行起来仍然比扩散模型便宜。预训练用一个 H100 节点不到一天就完成了；为每个人做的微调也都不到一天；SDXL 的 unCLIP 微调不到一轮（epoch）。Labenz 让 Claude 3 估算增量算力，估计在训练 SDXL 的千分之一左右的高位。Scotti 对这个量级没有异议。

从长远看，他想把更便宜、质量更差的扫描仪映射到一个更丰富的潜变量中，同时把小规模的高质量数据集，甚至侵入式数据集，与公开数据的洪流合并。功能磁共振仍是最好的非侵入式工具，却也是一个很糟糕的工具：昂贵，要求头部一毫米都不能动，还把有幽闭恐惧症的人挡在门外。癫痫患者本来就会接受的植入式电极，质量要高得多，但空间覆盖有限；Neuralink 的电极位于运动皮层，覆盖的并非整张皮层。脑电图（EEG）便宜，却无法定位。对他来说，超声和近红外等对功能磁共振信号的替代手段，更像是未来的方向：在不进管子的前提下达到接近功能磁共振的质量，或者是一种多模态堆栈，把高质量数据用在劣质输入上。

跨受试者共享的技巧，比示意图看起来要简单，而这本身正是科学结论。通常的做法是让所有人看同样的图片，再把共同部分与个人部分分开。MindEye2 做不到这一点：人们看的大多是不同的图片，重叠的那部分正是测试集，不能用于训练。于是他们选了最直接的基线：岭回归，为每个人做一个线性映射，映射到同一个 4096 维空间，此后模型的其余部分都是共享的。这是他们第一个尝试的方法，结果有效。

Scotti 的反应是：文献里为什么充斥着跨人共享的流形（manifold）和复杂网络？“我的大脑”与“你的大脑”之间，一个线性对齐就够了，尽管这两个人看到的图片并不相同。他认为，这说明存在可以用简单方式提取的共享表征；个体的剩余部分则可以用微调来补充。失败的情形就不那么哲学化了。一只孤零零的长颈鹿出现在简单的场景里，会被还原成位置正确的长颈鹿。熙熙攘攘的集市就不行。这些图片来自微软 COCO 数据集，大多是简单场景，因此刺激物离这个分布越远，模型能解释的部分就越少。

Labenz 的更大判断是：如果增量算力只是一个四舍五入的误差，那么最强的基础模型就能赢得大量没有预算的下游任务。团队需要 unCLIP 真正反向还原 CLIP 时，Tanishq 写信给了当时 Stable Diffusion 项目的负责人 Robin Rombach。Rombach 的回复是：使用 OpenCLIP 未池化的嵌入，这样几乎能完美地还原出原始图像，他还给出了示例。他们问，为什么这项能力没有发布。按 Scotti 的说法，Rombach 没有看到其中的潜力。他还补充说，训练 CLIP 的人，并没有想到会有人把大脑接到它上面。

这种机构安排足够不寻常，Labenz 追问了不少。Tanishq 运营着 MedArc，并支持好几个开放的医学项目；Scotti 领导神经 AI 团队。两人的薪水都不经由 MedArc 发放。Stability 雇用了他们，更引人注目的是，它还允许外部学术团队和一个 Discord 社区使用这套算力集群。Scotti 不知道还有哪家实验室是这种模式。它也比听上去便宜。在远多于本次访谈所涉及的项目中，他们只靠少数几个节点就撑了过来，远远谈不上 Stable Diffusion 团队那样的预算。基础模型的规模化尚未开始，所以下一次申请算力，仍然只能靠争取，还谈不上是预算里的条目。

Labenz 问，像这样奇特的模型，开源该怎么考虑：别人只需增加千分之一的训练算力，就能解锁作者未曾预料到的东西。Scotti 的默认态度是分享。在他看来，基础模型的意义在于：大多数研究者永远没有算力去训练它，却仍然能映射到它上面、对它微调并进行推理。他们使用的扫描数据本来就是公开的，并且是在知情同意下发布的，所以他不把模型权重视为隐私泄露。如果这个模型的效果比任何人预期的都要好上几个数量级，他会希望对发布的内容做更审慎的考量。就功能磁共振而言，他确信其局限足够大，因此分享仍然是正确的默认选择。

他说，随着记录越来越具侵入性、质量越来越高，谨慎就变得真实起来。那时你必须小心谁能获取数据，以及公司会不会利用人们的脑数据。尽管如此，Labenz 仍然勾勒了一幅两用的图景：未来的头戴设备会评估你是否在说实话，它可能在高信任社会里被自愿使用，也可能被国家强制施加；此外还有人脸识别的先例，警察因误匹配而敲错了门。Scotti 则把这个故事中与功能磁共振有关的那一支排除在外。测谎和执法用途与这种模态无关。你无法获取一个人没有直接在想的东西。头部移动超过一毫米，数据就会失真。它的信噪比与便携式测谎仪根本不在同一个量级。

在被试专注且保持不动的前提下，功能磁共振已经足够用来做的事，是比较临床人群、寻找生物标志物，以及重建心理意象。明尼苏达大学的合作项目已经在进行中。Scotti 不希望这个领域在当前的数据质量下过于保守，因为未来几年的重点，是帮助患有疾病的人，并理解大脑如何运作。要能读取一个不配合的大脑，需要一次大的硬件跃升。Labenz 把当下的时刻类比为 GPT-1 或 GPT-2：刚刚进入这项工作开始变得有用的阶段，距离轻松的消费级部署还很远，至少还要再经历两代技术，才会普遍变得简单易用。

Scotti 最后介绍了团队的其他成员。Tanishq 是两篇 MindEye 论文的资深作者；Ken Norman 和另外十几位研究者也参与了这项工作；他们仍在与普林斯顿大学一起采集新数据。想要帮忙的人，可以访问 medarc.ai，加入 Discord，旁听每周的项目 Zoom 会议，并在公开的 GitHub 仓库上开展工作。Labenz 的底线要求更简单：看看论文里的图，把受试者看到的图片与重建图并排对照，然后再想想，等硬件跟上之后，你会让谁看你的脑数据。