用 Stable Diffusion 从 fMRI 数据重建看过的图像

摘要

30 秒看懂

在这段 2023 年 5 月的视频中，Matthew Berman 讨论 Yu Takagi 和 Shinji Nishimoto 的研究：研究人员使用 Natural Scenes Dataset 和 Stable Diffusion，重建参与者接受 fMRI 扫描时看到的图像。他解释了视觉和语义两个组成部分，并比较论文中的示例。研究人员针对每位参与者训练线性映射，并用相似度指标和人工评审评价重建结果。结果是近似的，取决于研究的数据和方法，不能证明可以普遍读取思想，也不能证明大脑与扩散模型的运作方式完全相同。

1受控视觉任务参与者在 7 特斯拉 fMRI 扫描中观看图像；研究方法根据测得的脑活动近似重建图像。
2大脑与模型表征研究人员考察模型特征与视觉皮层活动之间的统计联系，并未证明两个系统相同。
3四名参与者与训练映射研究分析了完成全部扫描的四名参与者，并为每个人分别拟合线性模型。
4如何评估准确度论文通过二选一识别测试，使用感知相似度指标与六名人工评审进行评估。
5视觉、语义与组合输出论文比较视觉表征 z、文本相关表征 c 和两者结合后的重建结果；展示样例存在筛选限制。

要点建议

研究从 fMRI 数据近似重建了参与者看过的照片，并非任意私人想法。
分析使用数据集中八名参与者里完成全部扫描的四人数据，并为每人分别训练映射。
研究复用了预训练的 Stable Diffusion 模型，但仍需训练线性回归，将脑信号映射到模型表征。
在论文的评估中，结合视觉与语义表征通常比单独使用任一部分取得更好的重建结果。
部分展示的例图从五张生成候选图中按与原图的相似度选出，因此不是无偏随机样本。
模型表征与脑活动之间的联系不能证明两个系统以相同方式运作。

主题Neuroscience & AI Brain-Computer Interfaces Generative media AI research

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

图像重建研究

Berman 介绍论文及其例子。受控实验近似重建看过的图像，而非读取不受限制的思想。

Matthew Berman 介绍 Yu Takagi 和 Shinji Nishimoto 的一项研究：研究人员结合 Stable Diffusion 与功能性磁共振成像数据，重建人们看过的图像。他将其称为读心，但实际测试的任务范围更窄：参与者在受控扫描中观看照片，系统依据产生的测量数据生成近似图像。这项工作并未证明它能读取任意想法、记忆或梦境。

Berman 展示论文中的例子，比较原图与生成图像，例如泰迪熊。有些输出保留了可辨认的主体或构图，但细节和颜色可能有很大差异。这些是生成的重建图像，而非直接从大脑拍出的照片；扩散模型也利用了自身训练时学到的先验知识。

幻灯片 1 / 3原始照片与生成的重建图像红框内是刺激图像；下方一行是近似重建结果，而非精确复制。

[论文](https://openaccess.thecvf.com/content/CVPR2023/papers/Takagi_High-Resolution_Image_Reconstruction_With_Latent_Diffusion_Models_From_Human_Brain_CVPR_2023_paper.pdf)使用了预训练的 Stable Diffusion 潜在扩散模型。作者强调，他们没有在 fMRI 数据上训练或微调大型生成网络。不过，他们确实分别训练了线性回归模型，将每位参与者的脑信号映射到模型表征；这种方法并非完全不需要训练。

从脑活动到模型表征

论文将 fMRI 测量与预训练扩散模型的组成部分联系起来。Berman 讨论可能的对应关系，但这种联系不能证明机制相同。

Berman 指出，大脑中的视觉表征和深度模型的内部表征都难以解释。早期图像重建方法往往需要在有限的神经数据集上训练或微调复杂生成模型。作者的方法则复用预训练模型，并从扫描数据学习较简单的映射，但仍依赖此前对图像模型的大规模训练，以及精心收集的大型脑数据集。

论文还将模型特征与脑活动作比较，研究两种表征之间可能存在的联系。Berman 将大脑和人工网络描述为运作类似，但研究测得的统计对应关系不能证明两者机制相同。这些联系可以为视觉处理提供假设，却不能完整解释任何一个系统。

数据与评估

研究人员使用四名参与者的扫描数据，并分别拟合个体线性模型。他们通过感知指标和人工二选一识别比较输出。

研究人员使用 Natural Scenes Dataset：参与者在 30 至 40 个扫描阶段反复观看数千张自然图像，数据由 7 特斯拉 fMRI 扫描仪采集。论文分析了八名参与者中完成全部扫描的四人。对每位参与者，研究使用 24,980 个训练试次，以及一个包含 982 张图像、共 2,770 个试次的共同测试集，并对重复测试反应取平均。这种个体化数据需求限制了对新参与者使用效果的推论。

幻灯片 2 / 3Natural Scenes Dataset 与测试集划分方法部分说明了四名参与者以及研究使用的训练与测试试次。

作者为每位参与者分别拟合正则化线性模型。其中一个将早期视觉皮层信号映射到图像相关的潜在表征 z；另一个将较高级视觉皮层信号映射到文本相关的语义表征 c，训练时使用图像标注学习这一映射。解码后的表征引导预训练生成模型产生 512 × 512 的图像。在所描述的解码流程中，原始测试图像的文字说明没有直接作为重建提示输入。

研究人员用感知相似度指标和六名人工评审评价了 982 张测试图像。二选一识别测试考察重建图像与正确原图的匹配程度，是否高于与随机选取的另一图像的匹配程度。这样的分数只适用于该识别设置，并非恢复的像素百分比，也不是读取任意思想的概率。

比较重建组成部分

示例对比仅用视觉、仅用语义及两者结合的重建结果。图像并未完美还原，部分展示结果还从多个候选中选出。

Berman 比较了三列示例：只用 z 时往往保留粗略视觉布局，但可能遗漏物体身份；只用 c 时通常能体现正确主体，但外观有所不同；结合 z 和 c 的结果则可以更多地兼顾两者。火车、泰迪熊、钟楼和滑雪者展示了这种取舍，但生成细节并非原图的精确复制。

幻灯片 3 / 3仅用视觉、仅用语义及组合重建展示样例说明 z、c 和组合方法的差异；论文从五张生成图像中选出相似度高的候选图。

论文还展示了多个参与者的重建结果，质量因人和图像而异。在重点展示的组成部分比较图中，研究人员为每张测试图像生成五个候选，并选择感知相似度最高的结果；因此这些例图不应视为随机选择或典型的单次输出。Berman 认为这项工作是理解 fMRI 信号的一步；现有证据支持的是受控条件下的重建，并非不受限制地读取个人思想。