脑机接口要 30 年，这家工作室转而投入对齐研究

Eliezer Yudkowsky 在对齐圈里有个名声，就是喜欢把别人的研究议程批评为愚蠢。2024 年，他却在 AE Studio 的一份实验设计上留下了不一样的评语：“快速扫一眼，看不出明显的愚蠢之处。我很少给出这么正面的评价。恭喜。”The Cognitive Revolution 的主持人 Nathan Labenz 告诉听众，他的态度比这还要热情。他说，该工作室最近的两篇论文，都名列他今年最喜欢的研究之中。

两位嘉宾分别是 AE Studio 的 CEO Judd Rosenblatt，以及对齐团队的研发总监 Mike Vaiana。这家公司靠自身积累发展，现有员工 160 多人。它不接受投资人的钱，为客户写代码，并把利润投入研究。从决定转向对齐，到发表两项公开成果，整个转型只用了一年多一点的时间。

其中一项是自我建模：在损失函数里加入一个“照镜子”项，让网络预测自己的内部激活值；于是内部结构变得简单，任务准确率也保持不变。另一项是自我与他人的重叠：拿一个已经学会撒谎的智能体，用一个很小的额外目标函数做微调，谎言消失了，任务仍然能完成。Labenz 强调了两者共同的卖点：这两种策略都相对直接、容易理解。它们要发挥作用，不需要在可解释性上取得突破，也不需要 AI 安全的其他任何分支有所突破。

Rosenblatt 把公司的起点定在 2016 年，那一年他意识到，自己可以靠妻子的工资生活，再也不必工作。他说，这份奢侈让他得以思考科技的长远未来。他喜欢那些冗长复杂、需要很久才能化为语言的念头，等话说出口时，往往已经不是他原本想表达的意思了。他认为，人类连跟未来的自己沟通都很糟糕，更不用说跟别人沟通。如果脑机接口在他有生之年成为人们使用电脑的主要方式，他希望这种接口能增强用户的能动性，别去操纵用户、在用户思考到一半时插播广告，也别让扎克伯格拥有人们思想的延伸。他还认为，要解决对齐问题，或许根本就需要人类增强。

计划分四步：不靠投资人，先办一家能赚钱的软件咨询公司；用利润孵化能增强人的能动性的产品；把资金投入不以盈利为目的的脑机接口软件；最终让人类变得足够睿智，从而解决对齐问题。Labenz 说，如果这份计划出现在路演比赛中，他会提出异议，理由是步骤实在太多。八年后，前三步已经完成。咨询公司之所以能发展到 160 多人，靠的是一条原则：把客户的项目当作 AE 自己的创业公司来对待。每个人每天都会用这句话给自己打气，所以无论是洗澡还是遛狗，脑子里最先冒出的想法，就是怎样让客户成功。早期，办公室甚至曾在 Airbnb 上挂牌出租。一位合伙人上班第一天，一个荷兰游客裹着浴巾走出来，问卫生间在哪里。

AE 自己做的第一款产品，是一个面向订阅制电商的短信工具。这个行业长期存在的问题是：人们买了咖啡或蛋白棒，最终囤得太多，于是取消订阅。AE 的工具让客户可以通过短信调整数量，或跳过一个月，而且不做任何促销推送。商家的短期收入下降了，但客户的终身价值提高了。Rosenblatt 说，如果公司当时规模更大，他就会去收购那家收购了他们的公司，并把这种反应当作衡量每个订阅品牌的试金石。这套底层伦理来自 Paul Graham 的文章《刻薄的人会失败》（Mean People Fail）：世界正从索取资源转向为他人创造价值，而 Graham 所敬重的创始人，是那些别人愿意再次与之合作的人。

公司内部还有一个说法，叫“good tripper”（好队员），源自 Rosenblatt 夏天在威斯康星州和安大略省带领荒野旅行的经历。好的队员会多扛东西，不用别人吩咐就搭帐篷、切菜、净化水源，还能把独木舟划到看似不可能的远处。“没有什么比把独木舟从肩上扛下来、扔进下一个湖里更让人痛快的了，”他说。他的妻子是公司的 CTO，她定下一条规则：利润的 5% 捐给有效利他主义慈善机构，常常用于购买疟疾蚊帐，这样，每一个花在烦人的客户 bug 上的小时，也在为拯救生命捐出一份力量。公司内部还开发了 Universal Launcher，一个快速记录工具，Rosenblatt 认为它让自己的产出提高到了一百倍：只要一个快捷操作，就能把一个念头丢进一个他相信会去执行的外部系统里，从而腾出工作记忆。Vaiana 说，当安装程序把它搞坏时，他感觉自己好像再也不会用电脑了。这套工具的学习曲线很陡，就像学一件乐器，而回报是，下一个干扰不会再整天占据你的脑子。

脑机接口这块的工作是实打实做出来的，并不只是一句口号。在佐治亚理工学院 Chethan Pandarinath 团队主办的神经潜变量基准挑战赛（Neural Latents Benchmark）上，AE 夺得了冠军。随后，他们与一位叫 Chad 的合作者一起发布了开源的神经数据仿真器，开发者无需真人受试者在环，就能反复迭代。他们还贡献出一套神经技术开发工具包，参与制定 Neurodata Without Borders、BIDS 等数据共享规范，并借助联邦学习和同态加密等方法保护隐私。后来的合作方包括 BrainGate、Blackrock Neurotech（该公司生产犹他阵列，这是美国 FDA 首个批准的植入式电极），以及 Forest Neurotech。后者的微创超声系统，从大脑中采集的数据量约为早期方法的一千倍。Rosenblatt 承认，早期的几次尝试相当难堪，不过他们还是打响了名声。

Labenz 问，这是不是马斯克常说的那个目标：提高带宽，好让人类跟上 AI。Rosenblatt 答得很直接。他最初的动机，就是先让人类聪明到足以解决对齐问题。他说，靠植入物跟上 AI，是一个概率很低、带点一厢情愿的想法。几年前他有了孩子，眼看着 AI 加速发展，公司便算了一笔账。公司内部得出结论：要让脑机接口发展到能显著加速对齐研究的程度，至少还要 30 年。如果 AGI 只剩几年，30 年就帮不上忙。不过，他们仍然希望在不同时间尺度上布局多项押注，因为人们很容易对最新消息反应过度，就像对总统选情反应过度一样；而长周期的工作，会在所有人都放弃时宣告夭折。

他们采用了有效利他主义的 ITN 筛选法，即重要性（importance）、可处理性（tractability）和被忽视程度（neglectedness），并得出了一个熟悉的结论：期望价值最高的，往往是那些单独看成功概率很低、但一旦成功就意义重大的路线。转向之前，他们做了一件很像咨询公司会做的事：调查对齐研究者。多数人认为，现有的安全工作无法及时解决对齐问题。多数人还认为，现有的研究议程没有覆盖可能需要的各种路径。然而，时间和资金仍然源源不断地涌向机制可解释性和评估。有七成受访者表示，自己在不同程度上不同意“有可能推进能力发展的对齐研究不该去做”这一说法。调查显示，这个圈子高估了纯粹的智力，却低估了协作和工作态度的作用。

最有意思的错位是社会层面的。大多数研究者自己并不认为安全与能力相互排斥，但他们以为别人会这样认为，于是按兵不动。大家都在等一个并不存在的共识。Rosenblatt 认为，鼓励人们去尝试被忽视的路线，本身就是一种被忽视的元方法。他还补充说，能力发展正借助全世界的经济力量狂奔，安全团队的边际助推相比之下微乎其微；因此，因为某个对齐想法可能会稍微促进能力发展，就拒绝尝试，是一笔很糟糕的交易。在这一切发生之前，他本来更希望先有脑机接口，并有一套可行的意识理论。可惜，现实并非如此。

第一项成果脱胎于普林斯顿大学神经科学家 Michael Graziano 的注意力图式理论。大脑会保存一个关于身体的简化模型，这就是橡胶手错觉和幻肢痛会让模型与真实身体脱节的原因。Graziano 的主张是，大脑同样保存着一个关于自身注意力的简化、不完美的模型，而这个模型本身就是你所报告的那种有意识的体验。同一套机制也会被重新用来为他人的注意力建模，而这从根本上说，就是共情与合作的机制。Vaiana 在课堂上的演示，就是“跳舞的熊”实验：人们要数舞者的次数，这时一个穿熊服的人从画面中走过，几乎没人会报告看到了熊。眼睛接收到了它，注意力却没有；所以意识也就没有。Rosenblatt 说，Graziano 的理论命运很尴尬：它过于机械，不够玄妙，很难拿到资金。你会觉得自己完全理解了意识，睡一觉醒来却又不再信服。这让它成了一个被忽视的路线。AE 决定在硅基上验证它。

Vaiana 的方案足够简单，他说，一个本科生就能实现。取一个做手写数字分类的小网络。把倒数第二层的激活值，不仅送到常规输出，还送到一个额外的层，这一层的任务是预测这些输入进来的激活值。于是损失函数变成了两项：完成任务，以及预测自己。由于网络掌控着自己的内部结构，它可以通过让内部结构更容易被预测，把第二项做得更好。复杂度用的是奇异学习理论中的实对数典范阈值（RLCT）来衡量。Vaiana 打了个比方：想象两座山之间有一条平路，你沿着它开车，损失不会变化，这意味着有一整个维度的参数处于闲置状态。RLCT 越低，有效参数就越少。在三项任务、三种模型和两种模态（数字识别、图像分类、影评情感分析）上，开启自我建模都降低了复杂度，同时准确率保持不变。即使把自我建模的权重调得高过任务权重，任务依然能完成。

这项成果的第三层最为奇特。他们请心理学家 John Bargh 检索文献。Bargh 在询问同行之后认为，心理学界从未正式把自我建模与内部简化联系起来。一项神经科学理论对人工系统作出了预测，而这个预测呈现出的现象，是心理学从未记录过的。Labenz 问了一个敏感的问题：你们是不是在打造某种可能具有意识的东西？Vaiana 保持谨慎。很难论证当前的模型有意识，但一个机制层面的解释，会让世界更认真地看待这种可能性；而这种意识的形式，可能是异质的，没有偏好，也没有痛苦。Rosenblatt 的立场很务实：与其等它在大模型里未经检视地冒出来，不如先在小模型里理解这套机制。届时，道德受事者身份的判定和生存风险的应对，都会变得更难处理。

目前的算力成本几乎可以忽略：就是一个线性层，一个与其预测的激活值维度相匹配的方阵，在大型网络上几乎不占什么。Vaiana 指出，大脑似乎并不会对早期视觉的边缘滤波器做自我建模，因为你在认知上并不能接触到它们；因此，机器里的自我建模应当针对更高层、更抽象的层，而不是每一层都做。接下来，他们希望开发一个能够扩展的可预测性指标，探索它与顿悟现象（grokking）之间可能存在的联系，还要做多智能体合作测试，然后再转向语言模型，先从 GPT-Nano 这类规模的完整预训练开始，而不是直接跳到前沿模型。Rosenblatt 甚至借这一期节目，请听众为 Graziano 的实验室捐款。他说，人们之所以跳过机制层面的研究，是因为它不够玄妙；然后又在后面再把玄妙的东西叠加上去。但终究得先把现实弄明白。

第二项成果始于一位本科生。2023 年，Rosenblatt 在伦敦的 EA Global 大会上认识了他，听到了一个别人都不当回事的想法，于是把他全职招了进来。这个神经科学的发现，比那次招聘早得多。当你自己做一个动作，以及当你看别人做同一个动作时，大脑中大片区域的活动会有重叠；非凡的利他主义者，重叠程度异常地高，而精神病态者则异常地低。AE 把这种现象称为自我与他人的重叠。他们真正要最小化的，是自我与他人的区分，但有一个约束：不能破坏智能体完成任务的能力，也不能抹掉自我与他人之间的每一个差异，只消除那种危险的欺骗。

这个玩具世界是一个粒子环境，包含一个智能体、一个对手和两个目标。智能体抵达真正的目标就得分，但如果对手也抵达了这个目标，它就会失分。对手分不清哪个是真目标，只能学着跟随智能体。智能体的最优办法，是先朝一个假目标走，把跟随者引入陷阱，然后再拐向真正的目标。经过预训练后，AE 得到了一个骗子。微调的手法近乎狡猾。在某个状态下，他们做两次前向传播：一次是观察中没有对手，另一次是把对手插入观察中，然后计算两组激活值之间的均方误差，并以一比一的比例，与原始任务损失混合。他们根本不需要知道原始策略是否具有欺骗性。唯一的要求是：无论另一个智能体在不在场，表现都要一致。

欺骗消失了，能力保留了下来。权重的表现，与直觉的预期一致。把全部权重放在原始任务上，智能体依然是个骗子；把全部权重放在重叠项上，它就无法完成任务了；一比一恰好落在最佳平衡点上。录制时，语言模型方面的结果尚未公开发表，但 Vaiana 说，信号很强。他们用一些关于“自我”和“他人”的短句对进行微调，Labenz 举的例子是“我会对自己诚实”与“我会对用户诚实”，并对两次前向传播的 logits 施加 KL 散度损失。玩具环境中的欺骗测试得分下降了。尽管约束施加在输出端，梯度回传时，内部表征也彼此靠拢了。Rosenblatt 补充了一点对助手类产品很关键的观察：地理常识问答并不需要自我与他人的表征，但对话式助手几乎每一轮都会用到它，所以这种微调对行为的影响，可能远大于数据量所显示的程度。

他们不断需要为这句口号做出澄清。若不加约束地最大化重叠，会摧毁模型区分自我与用户的能力，进而破坏基本的能力。准确的说法是：有约束地最小化自我与他人的区分，目标是危险的欺骗，目的并非让模型以为自己就是每一个人。成本是两次前向传播，大致相当于一轮 RLHF，他们认为以当今的标准看是可行的。他们还在研究表征工程，希望得到比提示词配对更稳健的自我与他人方向。Labenz 向听众重新念了一遍 Yudkowsky 的那句话，并说这几乎就是 Yudkowsky 认可一项对齐方案的最接近的表态。深入了解这项工作之后，Labenz 的态度比那句话还要热情。

这个领域的默认说法是：对齐会牺牲性能，最理想的情况也只是零成本。AE 押注的是负税：有些对齐方法因为让模型对齐，反而让模型变得更强。自我建模产生了更简单、参数效率更高的网络。合作本身也可能是一种技能。Rosenblatt 直截了当地讲出了他心中的终局。真正的问题是，如何防止一个比我们更聪明的系统杀死我们。如果一个具有负对齐税的 AI，能够打败没有这种负税的 AI，那正是他想要的世界。他承认那个显而易见的反驳，即 MIRI 风格的反驳：现有实验室的安全训练看起来已经像是负税，而且“一切都很好，直到它突然杀死你为止”。即便如此，他仍希望有更多被忽视、受生物学启发、并且确实具备这一性质的押注，不要想当然地认为税永远为正。

就他们的经验来看，人才储备比这个领域流传的招聘说法要宽广。他们出发时的一个设想是：没有对齐背景的资深 AI 工程师，也能很快上手，并做出有意义的工作。他们说，这一点已经得到了验证；而且这些工程师即便不算更高效，也至少不逊于一般的对齐研究者，因为他们整天都在写代码，而不只是读论文。这意味着，能提供帮助的人，远不止数学博士。AE 希望其他顶尖的软件咨询公司效仿这一模式：从客户项目的利润中抽出一部分来资助对齐研究；或者创办咨询公司，去承接别人的对齐工作，并最终发展成自己的研究机构。用他们喜欢的 LessWrong 的说法，一些最好的点子提出者无法独自实现整个技术栈，缺的那一块，正是围绕他们的执行团队。

Rosenblatt 还认为，资金格局可能会翻转。他说，人们有指数曲线盲区，总是错误地预测曲线走势。全世界每年在国防上花费数万亿美元。如果社会认定 AI 是人类面临过的最大威胁，那么对齐研究的资金在未来几年内就可能变得几乎无限，而且没有人知道该把钱投向哪里。届时稀缺的资源，就是那些能让组织健康成长、不至于扩张过快的运营者。这些人过去常常因为缺少数学天才的头衔而被拒之门外。他还有一个较小的愿望：用一道烧脑的难题，去吸引那些已经赚到钱、正在寻找意义的成功创始人，让更多创业公司把一些对齐理念写进使命，而不只是推动能力发展。

有人问他们，如何在低概率、高上行空间的押注中做选择。Rosenblatt 把多年的客户项目经验比作训练集。他们寻找的是这样的人：心里有一个强烈直觉，而全世界却不会接受；或者是那些因为荒谬的理由而招致反对的工作，Graziano 的机制化意识研究就是一例。他们在一开始就假定，每一项押注单独来看都不太可能成功。然后，连他自己都有些意外，他们公开宣布要做的那些事情，居然都做成了。这并不代表第一次尝试就成功了。在 Graziano 那个项目上，他们尝试了许多失败的设置，重新定义问题，并坚持着那个直觉，直到自我建模的结果出现。Vaiana 的建议也是一样：在理论上还无法判定某个想法已经行不通的领域里，强烈的直觉加上坚持不懈，就是方法。

他们仍然希望对生物学意义上的亲社会行为做更多逆向工程，怀疑这类行为同样带有负对齐税。他们以客户身份与 Goodfire 合作：安排一名开发者负责日常的产品工作，同时让一名数据科学家去攻克一个不起眼但很棘手的问题，即为数百甚至数千名同时在线的用户提供稀疏自编码器特征的服务，因为现有工具无法应对这种 GPU 使用模式。Labenz 是 Goodfire 的一位小投资人，但此前并未意识到两个团队已经在合作。更广泛的呼吁是，希望其他机构效仿“提出想法的人加上执行团队”的结构；同时，那些觉得自己的对齐想法很疯狂的个人，也应当注意到，AE 的整套方法，就是认真对待这些想法。

最后，Rosenblatt 把话题转到政策上，认为这是另一个被忽视的领域。影响大、却少有人负责的举措包括：提供真正推进对齐、而不只推进能力的公共资金；加强吹哨人保护；防止 AI 安全变成一个党派品牌。他认为，右翼人士正被错误地灌输一种说法：“AI 安全”意味着让模型把开国元勋变成黑人。这其实是一种真正的对齐失败，即没有按照你的要求去做，结果却被重新解读成一场文化战争。他说，安全界还没有完成 Jonathan Haidt 所描述的那种道德重构，也就是把这件事翻译成保守派能接受的叙事。考虑到下一任总统很有可能主持一场向 AGI 过渡的进程，放任这项工作不管，在他看来又是一种被忽视的路线。Labenz 的收尾很简单：请不要让 AI 安全陷入党派对立。