一个能分辨哪些基因碰不得的 DNA 模型

Labenz 开场先综述了斯坦福大学助理教授、ARC Institute 创新研究员 Brian Hie 的三篇论文。中间那篇是他在节目中反复引用的结果。Evo 是一个长上下文的混合语言模型，只用 DNA 训练，任务是预测下一个核苷酸。这个狭窄的目标带出了两项突出的能力：它能判断哪些基因对生物体的生存至关重要，还能生成新颖的 CRISPR 变体。第三篇论文同样引人注目：一个只见过单个蛋白质的模型，被用来进化出与靶点结合能力高达天然版本 25 倍的抗体。

这一期的结构是刻意安排的三部曲。第一篇是纯粹的机器学习：如何组合注意力层和状态空间层，并对它们进行测试。第二篇是基因组尺度的 DNA：模型能从人类没有标注的序列中学到什么。第三篇是分子设计：一旦有了靶点，如何精准地与它结合。Labenz 想梳理它们之间的联系，还想聊生物安全、可解释性，以及生物实验室究竟能用上多少算力这些背景问题。Hie 仍自称计算生物学家，欣然接受。访谈从整个领域最宏观的图景开始，然后按这个顺序讲解三篇论文。

Labenz 不是生物学家，他提出两个宏大的挑战，并请 Hie 纠正他。第一个是因果结构：在一个活体系统的各种分子中，哪些会相互作用，哪些处于上游，因此如果目标是更好的药物，哪些值得作为靶点。第二个是干预：一旦找到靶点，如何设计出足够有效、足够特异的东西，而不致破坏系统的其他部分。他的感觉是，第二个问题发展很快，AI 正处于其中，而第一个问题才刚开始露出一些迹象。Hie 说，这个概括基本正确，就药物发现而言，第一个问题既是最重要的，也是最复杂的。

临床上的失败模式并不是结合分子太弱。Hie 说，大多数药物失败，是因为团队瞄准的是错误的靶点。阿尔茨海默病至今仍在争论，淀粉样蛋白到底是不是该打的靶点。有些疾病的病因根本不明，这让结合分子的设计无从谈起。从机器学习的角度看，他把这视为数据问题。观察性数据很容易收集：全基因组、单细胞 RNA 测序，健康状态的快照和疾病状态的快照。生物学过于复杂，这两组快照之间的大多数差异都是虚假的相关。真正的因果因素往往没有被测量到，或者测量结果看上去没有变化。

他认为，出路在于干预性数据：扰动系统，观察会发生什么。读研究生早期，他做过 Scanorama，这个工具能对齐在不同实验室测量的同一组织的单细胞转录组，从而整合匹配的细胞类型。这项工作让他第一次真正接触到因果与观察数据之间的问题，看了数据之后，他确信仅靠观察能学到的东西有上限。他暂停了这个方向的工作，等待大规模扰动数据集成熟后再回来。另一条路是自下而上：从原子到细胞的完美机制模型，在计算机模拟（in silico）中完成。他的团队对两条路都感兴趣，他怀疑两者可能会在中途相遇。

眼看接下来一个小时要从纯机器学习论文摇摆到湿实验室里的抗体，那他如何给自己归类呢？他仍然说自己是计算生物学家。很长时间里，这个称呼在生物学界是一种轻慢：模型不够严谨，实验派也不相信它们。AlphaFold 改变了这种名声。这个领域有一种模糊的中间状态，即两边都懂一点；还有一种更难的状态，需要在两边都有真正的专业能力。他努力践行的是后一种，这也是为什么同一个实验室既在机器学习会议上发表论文，也在生物学期刊上发表论文。

第一篇论文，标题为《Mechanistic Design and Scaling of Hybrid Architectures》，几乎是纯粹的机器学习，主要由 Michael Poli 推动。Transformer 和注意力机制多年来一直占据主导；如今，状态空间模型也表现得相当出色。问题在于如何重新组合这些基本单元。Poli 早期的代码甚至叫作“Zoology”之类的名字。Hie 借用了一个生物学的类比：化石记录显示，长期停滞之后会突然爆发出多样化，寒武纪大爆发就是最典型的例子。他认为，架构设计正处于这样一次爆发之中，而评估的步伐没有跟上。新论文往往会带来各自不受控的测试集。MAD 想把测试框架规范化：控制 FLOPs 的对比、一套共享的基本单元，以及 Labenz 喜欢称为微技能的任务，其中包括上下文内回忆（in-context recall）、模糊回忆、带噪回忆、选择性复制、压缩和记忆。

有两点结果最为重要。第一，混合层胜过纯粹的堆叠：全部使用注意力，或全部使用状态空间，都不如混合结构；实践中，每隔 8 到 10 层放一层注意力，再结合 Mamba 或 Hyena，看起来效果很强。Evo 本身在 32 层中只用了 3 层注意力，大约十分之一。第二，小模型在那些微技能任务上的得分，能预测大得多的规模下架构的表现，跨度可达许多个数量级。完整的 Chinchilla 式规模扫描对学术实验室来说太贵了。用廉价的代理指标去预测昂贵的读数，这正是药物研发成为可能的同一思路：先是培养皿，然后是小鼠，再是为期十年的试验，每一层都应当能预测下一层。MAD 想为架构搭建的，正是这样一级级的阶梯。

Labenz 想知道，来自 Ziming Liu 和 Max Tegmark 团队的 Kolmogorov-Arnold Networks 会不会成为下一版 MAD 里的新基本单元；他还想知道，ARC-AGI 加上 Stephen Wolfram 近期用元胞自动机对机器学习的重写，是否指向了缺失的逻辑算子。Hie 自己的看法是，语言模型已经能做推理，只是做得不好；几年前从“完全没有”到“有一些”，就有理由期待它们会变得更好。Hie 不愿多作推测。一种架构改动能否在规模化后存活，是个经验问题，而他喜欢这个时代的机器学习坚持用基准测试说话，而不是讲故事。即使一个新的堆叠只是在困惑度（perplexity）上追平了旧方法，但能在学术用的 GPU 上运行，或者提升模型算力利用率（MFU），也是有价值的。

论文里还有一个细节：在算力预算既定的情况下，把算力投入数据而非参数更有帮助，这和 Llama 3 相对于 Chinchilla 最优 Token 数量所表现出的过度训练趋势一致。Hie 的直觉与叠加（superposition）有关。模型的容量比参数数量所显示的要大，因为同一个神经元可以参与许多概念，而塞满了 Token 的小模型，在推理时更便宜。最后这一点不只是学术上的审美。他们为生物学构建模型时会算这笔账：生物学家想要真正运行这个东西，一个万亿参数甚至 1000 亿参数的模型发布，会闲置着没人用，而 7B 对于生物学界的大部分人来说已经很大了。过度训练一个较小的模型，是让算力充足的人去消耗 FLOPs，好让算力匮乏的人真正用上结果的办法。

Evo 的论文标题为《Sequence modeling and design from molecular to genome scale with Evo》，它采用 StripedHyena 混合架构：以状态空间为主，点缀少量注意力，长上下文因状态空间层而变得负担得起，并且完全只用 DNA 训练。Labenz 的解读是，它回应了一种标准的怀疑。起初人们说语言模型只是只会预测下一个 token 的鹦鹉，这一点基本已经盖棺定论。下一个托辞是：它们学到的任何概念，都是从我们那里学来的，因为是我们把它们写下来的。可 Evo 并没有拿到那些文字。如果它具备高阶的生物学概念，那就是从原始序列中学来的。

Hie 此前没有这样来描述，他很喜欢这个角度。生物学 101 讲的是先天与后天；Evo 并没有显式地建模环境。但环境仍然会在 DNA 的分布上留下印记，就像世界会在互联网文本上留下印记一样。测序便宜、通量高，几乎与每个实验都相关，而 DNA 是最根本的遗传载体，在微生物中尤其如此。另一个优势很直接：生物学上人类的水平本来就很差，超越它并不难；而自然界产生的东西远远超出人类的想象，从深海热泉到我们自身细胞里至今未知的通路都是如此。目标是让模型以相当无偏的方式，跨越生命的多样性，从一个名为进化的数据生成过程中学习高阶概念。仍然困难的是，如何把这些概念提取出来，并把它们转化为发现。

基因必需性实验是有用性的具体证明。有些基因一旦被移除，生物体就会死亡；另一些基因则可以删掉，生物体看上去一切正常。这张图谱对基础生物学和药物研发都很重要：你不会拿一个非必需基因去作抗生素靶点。Evo 的上下文窗口是 131 千碱基，足以容纳一些完整的噬菌体基因组。对每个基因，团队都会在靠近起始位置处插入三个碱基的提前终止信号，这会阻止翻译，然后分别在有插入和无插入的情况下，为完整序列的似然打分。在非必需基因中，似然几乎不动，仿佛模型在说这个突变无关紧要；在必需基因中，它会急剧下降。这些似然变化能预测模型从未见过的敲除实验数据库。在基因周围加入基因组上下文，会让判断更准，说明模型用到的不只是孤立的基因。对某一种噬菌体而言，对每个基因做一次 CRISPR 敲除，与用 Evo 做少量前向计算，得出的必需性图谱基本一致。

Labenz 马上勾勒出一个广谱抗生素的思路：对各种致病细菌运行这套流程，收集那些始终必需的基因，然后拿到湿实验室里去验证。Hie 同意这是一种应用。他把 Evo 看作一种加强版的保守性评分，一个覆盖数万个细菌基因组和数百万个噬菌体基因组的密度模型，它知道哪些基因是进化不允许你去触碰的。“鹦鹉”式的质疑依然来自生物学家：也许它只是在记忆共现关系。他的实验室正在做的检验，关注的是那些序列上并不保守、功能上却保守的区域，尤其是细菌的免疫系统：它们会不断分化，使病毒无法锁定。如果模型能生成在自然界或训练集中都找不到、却依然具有免疫功能的基因，那它掌握的就是概念，而不只是字符串。数据看上去很有希望；他说，公开的敲低（knockdown）证据目前还没有，标准应当保持在高位。

可解释性是另一条提取路径。Labenz 设想，在一个用数万亿 Token 训练的未来版 Evo 上使用稀疏自编码器（sparse autoencoders）。Hie 希望做这件事有三个原因：证明模型学到了更高层的概念；免费获得分类器，只需读取某个概念神经元，而不必微调；以及样本高效的发现。已知的 CRISPR-Cas 系统大约只有几个到 20 个左右。如果你能找到一个基因编辑神经元，把它的激活拉到很高，再从输出中挖掘，也许能找出自然界还没有展示给我们的系统。这篇论文已经与这一希望相接近。另一个重磅发现是，Evo 能够生成 CRISPR 变体。

为什么要更多的 CRISPR？Hie 半开玩笑的回答是专利：有些专利文件会圈定一个序列一致性为 80% 的范围，而生成式模型可以让你跳出这个范围。严肃的回答是，CRISPR 被用于非常不自然的环境，包括人类细胞，在那里，偶然出现在自然界中的变体，或者模型生成的变体，可能比经典版本效果更好。过去的方法是去热泉和下水道里采集更多细菌样本。对生成式模型进行采样，则是一种无需外出采集就能获得多样性的办法。瓶颈是通量，而不是想象力。他的实验室认真测试的规模，在合理的时间和资金下大约是 10 到 15 个 CRISPR 系统。一个人类专家为了绕过专利而突变 400 个氨基酸，成功率低得惊人；而生成式模型可能让 10% 到 20% 的设计行得通。在生物机器学习中，这被称为低 n 设计（low-n design）：测十件事，有一两件成功，相对于暴力筛选，你已经赢了。实验室仍然是最后的检验，因为模型会产生幻觉。

在安全方面，他们把感染真核生物的病毒完全排除在训练数据之外。这是一项重大的省略，但 Hie 认为在现阶段是审慎的做法。他说，未来的版本应当在常见病毒和毒素上设置评估；如果模型过于理解这些序列，后训练就应该让它在这方面表现很差。Labenz 把双重用途的担忧摆上桌面：制药的生成器和武器的生成器可能是同一个东西。Hie 的回应是，把生物学搞糟比修复它要容易得多。一个有动机的国家行为体，即使没有生成式 AI 也能造出生物武器；现在他不会用生成式模型来做这件事。我们目前做不好的，是设计治愈方法和疫苗，让系统回归稳态、降低熵。用公交车撞一个生物体，它就会死；核辐射会引发癌症。造成伤害的门槛早已被跨过。修复的门槛依然很高，而他认为能力的跃升就在这里，前提是护栏始终就位。

第三篇论文《Unsupervised evolution of protein and antibody complexes with a structure-informed language model》完成了三部曲，它锁定了一个已知靶点。模型是 ESM-IF1，一个编码器–解码器结构，Labenz 把它比作机器翻译：编码器读取三维骨架坐标，解码器预测与该骨架相容的氨基酸种类。它只在单链上训练，甚至不是大型多结构域蛋白，主要是小型球状结构域。Labenz 想知道，把它用在复合物上，究竟是个麻烦还是个意外之喜。Hie 说，这有些出乎意料，是一种涌现的性质。

这套方法简单得近乎粗暴。他们把多链复合物当作一个巨大的蛋白质来处理，它的坐标存在很大的不连续性，然后把整个东西一起输入。模型似乎仍然知道哪些突变能稳定或削弱复合物，在实践中就意味着提高或降低各部分之间的结合亲和力。抗体有重链和轻链，通常会结合一条或多条链组成的抗原，因此结构中至少有三条链。他们把抗体与抗原结合状态下的全部骨架坐标交给模型，询问哪些抗体一侧的突变能稳定这种构象，结果其中许多突变确实提高了亲和力。这正是分子开发循环中的一个环节：你手里有一个来自患者或抗体文库、结合较弱的抗体，希望它变得强上十倍甚至一百倍。

打分的循环不重新训练任何东西。抗原序列保持固定。在每个抗体位置上，他们枚举所有单个氨基酸的改变，即 20 种可能性乘以序列长度，然后根据整个复合物的似然相对于野生型的变化来排序。第一轮，逐个测试排名前 20 或 30 的单点突变体。第二轮，取那些真正改善结合的 5 或 6 个，用同一个冻结的模型给它们的组合打分，挑出最好的一个。读数是一个浓度：一半分子处于结合状态、另一半解离时的平衡浓度。25 倍的提升意味着，要达到同样的结合与未结合平衡，你只需要原来 1/25 的抗体量，这可以转化为剂量。Hie 还提到，视复合物不同，有些提升达到了 100 倍左右。Labenz 指出，这是一种比他原先意识到的更为惊人的分布外泛化。

时间快到了，Labenz 又提出两个问题，让 Hie 两个都回答。第一个是在目标也在演化的世界里的过拟合问题。把抗体拟合得太紧，另一侧的一点小变化就可能让它失效。Hie 说，这正是他想走的方向。治疗性设计通常假设靶点是固定的。在病毒性疾病、细菌感染和癌症中，靶点是移动的，会不断在治疗周围演化。花费 20 亿美元研发一种药物，给药，六个月后就出现耐药。树搜索、强化学习策略，或是开场时那些基础的因果问题中更根本的方法，看起来都是尚待探索的算法空间。固定靶点的设计已经走了很远，而移动靶点的设计还没有。

第二个问题与 ARC Institute 有关，它一再被提起，包括最近宣布的一个 CRISPR 后继项目。Hie 在访谈期间正身在现场。他当教授只有 8 个月，并不认为如果没有 ARC 的支持和人才密度，这项工作能推进得这么快。最让他印象深刻的是同事之间的融洽：研究员们很友好，他与其他研究员都有某种形式的持续合作。他笑着说，ARC 资助了他的一部分科研，所以这番夸奖严格来说是有赞助的，但这并不是广告。Labenz 收尾说，如果他们能治好癌症，就配得上这份名声。Hie 的结束语与前面的安全论述相呼应：造成伤害的技术门槛很久以前就已经跨过，修复的门槛依然是值得去抬高的那一个。