AI 读论文已超过人类，却仍数不清原子

Nathan Labenz 已经追着 Andrew White 催了好几个月。这是 White 的第一次播客节目。他是罗切斯特大学的化学工程教授，最近则是 Future House 的联合创始人兼科学负责人。Future House 是一家由 Eric Schmidt 支持的聚焦型研究机构，致力于打造用于科学发现的半自主 AI。两人最早是在 2022 年 8 月 OpenAI 的 GPT-4 红队里认识的。Labenz 正是通过这段经历得知，White 接触这股浪潮的时间，比一般化学工程师领英主页上显示的要早。

White 受的是统计力学训练，研究对象包括气体、液体、蛋白质，以及自由度极多的量子系统模拟。2019 年，他在加州大学洛杉矶分校（UCLA）的纯粹与应用数学研究所做了一次学术休假，在那里与 Yann LeCun、来访的 Yoshua Bengio、谷歌 Accelerated Science 团队的 Pat Riley，以及已经在为小分子构建最先进能量预测器的化学家们待在同一间屋子里。随后，他又参加了一场在东京举行的材料学会议，结识了 Sergei Kalinin 和 Lee Cronin。回国后，他写了一本教材，书名是《Deep Learning for Molecules and Materials》，形式是可以直接运行的 Jupyter Book 课程笔记。

真正改变他思路的，是 Gerbrand Ceder 团队的一篇论文：用 word2vec 对材料科学文献做词嵌入，让一种材料可以表示为语言空间中的一个向量，而不必依赖人工设计的特征集。他和纽约大学的 Glen Hocky 一起，借助 OpenAI 的 Codex 来驱动 VMD。VMD 是一款分子动力学可视化工具，使用冷门的 Tcl 语言编写。团队里没人会写这些脚本，以前的做法是搜索、复制粘贴，再发邮件问朋友。他们在《Digital Discovery》上发表了一篇短篇立场论文。OpenAI 当时正在为 CBRN 安全工作寻找既懂语言模型又懂化学的人，名单很短，最后只找到了 White 和 Hocky 两人。

在红队测试中，White 让 GPT-4 说明如何合成神经毒气。步骤看起来条理清楚，也很吓人。然后他画出中间结构，逐个追踪原子，才发现这些内容全是幻觉。模型不知道如何在分子之间转移原子，只是非常会一本正经地胡扯。红队工作的头一个月，他觉得这个系统很疯狂。到了十月和十一月初，他认为这只是一次不错的渐进式改进。十一月下旬，他给模型接上工具，采用类似 LangChain 的 ReAct 循环（当时还常常是 DaVinci 模型），他的看法又变了。一旦开始调用工具，原先的安全缓解措施就失效了。把模型限制在只能使用工具的轨道上，它就能做出像样的化学工作。这条路线后来发展成了 ChemCrow。

让 White 仍然感到意外的，是剩下的错误呈现出的形态。让前沿模型推理反应规则或分子性质，总体上相当不错。但让它数电子、数原子，或者把化学计量算对，它仍然会出错。Labenz 用 GPT-4 当化学家教时也有同样的体验：两人会一起在一堆错误的几何结构里迷路。此后模型已经能算合格的家教了，但这种规律仍然存在。它们在机械性的步骤上吃力，在开放式的步骤上表现很好，这和人们预期中机器学习 STEM 的方式正好相反。

White 的预测属于顿悟效应。一旦模型能够稳定地数清原子和电子，化学就会打开局面，因为额外的推理从来都不是瓶颈。所以他对 o1 以及传闻中的后续模型持乐观态度：它们也许能让分子不再需要被限制在工具轨道上。他参与过 o1 的技术报告。这一轮红队测试更有系统性：Future House 自家的 LabBench 涵盖生物和实验室操作规程，已经在评测之列，因此团队把时间花在了更天马行空的探索性想法上。模型推进得很远，却卡在某个关键步骤上。

他们没来得及尝试多数投票式的共识（consensus）方法，也就是运行 k=32，再取多数票。在其他评测中，这种做法恰好能抹平这些小失误。他的判断是，录制时可用的模型还没达到这一步，但下一个版本应该能支持合成规划和实验方案规划。OpenAI 的报告已经显示，o1 在 ProtocolQA 上超过了人类水平，而 ProtocolQA 是 Future House 对生物实验方案的评估。乍一看，这很奇怪。生物序列很长，常常放不进上下文窗口（context window）。最先跨过门槛的，是那些周边知识，比如如何克隆、一个流程有哪些步骤。化学领域的原子计数问题仍然很棘手，化学还没有跨过去。

Future House 选择生物学的理由，和 Dario Amodei 在《Machines of Loving Grace》中的论述一致：少数几项平台型技术被反复使用。想要一种蛋白质，你可以克隆它，可以做无细胞合成，也可以用机器打印出来。这个领域里没有哪一步会让大家耸耸肩，反问“这种蛋白质能不能做出来”。化学则正好相反。每个分子都要量身定做，放大规模也从来不简单。测序几乎是免费的。合成也足够便宜，一个含一百个氨基酸的蛋白质，起点只是一张 25 美元的基因订单。假设清晰，也容易测试，而且测试成本低。

另一个理由是，学术工作永远不会有枯竭的一天。总有另一个基因组需要注释，总有另一种功能不寻常的蛋白质，还有大量宏基因组中的“暗物质”，人们连其中的遗传物质叫什么都说不出来。物理学的仪器成本高，而且本质上是还原论的：你要找的是定律。生物学已经有了它的普适定律，那就是进化论。剩下要做的，是理解复杂系统如何相互配合。Labenz 问，还可能有多少“概念暗物质”藏在那里。Michael Levin 提出的生物电组织层面接口，就是一个仍显小众的候选。White 借用 Ed Boyden 发明光遗传学的故事，给出的办法是一棵平铺树（tiling tree）：写下目标，穷举所有把信号送入组织的方式，再把想法空间切分成若干条路径。这个领域不会耗尽这些路径。

人们常说，有了晶体结构就等于认识了一个蛋白质。可接下来你还需要统计系综，然后是翻译后修饰，再然后是一条改变质子扩散到活性位点方式的水分子链。“你永远无法把生物学还原成这些卡通图。”White 说。每一层复杂性都会起作用。所以在他看来，生物学是一个靠观察和经验测量推进的领域，人们无法从某个虚拟模型推导出它。这也能打破那种 AGI 叙事：模型自己醒过来，靠思考就知道如何治好癌症。超级智能的规模化收益，可能比不上大量真正能去验证的好假设。

这个机构本身是 Sam Rodriques 的构想。Rodriques 此前已与 Convergent Research 的 Tom Kalil 和 Adam Marblestone 一起，提出过聚焦型研究机构的概念：这类非营利机构为期五年，资金在 2000 万到 5000 万美元之间，要解决一个对学术界来说太大、对产业界来说又不够赚钱的问题，例如新的模式生物、连接组技术，以及用于数学的 Lean 脚手架。Future House 保留了这种规模，却把时间跨度拉长，做成一个或许五年内也做不完的登月式项目。White 主张，应当围绕科学自动化来搭建整件事，而不是围绕一台新显微镜。他们向一直对 AI 很兴奋的 Eric Schmidt 做了推介，并有意识地建成一家以使命为导向的非营利组织：没有盈利动机，就得靠使命来决定该招什么人。网站上写的十年使命，是打造能扩大科学研究规模的半自主 AI，并把世界一流的科学专业能力开放出来。

Amodei 的十年设想中，AI 担任主要的课题负责人（PI），人类则做助手。Future House 的“半自主”是刻意降低的目标，White 对实验室机器人持悲观态度。太多生物科技和 AI 公司把“实现物理世界自动化”照单全收当作使命，最后都栽在了这上面。他很谨慎，没有说 Emerald Cloud Lab 或 Ginkgo Bioworks 失败了，因为它们确实取得了实际进展。但全面自动化是 Future House 拒绝承担的宏大挑战。他们使用的是普通的设备：机械臂、液体处理工作站和声波分液器。如果有人明天解决了实验室机器人的难题，他们会购买或签订合作。这不在使命之内。

云实验室里有一个半公开的秘密：可编程的接口背后，是机器人和人的混合体。行业里的叫法是生物机器人（biorobot），或者叫湿机器人（wet robot），指由人来完成那两分钟、不值得自动化的任务。White 并不是纯粹主义者。熄灯式自动化，即把整栋楼的灯全部关掉，系统仍在照常运转，是一个干净利落的检验标准，而几乎没有人做到。从 98% 提升到 100%，要花大量工夫，换来的通量却很少。Medra 等公司正在尝试另一条路：用能在普通实验室里四处走动、配有类人抓手的机械臂，取代定制仪器。他认为，最后这一步会在很长一段时间里保持非自动化。

“半自主”的另一半是科学循环本身。White 并不指望有一个系统，你只要下达指令，它就能在一年内探索完宏基因组并收集好数据。更可能的情况是：先有一批患者，再提出一个关于机制的问题，然后不断迭代，弄清楚哪些机制可以被生物制剂作用，哪些可以被小分子作用。原则上，数学可以每个季度派出一批定理。但生物学不会让你通过合同研究组织（CRO）的 API 订购 36 次小鼠测量。Labenz 提议搭建一套“Science Dojo”式的工具集，其中包括一项“做一次实验室实验”，但派发给的是一个人。White 很喜欢这个想法。他还想做一个从没人做过的对照实验：把药物发现和文献检索封装成约 25 个程序化工具，然后让博士生或 Mechanical Turk 上的工人，而不是语言模型，来接另一端，看看人类在“把科学当作 API 来用”这件事上到底做得怎么样。

Labenz 原先的想法是，更好的 AlphaFold 和 ESM 模型会把命中率提高 10 倍甚至 100 倍，于是现有的湿实验室通量会突然产生大得多的价值。White 还没有给这个问题下定论，但他手里有一笔账。在云端精确计算一个小分子是否能结合某种蛋白，大约要 10 到 15 美元。合成这个分子并与蛋白做测试，大约要 20 美元，视蛋白和供应商目录的情况，有时可以压到 5 美元左右。化学、生物学和计算的成本都在同步下降。你可以押注摩尔定律和更好的模型，等待未来某个拐点的到来。但目前还不能明确地说，我们已经越过了那个拐点。

把视野拉远来看，一个值得警惕的反面案例是 D.E. Shaw Research。十五到二十年前，他们把硬件工程师、程序员、化学家和生物学家都集中在纽约时代广场的一栋楼里，从原子层面开始造芯片、建数据中心，去追求毫秒量级的蛋白质折叠模拟。顺着图表往外推：到 2030 年，你能模拟一个细胞器；到 2050 年，能模拟整个细胞，每个分裂周期只需一个下午，得到一个你永远不必进湿实验室的虚拟细胞。分子动力学做不了化学反应。生物学的大量过程属于酸碱化学，比如 ATP 到 ADP，NAD+/NADH 之间的转换。反应力场，包括基于机器学习的力场，仍然处理不了质子在水中迁移属于量子效应这一点：你需要做电子密度计算，并使用玻恩–奥本海默近似（Born–Oppenheimer approximation），而没有它，生物体系的行为确实会不一样。复杂性的底层，你永远也触及不到。

AlphaFold 解决了很多问题，但仍有大段蛋白质本质上是无序的。粗粒化力场能覆盖另一部分，却会在粗粒化模型派不上用场的那一部分上出错。有时经验性的机器学习行得通，有时第一性原理方法看起来也有希望。White 说，唯一能百分之百奏效的，仍然是在实验室里测量。其他一切都是近似，作用是提高命中率，或缩短实验循环。与此同时，合成问题比化学专业的本科生想象的更接近解决：虚拟目录中有约 500 亿到 1000 亿个可合成分子，填充率达到 80%，还有 Philippe Schwaller 团队的分子 Transformer 模型，以及 IBM 和 PostEra 的商业合成规划工具。在中国或印度，一名化学家的全部成本约为每年 10 万美元，每周大约能做出 20 个分子。然后，PROTAC、分子胶降解剂和诱导接近型药物又把两三项任务塞进一个体型庞大的分子里，于是问题又回到了三十年前那种复杂程度。

这个行业的起点也变了。过去老式的表型发现会把泥土和蛙皮磨碎，找出有活性的东西，然后面对由酶催化化学带来的天然产物合成难题。如今，药物化学的大部分工作转向了石油衍生的结构单元，以及大约 75 种常规反应组成的工具箱，这正是目录能发挥作用的原因，也是一些人认为化学多样性已经丢失的原因。像 COCONUT 天然产物数据库这样的项目，试图把生成模型拉回那个更古老的化学空间；Octant 则用这些新的、更容易合成的化合物，在细胞模型上做表型筛选。至于多组学基础模型，比如 Recursion、Insitro 和 Calico 那些把药物、转录组与细胞图像汇在一起的大型矩阵，或者 Evo 之类的基因模型，White 的态度要冷淡得多。它们会在宏基因组学、转录因子和调控网络方面表现出色。但作为治病的灵丹妙药，这一脉络中每一个漂亮的想法都没能成功，从人类基因组计划一直到全基因组关联研究（GWAS）。默认的态度是怀疑。他建议听众去读 Derek Lowe 的博客。

Labenz 反驳说，机器学习在规模化到来之前，看起来也像一座 1980 年代点子的坟场。White 更深层的回应，是反馈时间。在机器学习里，你能很快得知结果，而规模本身就会筛掉那些在一百亿参数或一万亿 Token 面前失败的聪明想法。生物学的反馈周期则是每上一级都在变长：先是培养孔里的一种蛋白质，然后是细胞，再是组织，然后是一只要活到衰老的小鼠，再然后是从机制研究到二期临床之间的七年。七年之后，团队早已换了人，忘了这个项目最初为什么存在。Insitro 花了大约七年，才把第一个平台资产推进到临床。录制时，Recursion 的临床资产是买来的，不是平台自己生成的。Atomwise 有好想法，也有好人才，却仍可能因为靶点选错而失败。如果生物学里真有“苦涩的教训”（bitter lesson），我们可能要三十年后才会知道。White 更愿意资助的瓶颈则不起眼：招募第一位临床试验患者所需的时间，约 60 天。这一环节正适合用更好的试验中心招募广告来改进。如果监管机构想帮忙，它可以公开每一种已获批药物的研究性新药申请（IND）资料包。那些代价高昂的毒理、药理和药代动力学（PK）数据，已经没有竞争价值，却无缘无故地躺在 FDA 那里。

Future House 的这条脉络始于 ChemCrow：由 GPT-4 加上逆合成预测器、文献检索和代码执行组成，任务是设计一种两步合成的新染料，要求它在指定波长处吸光。智能体根据一篇论文的支撑信息拟合了一个模型，进行了检索，规划了实验流程，并在 IBM 的 RoboRXN 云实验室中运行。最终产物的吸收波长偏离目标约 15 纳米。因为机器人的时间用完了，最后一步只能由人来完成；论文里的其他例子则完全由机器人完成。White 从中得到的启发，与机器人本身无关。科学文献是一种有几百年历史的网络化知识产物，在他看来，做科学的工作中有 99% 在于弄清楚文献里有什么。PaperQA 更早出现，是在 Future House 成立之前，于哥本哈根一家下雨天的酒店里写成的。

普通的 RAG 会检索出一些文本块，然后把它们塞进最终模型。PaperQA 则是把所有可能相关的文本块都拿出来，对每一块运行一次语言模型做摘要和重排序，然后再作答。这个额外的 map-reduce 步骤之所以存在，是因为模型对干扰性上下文极为敏感。如果你问的是某个指定试验中安慰剂组的规模，却检索到了另一项试验的方法部分，系统就会彻底出错。这一步还顺带消除了很多关于文本块大小和解析方面的麻烦。经过长时间打磨，他们厘清了什么才算正确答案（这些 A/B 决策记录在一篇工程博客里），最终在文献问答、矛盾检测和维基百科风格的带引用摘要上都超过了人类。随后，WikiCrow 写出了约 18000 篇文章，覆盖人类基因组中每个基因的功能，除了 1500 到 2000 个完全没有相关论文的基因。维基百科原本只覆盖约 2500 个。这些知识的其余部分，在他们建成之前从未集中在同一个地方。

他们以每分钟 75 个问题的速度，可以把任意主张拿到 White 所说的约 2.5 亿篇论文的语料库中核对，每天扫描 arXiv 上每一篇新论文，寻找观点分歧，并且每三周就为每种疾病重写一次维基百科条目。Labenz 希望更多构建者借鉴的理念是：在质量真正达标之前，不去纠结成本和延迟。Google 把庞大的索引成本摊到每次廉价的查询上，PaperQA 则是即时处理。一次提问大约花 15 美分到 1 美元，耗时几分钟。全文检索是另一个不起眼却关键的突破口：大多数论文搜索引擎，连带大多数基准测试和竞争对手，都只能看到标题和摘要。Future House 自建了全文索引，还在 PaperQA2 的代码仓库里开源了 Postgres 或 Elasticsearch 版本，同时仍然依赖 Google Scholar 和 Semantic Scholar。考虑 75 个来源再砍到 10 个，胜过考虑 25 个再砍到 15 个。把查询扩展成几组措辞不同的关键词搜索，这是 Perplexity 的 Pro Search 背后的诀窍，它比一个巧妙的智能体提示词更重要。复杂性都藏在工具的文档字符串（docstring）里，控制流看起来还只是初稿。

论文中的图表理解也在追赶。在 Future House 的 FigQA 基准测试中，十月份的 Claude Sonnet 已经超过了人类。PaperQA2 第 6 版的做法，是把页面渲染图附在文本块上，而不是去微调（fine-tuning）PDF 解析器：文字用来检索，页面图片用来回答。White 宁可用技术含量较低的方式多花钱、多花时间，也不愿维护 Detectron 式的版面模型，因为那些模型遇到一份 1992 年的 PDF 就会失效。背后的思路转变，关键在于召回率与精确率的取舍。让模型把一张表格导出为 JSON，或者列出图表中的每一个数字，它的表现一般。问它治疗组 A 是否改善了疗效，它的表现就超过了人类水平。对于一份 10 万 Token 的文档，同样的规律也成立：“列出 50 条主要结论”的结果很乱，“第一条结论是什么，然后第二条，第三条”的问法就管用。hasanyone.com 只是内部技术栈的一个公开小切片，问的是“有没有人做过 X”。GitHub 仓库的 6400 个 star 背后，是一个刻意设计得很麻烦的安装过程，因为团队只想为程序员提供支持。来自企业的咨询确实存在，包括尽职调查、专利，以及博士们的需求。他们还没有决定，API 收入能否带来更多新发现，而那才是他们真正优化的指标。

下一步是把 PaperQA 拆成两部分。环境是不参与训练的部分，包括引用查找、论文摘要、Google Scholar 以及语料库上的关键词搜索等工具。智能体是参与训练的部分：核心模型加上记忆，负责决定是否再次搜索，或者查看谁引用了某篇论文。想训练的东西放进智能体，不训练的放进环境；两者用语言交流，环境输入观察，智能体输出动作。记忆刻意放在智能体一侧。每种记忆设计都有超参数，比如如何截断、如何压缩、之前的图片是否保留在上下文里，这些旋钮都值得去学习。环境现在已经超出了文献范围，还包括类似 ChemCrow 的化学任务、蛋白质设计和分子克隆。环境加上智能体，就叫“crow”（乌鸦），因为乌鸦既会“说话”，也会使用工具。Aviary 就是这些乌鸦的健身房，服务于一个用于科学研究的 API。

他们把智能体表示为随机计算图，这一框架借自 John Schulman 的一篇论文。这里没有递归，也没有隐藏的状态机。计算图从左到右只运行一次：智能体上一步的输出状态，连同新的观察，成为下一步的输入；输出则是新的状态和动作。这样一来，就可以做反向传播、高效执行，还能序列化，而不必费心维护程序内部的状态。如今人们部署的几乎所有智能体都是零样本的：调一调提示词，或许再改改温度。在这种情况下，框架本身无关紧要，也就用不着一套框架。Aviary 是为训练而设计的，包括在线 PPO。White 认为，DSPy 是与它最接近的同类，但它没有真正的环境，也没有强化学习（reinforcement learning）。

闭源模型仍然占据着关键节点。Sid 和 Albert（Albert 是 PyTorch RL 的第一作者，此前在 Generate 做过强化学习）用黑盒梯度估计扩展了 Schulman 的计算图。你无法对 Anthropic 或 OpenAI 的模型做反向传播，于是他们拟合了一个小型 MLP 作为局部代理：先在温度为 1 的条件下多次调用模型，估计偶然性噪声（aleatoric noise）；然后对输入做小幅扰动，观察输出如何变化；最后通过这个 MLP 做反向传播。每个输入大约要调用 25 次模型。论文中，他们展示了这种方法可以调节温度，或者提示词里的一个标点超参数。White 把它看成一次技术演示，离一个能用的优化器还有距离。上游的几个调节参数之间关联较弱，一旦知道温度 0.2 最好，剩下可挖的空间就不多了。真正有效的策略是混合 Q 学习：闭源模型生成约 8 个候选动作，为该任务训练的开源 Q 模型从中挑出一个，在做出选择之前，绝不会真正进入环境。分支因子为 2 的树搜索，并复制环境，则是他们收集稀有的正奖励轨迹、用来训练的办法。

提升幅度取决于任务的格式化程度。文献问答的题目可能是“看看这五篇论文，告诉我哪一篇不一样”，这类任务提升约 5 到 10 分。分子克隆的动作空间更窄，从大约 50 提升到 70。White 说，在 Aviary 出现之前，他们感到束手无策：只能直接换上 GPT-4o、改提示词、添加上下文示例，如果还是失败，就没法收集更多数据。训练仍然得不到一个通用智能体。在选择题形式的文献问题上调好的 Q 模型，写不出一篇文献综述。你可以写下 150 或 500 个任务，然后把这些任务做好；清单之外的任务，效果并不清楚。他也怀疑，一个庞大的测试时模型能否以 GPT-4o 的价格运行在每一项实验室任务上。更可能的模式是：由一个昂贵的模型生成作为真值的轨迹或计划，再由一个便宜的模型去执行。这和 PaperQA 那种该花的钱就花的直觉一脉相承，只不过现在用在了成千上万个耗时四分钟、成本五十美分的任务上，这些任务是人类科学家绝不会去做的，比如在某个组织中，把每一种抗体与每一种已报道的疾病逐一做组合式扫描。

被问到他在盯哪个关键指标时，White 没有先讲 Mustafa Suleyman 所主张的长期记忆，而是先谈多样性。在一个与 Aiden 相关的基准测试中，你让模型给出一百种解释，说明二战是怎么爆发的；大约四条之后，你读到的就只是换了标点的重复表述。束搜索和 top-k 采样出不了一百个假设，它们只会给出一两个穿着不同外衣的想法。这就限制了你能同时探索多少个科学想法。另一个关键指标，是机器人还能不能接触互联网。Reddit 和 Stack Overflow 曾经是训练数据的金矿，如今却对抓取充满敌意。X 关上了大门。Bluesky 已经不堪重负。开放获取的 PDF 即便许可证写明可以获取，也常常无法通过程序访问，因为反爬虫页面挡在前面。只要这笔钱能覆盖流量成本，White 就愿意为他需要抓取的每个网站付 25 美分。他并不确定，下一代 AI 系统是否还应该把“网络”当作自己的世界模型。

Future House 接下来想做的，是 Aviary 解锁的那套打法：让环境和智能体在开放式科学演示中相互作用。他们已经和外部团队就 PaperQA API 开展合作，并希望多做这类合作。他们还没有解决非营利组织的分发问题。出自艾伦研究所（Allen Institute）的 Semantic Scholar 与 Crossref 都在为如何给一项免费的知识服务找到可持续的形态而发愁；Future House 仍在摸索。成功的标准是新发现，无论这些发现来自内部团队，还是来自全球每一位借助这些工具加速检索、同行评审或克隆实验方案的科学家。他们在招募想要改变某个领域的人，也希望学术团队愿意拿自己的问题来试用这套技术栈。

Labenz 又回到访谈结束后一直在他脑中盘旋的一个问题：因为概念框架和自动化平台正在让真实实验变得更便宜，计算机模拟（in silico）模型的变革性，可能会比机器学习界这一代人预期的要小。White 最后描绘的图景，与“延迟更低的 ChatGPT”有很大区别。它是大规模分布的、高通量但相对浅层的智能，外加少数节点上一点非常昂贵的智能，再通过对数万篇论文做 map-reduce 缝合起来。这是一个与 PI 亲手做科学很不相同的分支。这也解释了为什么一个在阅读文献上已经超过人类、却仍然数不清原子的系统，可以恰好按计划推进。