他们曾用人类充当 AI 替身，如今 250,000 人在用 Elicit

Nathan Labenz 在医院的产科病房里录制节目，他和妻子 Amy 刚刚迎来了第三个孩子。自从开设《The Cognitive Revolution》以来，他一直想请的嘉宾，正是 Andreas Stuhlmüller 和 Jungwon Byun，两人是 Ought 的联合创始人。Ought 是一家以产品为导向的研究实验室，致力于构建把开放式思考委托给机器学习系统的机制。他们的旗舰产品 Elicit 是一款 AI 研究助手，首先面向文献综述：你提出一个研究问题，就会得到一张表格，里面是论文、提取的细节和摘要。Labenz 在自己生活中，用它查过医学问题；也用它解决过一个虽小却真实的麻烦：找一篇他只记得核心观点的论文。

2023 年初，他试用过市面上大多数同类工具，包括 Bing，但大多数时候都是空手而归。他说，Elicit 是少数真正能给研究工作流增加价值的工具之一，考虑到这类任务有多难，这个评价并不轻。他想让这两位嘉宾上节目，更长远的原因在于方法论。Ought 多年来一直推动以过程为核心的路线：拆解任务、训练高质量的推理步骤，而不只是给最终答案打分。这比业界其他人开始谈论过程监督（process supervision），要早上好几年。

这个赌注写进了他们大约六年前撰写的使命陈述里，而他们至今不必改写。Ought 存在的目的，是自动化并规模化开放式推理，让机器学习的未来进步，既能帮助任务，也能帮助思考与反思，而不只是帮助那些有明确短期结果的任务。Labenz 想弄清楚：既然模型如此流畅，为什么它们在最需要思考的工作上帮助最小？以及这家公司从 GPT-2 问世之前起，一直在为此做什么。

Labenz 引用了 Ought 网站上的一句话，他觉得这句话仍然被低估：机器学习在需要大量思考的事情上会不会有帮助，这一点尤其不清楚。Stuhlmüller 说，他们六年前写下这句话，今天仍然大体成立。在他看来，机器学习可以模仿一种行为，比如像人一样写文字；也可以优化一个奖励，比如围棋程序因获胜而得到奖励。他认为，AI 大幅超越人类能力的几乎每一个案例，都属于强化学习（reinforcement learning）的案例，因为只有奖励信号才会产生意料之外的创造性走法。

然而，强化学习需要定义清晰的任务和明确的目标。下围棋能赢，符合条件。帮助一个人更清晰地思考、形成更接近真相的信念，或做出更好的决定，则不符合。诱人的替代品是代理指标：输出看起来好不好，有没有说服力、令人印象深刻、显得有帮助？但这和真正稳健地有帮助，或做出真正好的决定，并不是一回事。眼下，模型仍主要处于模仿阶段，所以它们能写作、头脑风暴、写代码，而且确实有用。他说，如果目标是在思考上超越最优秀的人类，就像 AlphaGo 在围棋上超越最优秀的人类那样，那还有很多工作要做。

Labenz 问，真正的瓶颈是不是稀疏的奖励和不可靠的人类评估者。Stuhlmüller 回答，这些确实存在，但更深层的问题是任务本身没有定义。你可以问模型应该做什么决定，听它列出一堆考虑因素，然后判断听起来对不对。这个循环作为读者，能给你一些分辨率，但它本身无法产生一个在决策上比你更出色的系统。他说，最自然的范式，并不能解决在推理上超越人类、并且真正有帮助的问题。

Ought 成立时，GPT-2 还不存在，把 AGI 的时间定在 2100 年，仍被视为激进的看法。为了研究未来系统如何帮助思考，团队把人类当作 AI 的最接近替身。参与者只拿到极小的上下文窗口和狭窄的任务。Byun 说，这些细节以一种让人不太舒服的方式，推广到了真正的语言模型上。最著名的设置是接力编程：一道类似竞赛的谜题，每个人大约一分钟推进一点，然后把笔记传给下一个人，没有人需要把整个问题装进一个脑子里。

问题背后的根本是：思考到底有多可组合？你需要一个全局的心智模型吗？还是那些从不看全局的人，也能推动问题前进？坚持让参与者互相不可见，有监督上的理由。如果未来的系统能读完一整本书，而你读不完，你就无法评估它的工作。把任务拆成人类能够抽查的片段，监督就仍然可能。Stuhlmüller 宁可要这种透明性，即使每一步的效率比端到端的一跃低一些。

这些实验得出了两条硬教训，如今看来，它们像是语言模型流水线的预演。第一，错误：如果每个子任务哪怕只有 10% 的出错概率，二十步下来，失败几乎必然发生，所以你必须以快过引入错误的速度消除错误，而纠错机制本身也要由同样的一分钟小片段构成。第二，状态。在一个电影评论任务中，只能看到摘要片段的人，会被某一个论点带偏，丢掉整体的要点。上下文太小了，又没有人能聪明地把状态传下去。Byun 说，同样的缺口仍然存在：每次调用语言模型，依然都是从零开始。

Ought 的产品理念是构造式可解释性：让模型遵循人类能够理解的流程，而不是为了最终指标去优化一堆不透明的浮点数。Stuhlmüller 把普通的机器学习和普通的编程做了对比：前者是把每个矩阵里的数字调到让最终分数上升，并且不管内部各部分意味着什么；后者则要求函数拥有彼此独立的含义，脱离上下文也能评估。否则，你得到的就是“意大利面条式代码”。显而易见的反对意见是苦涩的教训（bitter lesson）：端到端的规模化会胜出，手工拆解任务不会有出路。他的回答是，语言模型本身可以帮助拆解，因此这个过程不必一直手工完成。即便端到端原则上更强大，他们仍认为透明性值得大力推动。

Byun 对事后可解释性划了一条更尖锐的界线。问模型为什么这样回答，它会合理化，编造可能与计算过程并不吻合的理由。构造式可解释性则是事先就让系统在人类可读的流程上训练，所以你检查的步骤，就是它真正运行过的步骤。在 Elicit 里，这体现为一份可信度清单：样本量、资金冲突、控制了哪些变量，并且会对每篇论文自动运行。诱人的做法，是把这些字段压缩成一个由引用数和期刊声望算出来的分数。他们拒绝这么做，因为分数容易被操纵，而清单能保留细节。如果以后他们加上分数，它也会建立在清单之上，而用户始终可以把它展开回清单。

Labenz 自己使用这款产品的感受，没那么宏大，却更能说明问题。他不会让 Elicit 当他的医生，这和他对 GPT-4 的免责声明一样；但他会把它当作第二意见。他还用它找回过一些论文，那些论文他只记得一个十到十二个词的概念片段。他说，这种检索技巧，已经让 Elicit 领先于他试过的几乎所有竞争对手。清单和表格，并不是某种巧妙生成的演示。它们是一种押注：只有研究者能看清一篇论文为什么值得那样的权重，他们才会根据证据更新判断。

他琢磨 32,000 Token 的上下文窗口与思维链，是不是正在收敛到同一个思路：在一个提示词里把步骤写清楚，然后给推理轨迹打分。Stuhlmüller 承认有部分收敛，然后指出一个结果：用字面上的省略号替代写出的步骤，答案仍然会变好，因为潜在计算是在那些 token 里发生的。你想要的，是写出的推理在因果上对最终答案负责。这对今天低风险的用途或许无关紧要；但如果模型要决定是否投资，或者雇用谁，它就很重要。Byun 的对比很直观：一份关于长新冠的单页纸，与一份列出了所检索的数据库、阅读的论文、排序维度、可信度检查和对比数据的单页纸。前者你只能怀疑，后者你可以审计。

组合式流水线的额外因果性从哪里来？Stuhlmüller 说，它不来自为每一步换一个模型，同一个模型就能运行每个子任务。它来自信息的删减。一个只被问“某个网页是否回答了问题”的工作者，不会被告知这个结果关系到一项用药决定，因此它无法为了迎合更大的故事而倾斜相关性的判断。把所有东西塞进一个提示词里，影响就会纠缠不清，你再也无法说清是哪一个事实驱动了哪一个判断。Labenz 之前主要在想长而连贯的上下文的好处，他接受了这一点：一旦前面线性流中的论文，能渗入下一次的提取，你就不再知道答案依赖于什么。

任务大小遵循一条简单的规则，它与 Eric Drexler 的综合 AI 服务（Comprehensive AI Services）构想相近，但颗粒度更小。据 Stuhlmüller 对 Drexler 的理解，Drexler 能接受相当大的服务，其内部仍可端到端地优化；Ought 则想要更小、可独立检查的组件，Drexler 后来的开放代理模型（Open Agency Model）也朝这个方向走。原则是：让任务尽可能大，只要人类（可以借助 AI 辅助）仍能稳健地评估它，就不要越过这条线。评估比人们想象的更嘈杂。Labenz 引用了 GPT-4 技术报告：对 GPT-3.5 的盲测胜率只有大约 70 比 30，而不是 99 比 1。

组合结构让 Elicit 的检查变得廉价。系统先找到相关段落，再从这些段落作答，并把答案链接回原文，所以审阅者只需检查一个论断加几句原文，而不必重读整篇论文。检索是一连串对理想方案的近似；Stuhlmüller 把理想方案描述为：对有史以来写下的每一篇论文，逐段运行最昂贵的模型。实际做法是：先用向量嵌入（embeddings）对大约一千个候选做廉价筛选，他称之为缓存的语言模型计算；再用交叉编码器（cross-encoder）重新排序；最后只把昂贵的模型用在少数几份文档上。这里没有干净的最优解，只有预算。

这套架构也是他们对副驾式工具（copilot）与助手（assistant）之争的回答。副驾必须快，而速度会限制它能做的思考；Stuhlmüller 会很惊讶，如果人们关心的所有任务都能装进这个框子里。Byun 作为用户发言，几乎没有耐心听“我是一个乐于助人的助手”这类开场白，也没有耐心反复修改一稿平庸的草稿，她想要的是直接交出最好的答案。Labenz 补充说，即使是完全自动化的终局，也受益于数百万用户标出模型在哪里出错，他听 Kirthana 讲过类似的谷歌机器人工作：机器人会请求帮助，远程操作员的操纵杆轨迹就成了训练数据。Ought 的短期押注仍然是：研究人类究竟在做什么，把它拆解开来，并用这些步骤训练模型，使有用性从设计之初就被嵌入，而不是寄希望于它自然出现。

Byun 描绘了一个三阶段路线图，并明确表示，文献综述只是起跑点，而非永远的产品。第一阶段，发现已知：把困在 PDF 和书籍里的信息释放出来，变成可以查询的表格；新的“实体清单”（List of Entities）工作流随后会提取跨论文的概念，包括数据集、基准、药物效果、干预措施、开放的研究方向，并且每一项都链接到来源。第二阶段，发现未知：找出空白和关键分歧，帮助研究者设计实验，其技术押注是因果建模，主要是向深处而非向广处挖掘。第三阶段，在不可知面前做决定：把用户从研究的生产者转为决策者，用模型把那些没有标准答案的问题中的价值观和无法解决的假设浮现出来。

他们服务的对象取决于任务，而不是大楼上的标志。约 60% 的用户是学术研究者；其余包括智库、政府、金融、咨询、临床医生和小企业主，一些生物医学系统综述团队也已把 Elicit 纳入正式流程。一位可口可乐的研究者在研究如何减糖，这属于它的用途；但在企业内部文档上构建搜索引擎，则不属于。工作流的设计是逐步开放的：从预设，到可编辑的参数，到可编辑的步骤，再到用户自建的流水线。一些研究者已经把隐藏的 Tasks 页面拼进了自制循环。Labenz 对此的一句话概括是：给推理用的 Zapier。

Stuhlmüller 并不打算培育一个没有尽头的小部件目录。可复用的部件很少：搜索、基于结果作答、摘要、排序、聚类、过滤，力量在于组合它们。他把这比作用自然语言做的函数式编程，就像 map、fold、filter 这几个算子，就能搭出一整个程序。领域特定的细节，比如一项研究是否双盲，可以来自模型，来自用户，或来自内容不同、结构相同的清单。在各个实证领域，真正能推广的问题都很直接：他们做了什么，发现了什么，又没有发现什么。如果他只能选一个魔法问题，那就是最后一个，因为局限比作者自己对所做工作的总结，更能界定一个结果的边界。

在生产环境中，他们在尝试了 OpenAI、Cohere、Galactica、GPT-J 等之后，最终选定了 Flan-T5 XXL，一个 110 亿参数的模型。在约 250,000 名用户的规模下，自托管比 API 账单划算。微调覆盖两项任务：针对具体问题的摘要，以及论文问答。训练方法借鉴了 Constitutional AI 式的循环：一个大模型依据“简洁、真实、有用”的标准评判成对的回答，然后奖励模型再来训练 Flan-T5，这项工作由他们的工程师 Charlie 领导。GPT-4 是一大步，但它仍会产生幻觉：问它 Andreas Stuhlmüller 是谁，它会编造出他根本没上过的大学。Stuhlmüller 习惯对各家实验室说：别再把模型做大，让它们少产生幻觉。Byun 补充说，模型无法很好地对思想空间进行聚类，无法承认自己卡住了；经过强化学习之后，它们又过于自信，无法用于排序，对数概率甚至也不再对外暴露。

至少有 10,000 人每周使用 Elicit 超过一次。Ought 仍是非营利组织，随着产品的增长，它已经触及慈善资金所能支撑的上限。创始人希望它能扩展到高风险决策中，并正在积极考虑设立商业实体，让组织能够自我维持。Labenz 听出一种类似 Wolfram 的风格：明确、可信的流程；Stuhlmüller 认同这种共同的品味，但区分了策略。他们宁愿拥有组合少数算子的基础设施，也不愿发布无数个小部件。

谈到 AI 安全，Byun 表示，结果的可能范围极其庞大，她不愿假装能做出预测。她真正希望的，是安全不要只在最大的实验室内部发生。消费者应该开始要求他们所使用的应用提供过程监督和透明性，从而对供给一方施加压力。在她之前任职的 Upstart，机器学习位于受到严格监管的消费信贷领域：好消息是，营销不能在没有证据的情况下作出宣称；坏消息是，监管总是落后于创新。她希望监管的节奏能跟上，也希望科技行业讲一讲监管真正保护了人们的案例。

Stuhlmüller 对人员配置的看法更冷峻。真正投入对齐研究的人相对很少，而几乎没有人研究如何利用 AI 改善集体智慧和决策，这正是 Ought 的押注。前沿实验室如今把过程监督列为其核心对齐押注之一，他认为这是个好迹象，但资金规模看起来仍与规模化模型的投入毫不相称。他的愿望清单相当务实：为组合式语言模型程序准备调试器、可视化工具和编译器。在乐观的日子里，他认为社会最终可能会限制超大规模的训练运行，而 AI 本身也能帮助我们看清这一限制应该放在哪里。Labenz 喜欢一个高标准的上限，它不会给博士生或创业公司添麻烦，却能在有人把规模推到 GPT-4 的一百倍之前，给公众打个招呼。

Byun 找到了一丝历史的好运：与 James Watt 或 Gutenberg 不同，今天的实验室负责人至少知道，他们正在释放某种巨大的东西，而且他们已经把安全视为第一天就要考虑的问题。她期望的十年图景是：像 Elicit 这样的工具开启新的研究方法；AI 为身处高风险政府岗位的人撰写与决策相关、严谨的单页备忘录。她在听朋友讲述新冠决策是在混乱的邮件讨论串里做出的之后，就希望有这样的东西。Stuhlmüller 的乐观图景是：大多数公开争论其实是对证据的分歧，而非互不相容的价值观，比如 AI 的毁灭概率到底是 90% 还是 10%，全民基本收入是否明智。如果 AI 帮助每个人看到证据的全貌，派系之争就能让位于协调合作。在一轮简短的快问快答里，他推荐了自己开源的 Emacs 插件 gpt.el；她虽然编程背景很少，却一直借助 ChatGPT 和 Deepnote 写 Python；两人都会毫不犹豫地接受 Neuralink 式的意念转文字植入物。