AI 任务的合适大小，就是你能检查得了的那么大

Nathan Labenz 是这家公司的小额投资人，也是结构化文献综述的重度用户，他欢迎 Elicit 的联合创始人 Andreas Stuhlmüller 和 Jungwon Byun 再次做客。自上次露面以来的一年里，产品密集推出，他们筹到了 900 万美元的种子轮融资，订阅在四个月内让 ARR 达到 100 万美元。最新的发布是 Notebooks。Jungwon 说，这是他们为此尝试了四次的重新构想，绝不只是锦上添花。底层的愿景没有变：规模化地把 AI 用于复杂推理，无论是气候问题、慢性疲劳，还是机构决策。

她指出了实际研究中的两个失败之处。大多数领域的论文数量都呈指数级增长；一个科学家几乎只能勉强跟上当年的产出，更别提历史上堆积的那些文献。她感觉自己被那些永远没法用她想要的严谨程度去读的论文淹没了。第二个失败在于流程。人们从 Google Scholar 开始，打开一个标签页，顺着引文一路点下去，八小时之后却记不起最初的问题是什么。在有几个大洲办公室的跨国工业实验室里，要确认公司自己是否已经做过某项工作，往往意味着要去找一个碰巧认识十年前在那里待过的人。

Elicit 对替代方案的三个关键词是：系统化、透明和无界。“系统化”意味着让研究者坐到元认知的位置上：先写下一篇好论文是什么样子、什么样的结果才算相关、这个项目的成功标准是什么，然后把这些标准应用到每一篇相关论文上，而不是只应用于某个人今晚能读完的那些。透明意味着默认留下一份日志，记录起始论文、过滤条件、筛选步骤、后续查询，以及最终集合是怎样得出的，并且可以分享和审计。无界则是对 PDF 的一次冲击。已发表的文件是静态的，而且很快就会过时；没人能复现它，也没人能在其中延伸，或者只改动一个假设就重跑一遍。Notebooks 的设计初衷，就是做一份活文档，你可以不断为它添加步骤。

Labenz 讲了自己的工作循环。先提出一个研究问题，得到一个论文沙盒，然后添加列：样本量、零假设是否被推翻，或者自定义的列。他在研究课程学习（curriculum learning）时，要求每篇论文列出所用的最大模型，只保留那些大模型，理由是它们的表现可能不同，然后把这个子集拉进一张更深入的表格。把一个私下的筛选条件变成一列明确的数据，是大多数人会跳过的一步。Jungwon 补充说，之后的研究者应该能拿起这个 notebook，决定他们还关心小模型或另一种架构，然后接着做，而不必从头去找文献语料。从一列到另一列的叠加效果，已经在原型里跑通，并且排在了每周的发布队列里。

Labenz 想听听可靠性方面的细节。任务拆解在文献中确实能提升表现，但做产品的人是在帕累托前沿（Pareto frontier）上过日子：一个超级提示词就像一场抽奖，而拆得太细又会让 token 数量暴增，把上下文切得支离破碎，还会拖慢产品速度。Stuhlmüller 从 GPT-2 时代就开始做拆解了，那时即便是“这条论断是否蕴含另一条论断”这样的判断，也很难。那时的问题是模型能够可靠完成的最大一块是多大。现在，他说，问题变成了什么东西容易监督：这些块要多大或多小，才能让人或另一个模型检查出工作是否正确。

长上下文并不能让这个问题消失。在一个百万 token 的上下文窗口里，检索到的好答案很容易验证；但一次漏检却不容易发现，除非你把这一百万 token 再读一遍。如果由模型来监督模型，同样的逻辑依然适用：你仍然希望监督问题是容易的。他们举的例子是一篇关于 Elicit 摘要的“分解式验证”的论文。摘要的生成本身没有拆开，拆开的是验证环节：把摘要拆成彼此独立的论断，然后问每一条论断，上下文是否清楚地支撑它。那张找错清单里还包括一些微妙的失误，比如把论文的发现稍微夸大一点，或者因为读起来更顺，就让一句话暗示两个彼此独立的结果有关联。

他拿软件来做类比。你写模块化的代码，好让未来的自己和其他人能看懂、能检查。人类早就为此使用清晰的接口。他说，最重要的拆解原则也是一样的：设计接口，让工作易于检查。可监督性排在第一位，token 成本只是次要变量。他们对运行时的检查模型很感兴趣，因为 Elicit 的一个核心准则，就是帮助用户把额外的预算变成更准确的答案；但到目前为止，验证工作主要产出的是训练数据，用来训练一个经过蒸馏、幻觉更少的模型，实时会话里并没有再跑一遍。

在 Labenz 自己的视频公司 Waymark，经过微调的 GPT-3.5 迭代速度开始超过团队的直觉。结构化评测（evals）就此变得必不可少。硬性禁令（他称之为“十诫”）可以交给模型去执行；但整体质量分数仍然需要有人看着视频来判断。Jungwon 说，Elicit 的经验与此相似：定义任务是大部分的战斗。他们的核心用户是写系统综述的严肃研究者。团队最近在做搜索时，理想目标很简单：看一篇已发表的综述，取出它实际引用的论文，然后问 Elicit 能否找到的正是这些论文，别找到的只是粗看起来相关的附近论文。衡量指标用的是 NDCG 这类常规的搜索工具。真正需要下功夫的，是理解用户的问题。

一旦把“好”编码成规则：不能有哪怕是很细微的幻觉，不能夸大，也不能暗示两个无关发现之间有联系，摘要就可以更多地依赖模型。提取则用自动评测，对照领域专家亲自审过的人工金标准。Jungwon 的原则是，优先使用那些本来就存在的金标准，因为它们是有人为了拿到最好答案而做出来的，与为测试 AI 而建的数据集不同。甚至有用户提交过“正确”的标注，结果 Elicit 又找出了错误。她说，在预先定义好的提取列上做并排测试，Elicit 始终超过了受过训练的研究员。在这一块上，她愿意说这个产品今天已经超越了人类。

Labenz 今年一直在学同一个教训：很多领域在 AI 出现之前从未测过人类的表现，人们却以为人类的基线很优秀，而实际上它往往并不优秀。在幻觉问题上，他们的标准很严。Stuhlmüller 记不清节目里的确切数字，但量级大概是：最大的模型每篇摘要约有 1.5 个幻觉，降到约 0.5 个，这里还包括轻微夸大和轻微不准确。产品中的细粒度评测也促使用户做细粒度的评估。“与 Nathan 相关的论文”是一个含糊的任务；“这篇论文里用的最大的模型是什么？”则是一个可以打分的任务。

Stuhlmüller 说，原则始终是让人用上能得到的最好模型，这意味着不要绑定在某一个算力供应商上。来自不同厂商的组合，往往比任何单一模型都更强。录制节目时，他们的技术栈包括微调过的 Flan-T5、微调过的 GPT-3.5、GPT-4、用于表格的 GPT-4V，以及仍在开发中的 Claude 3。下次聊的时候，他预计这份清单会不一样。能够快速换模型，这才是真正要练的能力。他们做机器学习，并不是为了机器学习本身；他们做的是部署那些能给出最准确、最有用答案的系统。如果现成模型加上恰当的提示词就能做到，那样反而更好，因为可以更快地交付。

一篇博客文章称每周都会有新功能；平均下来每 1.4 周一次，较大的发布则会有所延误。Labenz 想知道，当轻微的幻觉也算缺陷的可靠性门槛摆在那里时，这种节奏是如何维持的。Jungwon 说，他们会错开节奏。对准确性要求很高的功能，会在研究阶段待很久，然后分散到几周里陆续上线，同时穿插基础设施工作和纯产品工作。Stuhlmüller 补充了一个更紧迫的快速交付理由：如果你想站在准确性的前沿，每周都会有新模型出来，而迟缓的产品就不可能像它本可以的那样准确。拆解也有助于发布。上线一个新的预定义列，比如“所用的统计技术”，要比在所有科学论文上微调模型再评测容易得多。

过去一年变化最大的能力门槛，是表格。P 值、一个假设是否被推翻，这些答案往往只存在于论文的表格里。在多模态模型出现之前，这个问题基本上无解；即便是现在，也需要大量解析工程才能让它足够快。第二个门槛是一步或两步推理的问题。Epoch 追踪 AI 领域的算力、参数和数据集规模，它很少能找到一篇写着“我们用了这么多 FLOPs”的论文。它找到的往往是“我们在这块 GPU 上训练这个架构跑了两天”，然后需要有人去推理。随着模型越来越聪明，Elicit 能处理那些离字面文本还差一两步的问题。

Elicit 几乎对每个问题都使用思维链（chain of thought）。CSV 导出甚至包括附带推理过程的额外列，Stuhlmüller 建议读一读，往往很有启发。Transformer 每个 token 消耗的算力是固定的。有些问题无论怎样微调，都无法不经过额外步骤就回答，任意的算术就是一个干净的例子；而暂停 token 等其他架构上的改动，仍然处于研究阶段。对于 Epoch 式的问题，他会添加构成要素列（架构、硬件、时长），只问最终的 FLOPs 数字则远远不够，因为推理过程仍然可能需要人来看。

Labenz 觉得关于思维链的文献很让人困惑：当旧的提示词直接跳到答案时，思维链在 Big-Bench 和心智理论任务上会有帮助；但反事实研究有时显示，最终答案几乎并不依赖推理链。Stuhlmüller 的回答是，没有人，包括他自己，真正理解模型内部在发生什么；任何声称确切知道思维链如何起作用的人，大概都说错了。他能说的是一些战术层面的东西。人们仍然在写那种显而易见的糟糕提示词：模型先说是或否，再给出理由。这很糟糕，因为模型必须在没有推理的情况下作答，然后把自己锁死在一条可能错误的路上。Labenz 记得 Bard 首次发布时就是这样做的，并为一家顶尖研究实验室竟然会在这一步“丢掉东西”感到震惊。

Jungwon 给出的实用解决办法是留一条退路。允许模型说“我不知道，原因是……”，或者说“文中没有提到；这是我们查过的地方，以及我们原本预期会看到它的地方”。在他们的很多场景里，答案就是根本不在那段文本里。强迫给出答案，正是幻觉的来源；优雅地说没找到，对用户仍然有用。Stuhlmüller 把它带回到界面设计上。一个界面要求只能答是或否；另一个界面则返回有两个分支的数据：要么包含答案，要么不包含，并且两种情况下都给出不同但有帮助的输出。决定模型是否有用的，不只是你怎样训练它，还有你怎样部署它。他也希望模型能说“等等，我其实是想说否定”，且不必事后再补一套理由。

他们发现，数据集的规模与 Labenz 在 Waymark 的经验相似：几百到几千个样本，通常就足够微调了。更大的数据集对评测的意义更大。他们曾用一个类似 Constitutional AI 的偏好模型，在两篇摘要之间挑出更好的那篇；这套规定摘要应当准确、简洁的“宪法”，同样只用了几百到一千条人工判断。技术栈是先做监督式指令微调，有时在其后再加一层 RLAIF。理想情况下根本不需要微调，这样随着新基础模型出现，他们就能更快地部署。

Labenz 转述了 Epoch 的 Tamay Besiroglu 提出的一个问题：脚手架（scaffolding）的规模定律（scaling law）会是什么样子？在 Elicit 的技术栈里，微调和外围结构看起来像是替代关系，而在其他一些地方可能是互补的。Stuhlmüller 把思维链视为最基础的脚手架——人们在禁止它的时候，就低估了 GPT-4——然后他提到，辩论（debate）和放大（amplification）是两种在 GPT-3 时代效果不佳、现在却更好的脚手架。这个格局的样子，并没有被很好地理解。与此同时，还有人把规划框架硬塞进模型上，而这些模型在一年前几乎还不会用工具。一次模型能力的突然跃升，可能会让许多半成品的智能体突然开始工作，哪怕 Elicit 自己的结构化产品，从一个版本到下一个版本看上去并不会有质的不同。

Jungwon 说，Elicit 试图不只为当下而构建。产品最重要的时刻，将接近 AGI 的时候：那时人们需要这些系统来做有重大影响的决策。在内部，他们谈论一种“exascale 引擎”。今天的用户在几十到几百篇论文上运行模型。目标是在几万到几十万篇论文上进行推理，由模型监督模型，但不把所有东西都塞进一个权重不透明的巨大黑箱里。Stuhlmüller 用社会层面的语言来描述这个分岔口：我们想要如何把算力变成更多的工作？一个答案是不断训练更大的模型，寄望它们能行，也许再加一点可解释性。他们正在努力的是另一条路：更多的算力会带来更好、更正确的答案，只要基础设施能建成，而且是通过更透明的架构来实现。

以“2020 年以后关于肌酸与认知的随机对照试验”这个查询为例。系统先把这个自然语言问题解析成一个搜索意图加上过滤条件，然后交给一个混合了语义检索和词法检索的引擎，以类似 API 的调用方式执行。返回大约五百篇最有力的候选论文。接下来是一连串越来越昂贵的重排序器：MonoT5、交叉编码器（cross-encoder），以及关于新近程度和引用次数的启发式规则。即便到了生成摘要的阶段，模型仍然可能丢掉一篇不相关的论文。整个流程必须在用户盯着浏览器标签页的时候完成。

Stuhlmüller 认为，速度限制对于真正重要的用户来说，是错误的瓶颈。人们做一次系统综述要花九个月。他们愿意等上一个小时，花大约 100 美元，换取一个好得多的检索结果。今天他们做不到，因为 Elicit 与浏览器会话绑定在一起：关掉标签页，工作就结束了。他们正在构建的基础设施，把执行和会话解耦：告诉它多花些算力，然后合上笔记本，回来时只看到一个进度条，就像把工作外包给了一位人类研究助理。Labenz 一直在应用生态里为这件事摇旗呼吁。速度和成本被高估了；高价值案例上的成功则不能被低估。

Labenz 把安全问题直截了当地摆了出来。一个帮助别人构想新型流行病病原体的语言模型，是个标准的担忧；Elicit 可能是最能提供帮助的工具，因为关键论文很可能已经在语料库里了。Stuhlmüller 把长期安全与误用区分开来。误用在目前的规模下还不是大问题，但随着模型承担更多工作，它会变得重要。边界情况，比如防御流行病与制造流行病，需要账户审查，或者产品上根本不提供这类功能的版本。他提到 Dan Hendrycks 等人最近的一篇关于遗忘最危险知识的论文，涉及大规模杀伤性武器代理（Weapons of Mass Destruction Proxy）基准：不应该让一个未经审核的账户能要求模型做武器，并拿到一份配方。

Jungwon 指出，分解式评估（factored evaluation）不仅能监控研究日志中的幻觉，也能监控其中的社会危害，而且用户本来就关心自己工作的影响。Labenz 会对每款新产品做红队测试。大多数应用开发者几乎不设置任何防护措施，而微调往往会抹掉基础模型原有的各种护栏。Inflection 的 Pi 是他从来没有真正越狱成功过的例外。它很擅长察觉用户是否情绪失控，比如“哎哟老兄，你听起来挺激动的”，然后把对方劝下来。察觉一个人看起来不太对劲，可能比察觉内容本身有害更容易，因为很多知识都是两用的。

Jungwon 把这视为另一种情形：让产品变得更好，本身就是防御。Elicit 原本就想知道查询背后的意图，因为意图正是返回相关论文的途径。在 99.99% 的情况下，这种能力只是带来更好的体验。在少数情况下，同样的能力也让他们能够察觉有人在试图做些可疑的事。把一个杂乱的问题扩展成结构化的问题，这种趋势 Labenz 在 Exa 和 Anthropic 的元提示词工具中也见过，既是产品改进，也是在系统开始消耗大量算力之前的一道天然关卡。

生物医学仍然是头号领域，因为它能把预算转化为准确性，而且已经在运行批量工作流，比如系统综述、荟萃分析，这些流程可以推广。用户构成已经趋于平衡。早期，生物医学加机器学习大约占了一半的用户；而工程（机械、化工、环境）和人文学科增长很快。被取代的现状，往往是一个被雇来翻阅几千篇论文的人，这种工作如此枯燥，连拿钱做这件事的人自己都不想做。团队可能会为一个项目花几千到几万美元；有些个人则会花几百美元，因为价值显而易见。可调的杠杆有三个：你考虑多少篇论文，提取是浅层的还是数据库级别的，以及对任意一篇论文你挖得多深。

对于 Labenz 自己那些比较稀少的主题，比如混合专家（mixture of experts）、课程学习，以及两者交叉处的罕见论文，Stuhlmüller 说，下一步的花销是把表格转置：行是概念，论文填充下游的单元格，这样你就能看到课程学习的各种类型，以及每种类型的证据。一个基础的“概念清单”工作流已经存在，它比默认搜索更全面，也更慢，而且他常常惊讶于它的效果有多好。与消费级应用相比，他对用户习惯养成的担心要少得多。每周发布让偶尔使用的人也能注意到这家公司；优先级仍然放在高价值的批量工作上，那里几乎没有真正的替代方案。Labenz 的一个边缘设想是“AI 有线电视套餐”，即把许多应用放在一个订阅之下；Jungwon 对此耸了耸肩，带着金融科技的味道：这取决于谁拥有客户。

她说，从非营利组织转为公司的故事，比 OpenAI 还要早。生物技术领域和大学技术转移办公室长期以来在没有商业约束的情况下做基础研究，然后另设一个载体来扩大规模。他们听取了外部意见，包括去年早些时候来自 OpenAI 和 Anthropic 的建议，聘请了非营利领域的律师，让原来的非营利组织交由一个独立董事会运营，并做了独立估值，确保非营利组织明显受益。推动这件事的是慈善捐赠者和董事会。Elicit 现在是一家公共利益公司（public benefit corporation）。使命与利益趋于一致：要在商业上成功，产品就必须准确、可信，并擅长复杂推理。所有员工都转到了公司一侧；非营利组织则只剩下董事会。

招人是瓶颈。团队只有十二个人。Stuhlmüller 最想要的是资深软件工程师：熟悉 Python 和 TypeScript，前端和后端都行，并且已经搭建模块化系统有一段时间的人，不一定要训练营出身，也不一定要有机器学习背景。这份工作要做的，是用不可靠的零件搭出可靠的系统，而团队的人才密度里已经有来自 Google、Stripe 和 Square 的人。Jungwon 想要的是做评估型界面的产品设计师、产品营销，以及一位能把离线评测与实时反馈结合起来的数据科学家。她的结尾回到了开场的那个话题：他们有改变研究方式的宏大愿景，而在这个混乱的时代里，工具要能用于高风险决策，留给他们的时间可能已经不多了。