Mercor CEO：知识型工作的下一个岗位是写评测

主持人 Jacob Effron 在播客 Unsupervised Learning 开场就请 Brendan Foody 画一张地图：AI 评估人才的现状如何，什么有效，什么无效？Mercor 联合创始人兼首席执行官 Brendan Foody 没有绕弯子。凡是人类能通过文本评估的东西——面试记录、书面评估，甚至简历信号——模型都已接近超人水平。他说，奇怪的地方在于这种落差：这些能力几乎没有被投放到经济中。那里有一片巨大的绿地，Mercor 正试图占下来。

公司一开始并没有站在这个高度。2023 年 3 月底 GPT-4 发布时，Mercor 做出了第一版 AI 面试官原型，结果什么都做不成。模型每两三个问题就会产生一次幻觉。此后的两年是顺风期：先是模型里的知识变好了，接着推理模型让它们更擅长处理长上下文，也更懂得该抓住什么重点。多模态仍然落后。实验室过去在这方面投入较少，而针对视频做强化学习又很难。Foody 在等这一步，尤其是人类的“vibe check”——我会不会喜欢和这个人共事，这人看上去是不是真诚——即便是最好的面试官也很难判断。

他在评测中看到模型的推理链条时，常常觉得比他团队里写评测的那位研究员的思路还要合理。代码是大家都能亲眼看到效果的领域。他认为其他领域仍处在同一波腾飞的早期。Mercor 正好位于这波腾飞的交汇点上：它为顶级 AI 实验室招募专家，同时用同一套技术来评估这些专家，以及实验室正在开发的模型和智能体。

公司的起源是一个匹配问题。Foody 和联合创始人看到世界各地有才华的人得不到机会。劳动力市场是割裂的：另一个国家的候选人只能投几份简历；旧金山的公司因为靠人工匹配，只能看到极小比例的人。他们想，如果用上大语言模型，就能建立一个全球统一的劳动力市场，每个候选人都能投递，每家公司都能从中招人。之后又出现了第二波需求高峰——评估大语言模型的新型知识工作岗位，于是 Mercor 开始招募实验室需要的专家。

产品的思路很简单：先看人是怎么手工完成工作的，为这些步骤写评测，再把它们自动化。简历解析有对应的评测，简历各部分的打分有评测，提出面试问题和给面试打分也各有评测。所有这些，加上推荐人信息和其他零散的数据，都会放进模型的上下文，用来做最终预测：这个人到底会做得怎么样。现成的模型能处理基础步骤。最难的那一步，也就是最后的判断，主要靠后训练来解决：从客户数据中学习谁做得好、为什么做得好。

有些信号出乎他们的意料。模型会比人深入得多，捕捉到“vibe check”会漏掉的细节，因为人们往往心里早已有了定论。对某个领域的极度热爱（纯粹出于兴趣），会显现出来。在岗位所在国留过学，也会显现出来——Foody 说，这是沟通能力和契合度的一个参考指标。这些细小的特征因项目和客户而异。人类之所以会漏掉它们，是因为还没读完档案，就已经把它压平了。

Foody 把招聘拆成两件事：评估候选人，以及向候选人推销。他认为，评估很快就会靠语言模型做得非常好，到那时无视模型的建议会显得很愚蠢——在客户最关心的结果上，评测的差距会如此悬殊。人类在推销环节仍然扮演重要角色：告诉候选人，你会和哪些人共事，这个岗位为什么令人兴奋。实际效果是，让招聘人员和用人经理把时间花在他们真正想要的人身上，而不是去面试一大堆永远不会录用的候选人。

钻空子是一个实际问题，所有大型招聘流程都会遇到。关键词堆砌和虚假的留学经历都会出现，因此 Mercor 对信号的细节保持一定保密，并让评估保持动态——经常换题，或者对候选人背景的某一块挖得非常深。Foody 自己首次面试高管，通常只是花几分钟看看领英，再记几条笔记。换成另一种做法：先听一听对方上过的播客，读一读他的博客，过一遍他的博士论文，然后就这些内容提问。他认为，准备得越深入，作弊就越难。

可解释性依然重要，原因有两个：客户必须相信结论，团队也必须确认模型是出于正确的理由在挑选人。在他的设想里，经济的终局更像一个 API。你需要的是把工作做完，或者需要有人参与，再附上一个关于他们表现的置信区间，中间的人工环节会少得多。对推理链条的信任，是通往那个终局路上的阶段性里程碑。

工作越缺乏可比性，反馈回路就越难建立。一百个人做同一份工作，很容易排出名次；一百个创始人各自解决略有不同的问题，则会被混杂变量淹没。招聘二十名客户经理是简单的情形。给 Thiel Fellows 排名是更有趣也更难的情形，它更依赖模型底层的推理能力。很多时候，问题的大部分其实比看上去简单：数据根本没有进入上下文——比如朋友随口对某个产品的称赞，一位推荐人，还有留在某人脑子里的人际细节。Foody 的解决办法是流程，而不是什么神奇的眼镜：或许可以让 AI 对经理和团队做一次离职面谈。主持人开玩笑说，桥水其实一直就是这么做的。

被问到数据标注的格局时——Scale 看起来就要一骑绝尘，之后又来了一批新玩家——Foody 说，大多数人还没有意识到，这个市场和两年前相比有多大不同。ChatGPT 刚推出时，模型能力较弱，很容易被难倒。高中生或本科生就能在大规模众包流水线里生成补全内容和评测：几十万组 SFT 数据和 RLHF 偏好选择，也就是你在 ChatGPT 里看到的点赞和点踩。模型变强之后，这种模式就行不通了。实验室需要高质量的人直接和研究人员一起工作：这个模型为什么会失败？我们怎样制造真正能难倒它、又能反映我们想要自动化的真实工作的复杂数据？

Mercor 用来寻找优秀人才的平台，正好就处在这一转变之下。把这些人快速招进来，就能跟大型实验室一起起飞。Foody 预计这个趋势还会持续。困在大规模众包流水线里的公司，客户流失会很严重。那些明白市场正朝着数据背后的高质量人才转移的新玩家，会持续抢占份额。在后面的快问快答里，他把观点说得更直接：SFT 和那一堆老旧数据被高估了。有些公司在这上面花了数十亿，其实只需要少花一个数量级的钱。评测被低估了，尽管它已经很热——它是人类能力最后的堡垒之一。

他认为，整体的人类数据仍在增长。只要经济中还存在人类能做、而模型做不到的事，就总得有人来制作评测或环境，让模型学会这些事。数学和很大一部分代码是可以验证的，相对少量的数据就能解决。大量知识工作则是开放式的：什么样的人能成为好的创始人，没有单元测试时，怎样才算做得好？这些理解必须被注入模型，因此他预计，随着时间推移，人类数据和评测的规模会高出好几个数量级。一旦离开机器学习团队自己熟悉的领域，你就需要行内专家在场。医生帮忙编写医学评估。在 LMSYS 式的竞技场里，高中物理很容易判断；博士级的化学就不容易了，除非评判的研究人员自己也有博士学位。人才评估和模型评估，都正在变成与能让模型出丑的人之间的协作。

平台型生意很难做，因为让它们具备护城河的网络效应，也让它们很难启动。Foody 写过一份“秘密总纲”：先把当前的切入口——实验室对人类数据的巨大需求——深挖下去，直到网络效应复利增长。第二条曲线已经能看到。现有的大型科技公司客户，需要大批数据科学家或软件工程师等人类数据之外的外包人员，同样的需求出现在更传统的市场里，那里要和埃森哲、德勤竞争。全职招聘是第三步。实际上，公司从一开始就在同时做这三件事。第一年跟人类数据毫无关系，那时是为朋友和他们自己招外包人员，其中不少后来成了全职员工。每个阶段的每个客户，想要的都是同样的三件事：更多候选人、更快的招聘速度，以及对方能做好工作的把握。把这些衡量清楚、持续改善，业务就能在每个阶段都站稳脚跟。

两位联合创始人十四岁时在高中的演讲与辩论队认识。他们通过印度理工学院坎普尔分校的编程社团开始在海外招人，惊讶于这么聪明的人竟然找不到工作。朋友付给他们一笔小额费用，请他们把这些人派到项目里。他们一路拼下来，做到了年化营收百万美元的规模，在给自己发完工资后，又赚了 8 万美元利润，然后才从大学退学——这个数字让 Foody 颇为自豪，但父母仍然不满意。2023 年 8 月，一位客户凭借 Mercor 在印度的数学和编程人才，把他们介绍给了 xAI 的联合创始人，当时这些人还在特斯拉的办公室里办公。第二天，xAI 的几位创始人就开了视频会。两天后，这支仍在上大学的团队来到特斯拉办公室，见到了除马斯克以外的整个 xAI 创始团队，而那些人随后就要去和马斯克开会。“我们当时还在上学，对吧？这简直太疯狂了。”

xAI 当时还没有准备好购买人类数据，与前沿实验室的大规模合作，大约六个月后才开始。那次会面让 Foody 看到，变化正在发生，而且速度快到几乎没有人察觉。他对产品市场契合度的经验是：不要强求。去找金子，然后往深里挖。如果第一单生意就艰难重重，之后的规模化也会很艰难。找到那些最富有的公司愿意不惜代价付钱的痛点。除高管之外，Mercor 的每个岗位都用自家的产品招聘。Foody 仍然会亲自做高管的第一轮面试，但目的是推销，不是筛选。在一次战略项目负责人的招聘中，他们把现场面试前的人工案例环节换成了全程由 AI 完成的流程，结果现场面试的转化率反而提高了——用的是标准化的面试官，而不是三个标准各不相同的人。“招聘本来就是一切靠感觉。”在凭感觉的评估里，人类很容易高估自己判断正确的概率。所以要以谁真正在岗位上做得好为依据。

Foody 在高中时就在创办公司，不想上大学，但父母不同意。他还是去上了，每个学期都跟父母说自己要退学，最后确实退了，而且没有再次提前通知，在他看来，两年的预告已经足够了。两位联合创始人的父母，把融资当作退学的前提条件，哪怕公司已经有了百万美元的年化营收。主持人指出，这也是风投存在的一个原因：给父母一个可信的背书。种子轮是他们唯一一次主动去融资。A 轮和 B 轮都是投资人主动抢先投的。他们把稀释控制在 5% 左右，攒下了一笔充足的资金储备——Mercor 最近融了 1 亿美元——用于推荐奖励这类面向消费者的供给侧产品，以及更多的后训练数据，以提升对表现的预测。机器学习团队最大的瓶颈，恰恰就是公司的核心业务：创建更多评测和强化学习环境。

再过两年，标注还重要吗，还是只剩下专家中的专家？Foody 认为它依然会很大，原因与公司存在的理由相同：劳动力的配置极其低效，而押注五年后人类会做什么，这正是使命所在。他看到的一切都表明，让人类为模型做不到的事情写评测，远比让人重复去做这些工作在结构上更有效率。他认为，大量知识工作都会朝着创建评测的方向发展。这未必看起来像人坐在标注工具前干活。它可能更加动态——比如和面试官讨论如何解决一个问题。很少有人看到这一点，因为他们把它和正在缩水的 SFT 与 RLHF 预算混为一谈。

对于还在上学的人，他会建议优先追求快速学习的速度，因为在人们以为会长期难啃的领域，能力仍在不断跃升。尽量多地和模型待在一起。Mercor 人才市场上的专家说，他们喜欢整天跟模型玩，盯着系统做不到的问题，列出它缺了什么；他们宣称，这种品味让自己更清楚何时该用 AI、何时不该用，比麦肯锡的分析师做得更好。他还会选择需求富有弹性的领域。社会对软件的需求，可以放大一百倍甚至一千倍，比如更多的功能迭代、更好的排序算法；而经济对会计师的需要是有限的。一位创始人最近告诉主持人，尽管外界都在说软件工程即将消失，但他其实需要更多的工程师。Foody 说，把工程师的效率提高十倍，你大概率会雇更多的人。

他们没有去做招聘副驾驶（recruiter copilot），而是做了端到端的平台，因为他们是从第一性原理出发思考问题的：朋友们想找一个能把活干好的软件工程师，于是 Mercor 把从找到这个人、到让他真正上岗的所有环节都包揽下来。回过头看，他认为会有更多的企业朝这个方向发展。为一个将来不会以现在这种形态存在的岗位去做副驾驶，没有意义。能根据反馈回路不断学习的端到端流程，才是更好的形态。他们很幸运：在能力尚处于萌芽阶段的时候，数据标注恰好是一个真正能做成端到端的市场。全职员工按定义就是想进入别人的工资名单，而以外包为主的人类数据浪潮，恰好契合了他们原有的运营模式。

在基础模型的格局上，Foody 的观点是：OpenAI 是并且将继续是一家产品公司，而不是一家 API 公司。API 的能力会走向商品化，定价权来自与客户上下文的结合。通用 API 对多家公司来说，大概都不是好生意，很可能只有头部两家实验室能占据这个位置；而大量的定制工作发生在应用层，按行业、按客户来做。即便一家实验室全力投入去做对冲基金，他也押注它能赚到夸张的钱。他说，拿“估值虚高”的套路去给这些公司下判断，是偷懒的做法；从第一性原理出发去看知识工作的自动化，反而会让这些团队和进展看起来规模太小、依据不足。

定制模型需要精细的标注。想象一下对一家交易公司的分析做评测：哪些结论是准确的，哪些转化成了真正赚钱的交易，再加上一支顶级后训练团队，把中频研究的优化速度做到比人类交易员还快。让他惊讶的是，许多交易公司在后训练方面的水平，比人们预期的要低。地理也是原因之一——核心团队在纽约，实验室在旧金山，而且不少最优秀的研究人员更想做 AGI，而不是去赚钱。他仍然预计，与前沿实验室之间会出现数亿乃至数十亿美元的合作，用来定制这些应用场景。

对他如何经营公司来说，最大的未知，仍然是同一个使命问题：五年或十年后，人类会在做什么？他认为，监管者的注意力一直放在离美国人日常生活较远的事情上——比如与中国的竞争，以及那些确实重要、却离人们还远的安全风险。两三年后，每个人都会开始为之焦虑的，是模型在自己的工作上明显超过人类。这已经不再是小概率、高影响的风险，我们知道它一定会发生。他希望更主动地设定预期，更多地讨论下一代工作会是什么样子，尽管目前还没有人知道该把人们重新培训去做什么。

在快问快答里，他说评测被低估，老旧的 SFT 数据被高估。他改变看法的地方，是软件工程自动化的时间表比他预期的来得更早。他以前对那些说 AI 工程师提交 PR 的频率会超过人类的研究员持怀疑态度，现在看来，这可能会在今年下半年或明年上半年出现。由于需求富有弹性，他对工程岗位在短期内的大幅萎缩不太担心；岗位的性质会改变，而那些有产品思维、又清楚模型还有哪些短板的人，会获得比较优势。如果让他重新开始，他会选一个知识工作的垂直领域，大概是金融，去做定制智能体，并尽量选一件更有正面影响的事，而不是只帮人把早晨的估值工作节省几个小时。他对听众说，可以去 mercor.com 看看。公司正大规模招人，既为自己招，招的人数更多的则是为客户招。