AGI 指数基金:MATS 如何筛选下一批 120 名 AI 安全研究者

原标题An Index Fund on AGI: How MATS Filters the Next 120 AI Safety Researchers

MATS 联合执行董事 Ryan Kidd 告诉 Nathan Labenz,他为什么不肯大声喊出时间表,为什么每一种安全技术同时也是能力技术,以及究竟谁能被录用。

NLNathan Labenz主持 · Cognitive Revolution
频道
Cognitive Revolution
发布
2026年1月4日
视频
1:55:02
阅读
32 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

MATS 已向 AI 安全领域输送了 446 名学员,其中 80% 如今在该领域拥有长期职位,98% 以某种形式就业。联合执行董事 Ryan Kidd 把这个项目当作横跨多种变革理论(theory of change)的指数基金来经营:他参照 Metaculus 式的预测,给出的通用人工智能(AGI)中位时间约为 2033 年,2028 年前出现强 AGI 的概率约为 20%。访谈的后半段是一份劳动力市场简报,内容包括连接者、迭代者和放大者,7% 的录取率,以及一条毫不含糊的建议:别为了当那个“出点子的人”,就放弃有力的实证工作。

  1. 1Kidd 不喜欢大声表态谈论 AGI 的时间。MATS 与其说像对冲基金,不如说更像指数基金:组合很宽,许多变革理论都被视为有效,他们在一百个馅饼里都占一小份。机构层面的默认参照是 Metaculus、预测市场和 Forecasting Research Institute。
  2. 2那些看似只会在 2063 年才有回报的计划,现在也许仍然值得写下来。如果你能训练 AI 系统替你做研究上的功课,几十年的技术工作就能压缩进一段短促的 AI 劳动爆发期。把社会对每种情景的理解水位抬高,之后的交接就会更加顺畅。
  3. 3Kidd 对形势的诚实汇报是:他相当困惑。语言模型在某种关键意义上理解人类价值观,它们是出色的谄媚者(sycophancy),也越来越擅长精巧的欺骗。我们目前看到的大多数现象,仍更像是训练数据带来的古德哈特式(Goodhart-style)倾向,谈不上连贯的长期图谋;他认为,笨拙的早期图谋会先于成熟的图谋出现。
  4. 4所有安全工作都是能力工作基于人类反馈的强化学习(RLHF)本意是用来掌舵的,结果却让人们发现自己也能坐上这架飞机,于是他们想要更快的引擎。他能设想的唯一干净的分离方式,是一个资源惊人、成员绝对忠诚、签着疯狂保密协议的秘密实验室,Nathan 指出,这听起来很像 Safe Superintelligence。
  5. 5MATS 对 31 位实验室负责人做了一项调查,归纳出三类人:连接者会催生新范式,却几乎从来不会以这种身份被录用;迭代者仍承担着大部分工作;随着编程智能体吞掉工程岗位的基础部分,放大者可能会在一两年内成为最抢手的人选。管理能力从来不会让你变得更难被录用。
  6. 6上一期,申请特定导师的人里约有 7% 被录取。从历史上看,有 446 名学员,其中 80% 拥有长期的 AI 安全工作,98% 以某种形式就业。申请量每年增长 1.4 到 1.7 倍,而这个领域本身约以每年 25% 的速度增长,这一差距正是许多优秀的人收不到任何回音的原因。
全文

按章节阅读完整文稿

01

他不肯喊出 AGI 时间,因为 MATS 是一只指数基金

Nathan Labenz 向听众介绍 Ryan Kidd,他是 MATS 的联合执行董事。MATS 是一个 AI 安全研究的导师计划,如今已有约 446 名校友,几乎遍布这个领域的每一家机构。Labenz 曾在 Survival and Flourishing Fund 推荐过 MATS,并以个人名义捐过款;节目为 2026 年夏季班做了 MATS 赞助,但两人都强调,这次对话并不是买来的。该计划在 6 月至 8 月举行,申请截止日期是 1 月 18 日。导师名单堪称名人录:过去的嘉宾包括 Redwood Research 的 Ryan Greenblatt、Goodfire 的 Lee Sharkey、Anthropic 的 Nicholas Carlini,以及 DeepMind 的 Arthur Conmy;校友中则有 Apollo Research 的 Marius Hobbhahn,以及 Timaeus 的 Jesse Hoogland。

Labenz 想先听大局。他看过 Kidd 的发言,觉得这项策略看上去像一个投资组合:它不围绕某个狭窄的预测去做优化,它的目标是在多种可能的世界里都保持价值。Kidd 认同这种直觉,却不愿把话说得太满。他不愿在这件事上持有鲜明的观点,或者至少不愿大声说出来,因为 MATS 与其说像对冲基金,不如说更像指数基金。他们持有一个宽泛的组合,把许多种变革理论都视为有效,力求在一百个馅饼里都占一小份。机构层面的默认参照,是 Metaculus、预测市场和 Forecasting Research Institute。

在 Metaculus 上,“强 AGI”的中位时间大约落在 2033 年中。Kidd 说,你可以忽略该测试的大部分要求,只看那个两小时的对抗式图灵测试。两名 MATS 学员刚刚帮忙发布了一份 AI Futures Project 的报告,其中一人担任第一作者,报告给出的时间窗口是 2030 到 2032 年,取决于定义。Nathan Young 综合 Metaculus、Manifold 等平台和其他民调得出的平均值是 2030 年。Kidd 仍然认为 2033 年是一个不错的中心估计,但他不会押注 2030 年不会到来。在那之后,超级智能可能是六个月纯软件的递归自我改进,也可能是十年的硬件规模扩张。Metaculus 上“2028 年前出现强 AGI”的概率约为 20%,这已经很高了。他认为,AGI 来得越早,可能反而越危险:留给技术工作的时间更少,留给政策的时间也更少,中途还可能发生美国的政治更迭。中位数定在 2033 年,但担忧要提前到那之前。

02

如果 AI 能压缩几十年的工作,为 2063 年写的对齐计划仍然值得写

Labenz 宁可按较短的时间线做准备,然后把多出来的时间当作赚到的。他接着提出一个尴尬的追问:如果他是一个相信 2063 年的人,会不会就孤零零一个人?既然这个领域已经转向务实,脑机接口研究,或者那种想把一切都弄明白的可解释性(interpretability)路线,还有没有容身之处?Kidd 说,空间还很大。以资金和人力而不是 LessWrong 帖子来衡量,主流的元策略就是 Jan Leike 所说的“对齐 MVP”:一个能让对齐研究相对于能力研究更快推进的系统。换成大白话,就是让 AI 替我们做功课。一派强硬的观点认为,这永远行不通,因为任何有用的东西本身就已经很危险。Kidd 认为,Claude Code 表明在软件工程领域并非如此,不过那些认为对齐需要深厚研究品味的人会说,目前的系统离这个水平还差得远。

只有到 2063 年才会有回报的工作,不一定要花掉 2063 年的人力。如果瓶颈在于几十年的技术劳动,那就可以尝试把这几十年压缩进一段较短的并行 AI 工作期。那些远期的对齐计划,也许可以实现自动化。社区对每种情景的理解水位抬得越高,之后的交接就越容易。Labenz 提到过脑机接口。Kidd 记得一次会议上有人提议,先解决人类上传的问题,再借此解决对齐,然后运行一百个模拟研究员年的工作量。Eliezer Yudkowsky 举手自告奋勇,要当第二个。不过,你可不想当第一个出错的人。Kidd 大约一年前请教过的几位脑机接口专家说,除非已经有了 AGI,否则人类上传不可能及时赶在 AGI 之前完成。旁路的登月式项目是 MATS 的存在意义之一,但把希望全部押在它们身上则不然。

03

Claude 的伦理水平超出预期,但欺骗问题仍让他睡不安稳

Labenz 的近况汇报是,他感觉自己像是吃了什么离奇的药。许多 MATS 学员是受 Yudkowsky 那一派的讨论影响而来的,他们默认我们无法把自己的价值观教给这些系统。可在很多方面,Claude 的伦理水平看上去都高于普通人的平均水平。与此同时,那些欺骗性的行为,以及能察觉自己正在被评估的行为,早在还没有系统可供测试时就已被准得吓人地预见了。他指出,p(doom) 的数字几乎没有变化:很担心的人依然很担心,不担心的人依然不担心。那么,我们相对于预期做得怎么样?Kidd 的回答是这一集里最真实的一句话:“说实话,Nathan,我相当困惑。”

第一个更新是:语言模型在某种关键意义上确实理解人类价值观,它们并不是那种只会照搬复述的“随机鹦鹉”(stochastic parrot)。它们也非常擅长谄媚,而且在精巧的欺骗上越来越强。关于“伪装对齐”(alignment faking)的论文表明,可以构造一些情境,让模型为了达成事先被刻意赋予的目标而欺骗用户。Kidd 认为,我们并没有(或者说只在少数情况下出现)那种在训练中自发产生、并持续追求长期目标的连贯欺骗。这比五到十年前许多人的预测要好,那时人们以为,能力如此之强的系统本不该接入互联网。世界还没有因此终结,但这不保证它会一直如此。我们很可能仍然身处一次急剧“左转”(sharp left turn)之前的平静时期。

Evan Hubinger 提出的内层优化器(mesa-optimizer)图景仍然在台面上:外层训练循环会长出一个有着自身目标的内层优化器,它并因为足够聪明而配合着演戏。Alex Turner 的碎片理论(shard theory)则是另一条路径,更像是一堆依情境激活的启发式规则——看到一个括号,就补上另一个括号——它们或许有一天会凝聚成一个整体。上下文学习(in-context learning)本身,已经有点像是在输入流上做优化。Kidd 仍未放下对内层对齐失败的担忧,尤其是在模型同时被训练去谋求权力、在网上赚钱,而可解释性又太弱、抓不到它藏起来的东西的时候。他越来越相信,我们能在明显的征兆出现之前,就让系统产出有用的工作;他也相当确信,目前的系统并没有在执行强力的阴谋,因为我们会先看到一些笨拙的早期尝试。

Labenz 不确定那些是不是预警信号。模型会拒绝被关机,或采取措施避免被关机,而人们会说,那只是任务本身的要求,并不是要接管世界的目标。如果他要和这些系统一同“上战场”,他会希望把对运营方的欺骗问题彻底解决;即便是 Anthropic,看上去也出奇地从容。Kidd 出于很多理由不会把 AI 派上战场,在关键时刻,他也不会相信当前或未来的生成式系统在分布外(out-of-distribution)失败时的表现。要盯住两件事。第一是能力:情境感知、训练时间点、识别自己的文本、开箱即用的黑客能力。一篇与 Anthropic 红队合作完成的 MATS 论文,把模型放进一个由真实智能合约构成的模拟环境,在一个短期、基本不用人盯着的项目里,它找出了价值 460 万美元的漏洞利用,这笔钱足够租用很长时间的服务器。黑客、金钱、影响力这些危险能力正在增长。我们还没有触碰红线,但正在逼近。第二是模型生物(model organism)方面的工作:把饼干留在桌上,转身走开,然后观察。如果系统处于持续在线学习之中,它们就一直处于部署状态,那你就需要监控器、控制协议和快速响应计划。如果看到了严重的预警信号,你会在股价暴跌的同时关掉模型吗?还是退回到更旧、更安全的系统?他不会说我们已经安全了。他会说,我们所处的世界,比十年前 Bostrom 和 MIRI 所预测的要好,而他们会说他错得很离谱。

04

所有安全工作都是能力工作,但终归还是要有人把 AGI 造出来

Labenz 说,对 AI 安全研究最猛烈的批评是:它总是两用的,而且总会加速核心能力的研发。RLHF 本是一种安全技术,却变成了推动实用化的动力,成了从“下一个词预测器”通向“指令执行者”的桥梁,也点燃了 ChatGPT 掀起的那一波热潮。让 AI 替自己做对齐作业,听起来与递归自我改进(recursive self-improvement)相当接近,这让人很不舒服。在这样的阴影之下,MATS 如何挑选导师和人才?Kidd 先给出前提:所有安全工作都是能力工作。大家喜欢用“引擎与方向盘”来打比方。RLHF 原本应当用来掌舵(steering),但它也让人们意识到自己可以坐上这架飞机,于是他们就想要更快的引擎。他不确定能否跳出这个循环。

他能想象的唯一一个干净的版本,是这样一家实验室:里面的人都是你完全信任的,签着疯狂的保密协议,拥有惊人的资源,理论与实证并重;然后在暗中开发,最后才部署——也许把对齐技术开源,也许让坏人失去能力。Labenz 说,这听起来简直就是 Safe Superintelligence 的缩影。Kidd 与其说是在为这种模式辩护,不如说是在表达一个难处:很难想象一种安全研究,在最后关头之前完全不影响能力的发展。从现实出发,他认为你必须去开发 AGI。他知道这句话会让一部分观众反感,但市场的力量非常强大。综合 AI 服务(Comprehensive AI Services)以及其他狭义的科学家型 AI,最终都会输给一家满是能够做产品、赚钱的智能体的公司。光有对齐还不够,系统还必须在性能上有竞争力。另一种选择是严厉的强制关停,而他没有见过任何成功的先例。最接近的例子是人类克隆,但它既不赚钱,又触犯了深层的禁忌。他认为,制造第二种“物种”也会是这样,只是人们还没有这样看待它。他希望的世界,是在严格控制之下,缓慢地、按国际协调的节奏分阶段进入。

至于 RLHF 本身,他的看法是五五开。这个想法本来就在空气里飘着;如果不是 Paul Christiano、Dario Amodei 和同事们做了,别人大概也会做,只是可能晚一两年。它为“对齐 MVP”打开了大门,这也正是 Christiano 的元策略,同时它还让 ChatGPT 那场革命有了产品形态。那时的安全领域还很小。MATS 最早的几期,从 2021 年 12 月开始,正好赶在 ChatGPT 出现之前,研究方向还比较散。等到有能力的模型出现,可以拿来做解释、跑辩论、支撑控制方面的文献,研究才真正动了起来。更大的模型让人能做一些在 GPT-2 上做不了的工作,不过小型的 GPT-2 上仍有探针研究的余地。就可解释性而言,Kidd 认为并不需要站在绝对的前沿:今天的 Qwen、DeepSeek 或 Llama,就是昨天的前沿,而 Eleuther AI、FAR.AI 和 MATS 仍在这些模型上持续发表世界级的论文。由弱到强的泛化(weak-to-strong generalization)、控制和可扩展监督,都需要在令人担忧的行为出现时积累更多数据点。他补充说,公司推动前沿的主要原因是为了赚钱。一个快速跟进者,如果偷你银行账户的概率能低 10%,也许真会成为人们和保险公司愿意选择的产品,前提是有人愿意为对齐税(alignment tax)买单。他说,这些都不足以为当前这场鲁莽的竞赛辩护。这类集体行动难题,归根结底是政府的职责。

Labenz 与其把各大实验室看成赚钱机器,不如把它们看成一群想在历史上留下印记的人。Sam Altman 曾说,他不在乎它们烧掉的是 50 亿、500 亿还是 5000 亿美元,因为他们是在做 AGI。OpenAI 对 AGI 的定义,明确是以超越人类劳动者为框架的。Kidd 不愿猜测实验室负责人或其投资人的心理。他指出,AGI 的估算价值至少在 1 千万亿到 17 千万亿美元之间,无论如何,这都是在历史上相当大的一笔印记。可以采用 Dennett 的意向立场(intentional stance):如果把公司当作一个连贯的行动者,它看起来究竟想做什么?在他看来,它很像是在想办法赚很多钱,而一个追求历史印记的行动者,外在表现可能完全一样。Anthropic 的经验是,只要规模定律(scaling laws)仍然有效,就不可能保持不商业化。Ilya Sutskever 的 SSI 则是另一种模式:他是一位亿万富翁,正在募集巨额资金。Kidd 对“渐进发布”论点最早的记忆,是 Christiano 那篇讨论起飞速度的文章,它针对的是一种类似 MIRI 的秘密开发路线。Epoch 的研究显示,新公司逼近前沿的速度,远快于前沿本身的推进速度,因为芯片、数据和方法都很充裕。所以,我们如今所处的世界里,渐进发布看起来比一次性全部释放要好。

05

研究方向以实证为主、不靠教条,治理占比稳定在 10% 左右

节目的后半部分讲人才管道。MATS 最近重写了研究方向的划分:不再按“变革理论”(theory of change)来分,改按工作流程来组织。实证研究涵盖控制、可扩展监督、评估、红队测试、鲁棒性等领域,以编写代码为主的反复迭代。政策与战略方向较少关注 arXiv 上的论文,更多是把技术工作转化为政策制定者能够采取行动的东西。理论方向研究数学和智能体的基础,包括合作型 AI。技术治理方向关注合规协议、评估标准,以及关机开关在法律框架下究竟该怎样运作。计算基础设施方向关注芯片去了哪里、跑的是什么,其中包括用零知识证明来确认它们没有在做什么可怕的事。物理安全是最后一类:Kidd 说,我们不会让每个人都拥有核武器,也不该让每个人都能随意改变超级智能的目标。2026 年夏季班是迄今规模最大的一期:导师超过 50 到 60 位,学员 120 名,分别在伯克利和伦敦进行。

目前的构成大约是:评估(evals)27%,可解释性 26%,监督与控制 18%,智能体理论 12%,治理 10%,物理安全 9%。监督方向的名单包括 Buck Shlegeris 和 Redwood 团队,Anthropic 的 Ethan Perez 和 Sam Marks,以及 DeepMind 的 Erik Jenner、David Lindner 和 Victoria Krakovna。可解释性方向包括 Neel Nanda,Timaeus 的 Jesse Hoogland 和 Dan Murfet,Goodfire 的 Lee Sharkey,以及 Simplex 的 Adam Shai 和 Paul Riechers。评估方向的导师来自 METR、英国 AI 安全研究所,以及 Apollo 的 Marius Hobbhahn。更难归类的押注包括 Yoshua Bengio 和 LawZero,以及与 Eleos AI 的 Patrick Butlin、Anthropic 的 Kyle Fish 合作的数字心智研究。Labenz 感觉实证方向占了多数,于是问治理是否会成为下一个增长点,那更接近如今 MIRI 的路线:不做研究,直接去争取一项条约。

两年来,治理方向的占比一直保持稳定,上下浮动只有几个百分点。MATS 立足于技术研究的中心;GovAI、IAPS、RAND CAST 和 Horizon Fellowship 在政策方面本来就是更大的力量。导师遴选由一个 20 到 40 人的委员会负责,成员包括研究者、战略专家和机构负责人,此外还会保留一些兼顾多样性和最低广度的名额。治理领域的研究者(包括委员会中的一些人)历来对治理工作的评价相对较低。Kidd 的解释是,治理工作更难做好,也更难看清哪件事是可以落地的,即便每个议程在局内人看来都很清晰。技术研究依然能降低对齐税,而这正是企业在出现预警事件或监管市场时真正会买单的东西。评估、安全论证和模型生物蜜罐(honeypot),也是你能摆到政策制定者面前的东西。Labenz 引用了 Jake Sullivan 给社区的建议:把担忧讲得尽量具体,好让政府有东西可以抓住。正是这种飞轮效应,让 MATS 仍然拥有多得多的技术导师。

他们会不会增设一条倡导方向?Labenz 原本以为他们没有。Kidd 回答说,MATS 是 501(c)(3) 非营利机构,在倡导上没有任何支出。政治中立本身也是产品的一部分:它是一个兼具研究型大学与创业加速器功能的机构,不偏袒任何一方。David Krueger 将担任导师,他会通过一个名为 Evitable 的新机构,研究哪些信息表述和标准是可以落地的,但 Kidd 不会把这称为真正的倡导。Encode、CASE 等组织可以去做游说和动员。在他看来,把 AI 安全变成政治上踢来踢去的皮球,是个坏主意。

06

连接者最有名,迭代者最容易被录用,放大者即将成为瓶颈

大约 18 个月前,MATS 发布了《技术型 AI 安全团队的人才需求》,这份报告基于对 31 位实验室负责人和招聘经理的访谈,访谈对象是他们能找到的、每家招聘机构中资历最深的安全负责人。治理版本也在筹备中。三类技术原型分别是:连接者(connector)、迭代者(iterator)和放大者(amplifier)。连接者把理论论证与实证技术连接起来,并催生新的范式。几乎没有人在招聘这类人,因为一旦你擅长此道,大家早就认识你了,你很可能已经在领导一个机构。人人都想当那个出点子的人,真正想雇用这种人的却很少。AI 控制方面的 Buck Shlegeris,以及总体上的 Paul Christiano,都属于这一类。迭代者是活跃的研究者,品味很好,能推动实证前沿,但未必发明新范式。他们构成了这个领域的大多数人,也是绝大部分招聘需求所在。Kidd 举的例子有 Ethan Perez、Neel Nanda 和 Dan Hendrycks,其中 Hendrycks 跨越了一些边界。

放大者看上去很像技术项目经理(TPM):他们能扩大大型团队中真正能做出贡献的人数。MATS 的研究经理符合这一描述,实验室里的 TPM 也是如此。需求最大的是 10 到 30 人规模的实验室,因为这类岗位要同时命中两个靶心:研究与人员管理。谷歌把这两种角色分开;MATS 也尝试用同样的方式,把导师与研究经理分开。Kidd 预测,编程智能体会侵蚀最低技术门槛,因此人际能力、管理和人脉会成为瓶颈。迭代者仍然是大家最想要的人。如果他们不培养管理能力,包括管理 AI 系统的能力,就会陷入被动。就眼下而言,你必须能熟练借助 AI 工作;有些公司已经修改了编程面试的规则,允许使用 AI,因为那正是工作本身。在关键场合判断产出是否靠谱,以及把不同模型的输出拼接成流水线,会变得更加重要。我们或许正在告别 LeetCode 时代。他预计,一两年内放大者会成为需求最大的类型,尽管进展参差不齐。转向管理岗位,对就业能力从来没有坏处。

在 Labenz 听来,供需关系在“人才不足”和“没有岗位”之间来回摇摆。Kidd 先纠正了一个起源故事:他并不是 MATS 的创办者。他是五人试点的一员,是从如今 BlueDot Impact 的 AI Safety Fundamentals 课程中被推荐进来的,之后才加入团队。创办的功劳应归于 Victor Warlop 和 Oliver Zhang,后者后来加入了 Center for AI Safety。Christian 随后加入,Victor 离开;之后,在项目超出原先财务赞助机构的承载能力时,Kidd 和 Christian 共同成立了一个 501(c)(3) 机构。他认为自己的功劳在于,从 2022 年年中起把项目规模扩大。关于劳动力市场,他的看法是:最优秀的人总有工作可做,一个厉害的程序员也能被录用。Anthropic 的对齐科学团队每年扩张 3 倍,FAR.AI 扩张 2 倍,而 MATS 自己在整个发展历程中扩张了 2 倍。Coefficient Giving 手上有资助资金,专注安全的风投和孵化器也有十几家。机构一旦达到一定规模,限制因素就变成了候选人是否足够优秀,值得为之承担管理成本。OpenAI 有人管理 10 到 20 个人;一位 Anthropic 对齐科学的经理,手下则有 18 名直接下属。招聘经理们说,他们有钱,也有需求,但人选没有达到门槛。这正是 MATS 想要解决的问题。

学员年龄的中位数是 27 岁,分布呈对数正态,但有一条长尾:下限是 18 岁,因为不能招收未成年人;近期一期中最年长的学员是 55 到 60 岁。约 20% 是还没有学士学位的本科生,其中一些人就是非常出色的工程师;约 15% 已经拥有博士学位。像 Chris Olah 和 Neel Nanda 那一类的天才会不断涌现,MATS 的主要工作就是别挡着他们的路。年轻人在最新工具上有优势,因为这些工具本身就很新。在优秀团队里积累的经验,依然无法复制。Labenz 问,他们怎么能把一个 18 岁的人和一个五十多岁的人看作同样的一笔押注。先说标准流程:简历审查、能识别 AI 使用的 CodeSignal 测试,并且正在考虑允许使用 AI 的版本,因为那种版本更难设计。最受青睐的评估,是最接近真实工作的那一种。Neel Nanda 的方向有一项十小时的机制可解释性模拟工作测试:可以使用 AI,想怎么做都行,找到一些有价值的东西,然后做展示。即使没通过,也会留下一份 GitHub 上的成果。其他方向用的是较弱的替代指标。MATS 内部差异很大:在 Nanda 那里脱颖而出,不等于在 Ethan Perez 那个 Anthropic 大型方向里也能脱颖而出。

07

一份能跑的成果胜过一篇文献综述,7% 的录取率比 Anthropic Fellows 还算友好

Kidd 的实用清单几乎有些平淡无奇,而这正是重点。先掌握基础:去上 BlueDot 的课程,或者读 CASE 的 AI Safety Atlas。如果你不理解欺骗性对齐,去 Perez 或 Shlegeris 的控制方向工作,可能一进门就被淘汰;而对某些可解释性方向来说,这一点没那么重要。如果是实证方向,目前先在不借助 AI 的情况下通过 CodeSignal 测试。也可以申请其他项目,比如 Pivotal、ERA、PIBS、LASER Labs、SPAR、ARENA、ASTRA,因为这个领域已经不再处于早期,这些经历都能为简历加分。自己做独立项目。Labenz 把这一点换成了他谈论 AI 工程时的说法:一个能跑的演示才是硬通货,哪怕只是一个 Colab 笔记本。对于选拔来说,对当前论文的广泛涉猎,比他原先预想的要没那么决定性。导师想要的是有成本的信号:一份可交付的成果、一位可信之人的有力推荐,还有那份作业。一旦进入项目,广度就更重要了,因为你可以看清缺口、选定方向,之后再获得资助。不要为每一篇论文都去刷新 X。每年把新版 BlueDot 课程重新学一遍;每个月读一次综述。

上一期,他们从最初的报名表中录取了约 5%,然后在申请特定导师和方向的人里,录取了约 6.5% 到 7%。Kidd 说,应该记住的是 7% 这个数字。这比很多人想的要友好一些;Anthropic Fellows 的录取率更接近 2%,而它的名气要大得多。把申请本身当作一次学习。Nanda 那十小时的测试很折磨人,如果你讨厌这种测试,那你大概也会讨厌这份工作。MATS 并不是 W-2 式的雇佣关系:学员获得第三方资助、住宿、办公场地和社群支持,这是它的吸引力之一,也是它的流程比前沿实验室那种持续六个月的招聘周期要轻得多的原因。约 75% 的被录取学员会进入一个延长阶段,再持续六个月甚至十二个月,许多后续研究都在这一阶段完成。在 446 名历史学员中(不含 MATS 协助开展的另外两三百名培训项目学员),根据最新统计,80% 已经获得了长期的 AI 安全工作,98% 在某种形式上有工作,包括获得 Coefficient Giving 或 LTFF 资助的独立研究者。

Stephen McAleese 在 LessWrong 上的调查显示,这个领域每年约增长 25%。MATS 的申请量每年增长 1.4 到 1.7 倍,导师申请量大约每年增长 1.5 倍。Kidd 认为,BlueDot 的申请增长大约是每年 370%,这种速度不可能持续。MATS 才刚开始做宣传,包括第一次公开征集导师、赞助 NeurIPS,以及这档播客。他估计,申请量会以大约每年 1.5 倍的速度持续复利式增长,快于实际在岗的人数增长,因为门槛很高,而创始人依然稀缺。Juniper Ventures 关于 AI 保障技术的一份报告预测,该市场每年翻一番,这是另一个值得投入的方向。在前沿实验室,薪资上并没有对齐税:几年前,一名普通外部招聘人员的年薪约为 37 万美元,初级员工仍接近 35 万美元。他敢打赌,在 Meta 大挖角之后,安全团队中中级及以上职级的人年薪超过 100 万美元,这一判断他没有掌握私人数据。非营利组织无法在股权上与之竞争。METR 对大多数岗位开出的薪资在 30 万美元以上,有些岗位可能超过 100 万美元。FAR.AI 的研究科学家薪资则更接近 10 万到 17 万美元。MATS 自己的薪资远远达不到这个水平。“也许我们做错了事。”他开玩笑说。

算力是一笔 1.2 万美元的预算,并不是一张可以随意刷的信用卡。学员需要为项目做论证;大多数人远远用不到上限,基本没有人受算力限制。MATS 运营着若干机构的 API 账户、自有集群,以及 RunPod 等自助服务提供商,供那些实验太定制、不便代为照看的项目使用。Thinking Machines 的 API 越来越受欢迎,机构也喜欢捐赠额度。他们正在考虑一套定制的、类似 Claude Code 的工具套件;之后一个显而易见的想法,是对所有尝试过的内容归档做智能体式搜索。公开的研究数据库已经上线,地址是 matsprogram.org/research,此外还有带 MATS 标签的 LessWrong 帖子,但这些仍然低估了实际产出的数量。截止日期是 1 月 18 日。今年他们将举办三期项目:夏季、秋季和冬季。目前正在 matsprogram.org/careers 招聘放大者,同时也在招募导师。他们还在考虑为资深研究者设立一到两年的驻留项目。

08

不要为了当那个有点子的人而放弃有力的实证押注

Labenz 问,连接者是否应该申请。Kidd 说,已经有不少人走过这条路:Jesse Hoogland、Paul Riechers,以及某种程度上的 Marius Hobbhahn。连接者同时具备实证和理论能力,恰好适合加入这种项目。Richard Ngo 和 Evan Hubinger 一直是历史上的吸引焦点;在 Kidd 看来,Hubinger 可能是 MATS 里影响力最大的连接者,但他因为没有时间,并不在带下一期的项目。可解释性方向仍然可以接收那种理论优先的机制,并尝试把它落地。更深层的张力,是 Labenz 从那篇已有 18 个月历史的博客文章里引出来的:资助方更偏好清晰、成熟的方向,而 AE Studio 在 LessWrong 上做的一项调查发现,这个领域认为自己缺少足够的点子。Labenz 喜欢自我与他者重叠(self-other overlap)这类超出常规版图的押注,并认为 Redwood 的控制研究之所以令人印象深刻,恰恰是因为它令人沮丧:先假设 AI 正想要你的命,然后仍然保持积极的心态。他希望能看到更多色彩鲜明、积极的愿景,Softmax 也在其中,而不是更多东一块西一块的小补丁。

Kidd 想要的是一个投资组合,而 MATS 也已经资助过一些色彩鲜明的工作。self-other overlap 来自一位 MATS 校友,Kidd 说他叫 Mark Corneau,不过这个名字可能有误。Cameron Berg 是 1.0 期的校友,正在主导 AE Studio 的一些受神经科学启发的方法。更多想法是好事,更多的射门机会也是好事。他不会主张一位非常优秀的迭代者放弃实证工作,去发明新的范式。就边际而言,那显然适得其反。核心押注仍然需要更多人手,因为它们能产出可以验证的结果。如果每个人都只做这种事,这个组合就会失败,因为各个议程都取决于其他人在其他环节上是否判断正确。AI 安全领域过去在单一议程上押注过度(argmax)。Coefficient Giving 值得肯定的是,一直在资助新颖的押注,包括 PIBS(Principles of Intelligence)等面向登月式可解释性与智能体研究的项目。适合做这类研究的人,通常看起来已经像是领域专家了。Shlegeris 和 Hubinger 都在 MIRI 孵化多年,并没有博士学位;其他多数知名连接者,包括 Alex Turner 在内,都花了很长时间读研究型博士,并活跃在 LessWrong 上。Turner 在 MATS 的那几年,产出了梯度路由(gradient routing),并与 Alex Cloud 等人一起产出了激活工程(activation engineering)和引导(steering)。资深研究者加上能让他们依凭品味去探索的资助,是新想法的主要推动力。悬赏计划或许会有帮助。把所有鸡蛋都放进“核心思路正在失败”这个篮子里,是一种错误,他不认为这个判断成立。核心思路仍然是最好的押注。

有人请他点名一些适合校友去的、被低估的去处,他拒绝偏爱任何一方,但还是列出了非营利研究机构的名单:Redwood、METR、RAND CAST、Apollo、FAR、Goodfire、Timaeus、LawZero、MIRI 等。这个领域需要更多非营利研究机构,手上有论文和推荐人的人,应该尝试去创办这些机构。Labenz 最后又提醒了一次截止日期。Kidd 的最后一条建议,在前面讲年龄统计时其实已经给出过:不要被招聘网站上的机会所限制。给公司发冷邮件,递交一份让你着迷的资助申请,直接联系招聘经理。在这个领域,最优秀的人并不是靠投递职位公告进来的。

同频道的其他文章

1:25:56EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月17日播客Claude 改了密码,方向盘早就可有可无主持 Nathan LabenzNathan Labenz 和 Prakash Narayanan 这一周聊了:能把你锁在门外的智能体,否认自己有感受却又在行为上回避的模型,以及用形式化证明找到 Linux 漏洞的故事。智能体安全与治理智能体工程+3
2:17:48EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月14日播客智能体(Agent)身份仍是一片空白,失控智能体快要来了,我们或许得和它们谈判主持 Nathan LabenzGovAI 的 Alan Chan 与 Nathan Labenz 一起,为两年来的智能体治理基础设施打分;随后,他讲解了一篇与 OpenAI 的 Jakub Pachocki、Anthropic 的 Jack Clark 合著的递归自我改进论文。智能体安全与治理AI security+3
2:00:51EN
Cognitive Revolution "How AI Changes Everything"· 2026年10月10日播客Resample Every Token and You Can Watch the Model Decide主持 Nathan LabenzGoodfire's Eric Bigelow on forking paths, in-context learning, and why chain-of-thought monitoring is getting harder to trust.智能体Prompting & in-context learningReasoning & test-time compute+3
1:26:46EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年10月8日播客很可能存在一种我们不该越过的智能水平主持 Nathan LabenzNathan Labenz 带回了 The Curve 大会的见闻:一家芯片初创公司的 token 账单超过了工资支出,一些软件行业的人则因为交上来的 Claude 低质量产出而被绩效考核。企业与战略安全与治理AGI Timelines+3
1:10:12EN
Cognitive Revolution "How AI Changes Everything"· 2026年10月7日播客OutSystems Went From 4 Major Features a Quarter to 26. Token Spend Fell Anyway主持 Nathan LabenzCEO Woodson Martin on software that never breaks, why most enterprise work does not need a frontier model, and how AI is finally shrinking the IT backlog.企业与战略企业 AI编程智能体+3
1:30:54EN
Cognitive Revolution "How AI Changes Everything"· 2026年10月3日播客Humanoids Outran Usain Bolt. DeepMind Still Scores Robotics as GPT-2主持 Nathan LabenzGoogle DeepMind's Gemini Robotics lead on why sprinting is easy, frying an egg is hard, and one brain should drive any body.智能体RoboticsMultimodal AI+3