Anthropic 如何判断一个模型能否发布：红线、黄线，以及 8% 的员工做安全

这一期是 Cognitive Revolution 转载的一次 80,000 Hours 访谈。主持人 Nathan Labenz 认为，这是迄今为止公开讲得最清楚的一次，讲的是前沿实验室如何判断一个模型是否危险到不能发布。他曾参加过一次关于 RSP 草案的研讨会，但没法轻松地把那次内容做成节目，所以他很高兴 Rob Wiblin 录下了这一期。这次对话录制于 2024 年 5 月 30 日。在那之前，Anthropic 已在 2023 年 10 月率先发布了这类政策；OpenAI 在同年 12 月跟进，发布了 Preparedness Framework；Google DeepMind 在录制前大约一周发布了 Frontier Safety Framework；Labenz 了解到，xAI 也在制定一份类似的政策。

他说，这一趋势仍然不普遍。据他所知，Meta 没有发布任何说明其训练过程中如何评估模型的政策，更谈不上说明如果评估发现危险能力会怎么做。这期节目在加州州长 Gavin Newsom 必须签署或否决 SB 1047 法案的几天前播出。Labenz 并不认为这项法案完美——OpenAI 的 o1 发布，以及推理时算力的兴起，已经表明其中的定义需要更新——但他认为，公众有权知道前沿实验室在做什么，“对于那些公开分享模型权重的 Meta 和其他公司，这一点应当加倍”。不管那项法案最后如何，他希望有某种措施，能强制把详细的安全计划公开。

Wiblin 以同样的态度开始原版访谈。Anthropic、OpenAI 和 DeepMind 现在都已承诺，要衡量新模型可能具备的哪些危险能力，再按风险程度加上相应的安全措施。他希望请来 Nick Joseph 来论证，Anthropic 的 RSP 是一条几乎谁都能接受的折中路线。Nick Joseph 是 2020 年 12 月和 Dario、Daniela Amodei 一起离开 OpenAI 的那一小群人之一，现在负责 Claude 的训练，手下有 40 多人。随后，Wiblin 计划追问他能找到的最有力的质疑：公司可能不会遵守自己定下的规则；评估可能漏掉模型的真实能力；以营利为目的的实验室，可能不会让自己的发布变得更难；而在最要紧的情况下，也许根本不存在足够的安全措施。Wiblin 一开始就说明了自己的结论：RSP 是一步真正的进展，也是摸清什么做法有效的途径；但将来它们必须写入法律，并由外部机构来执行，不能只靠公司自己。

被问到大家对训练最常见的误解时，Joseph 直接指向了对规模扩张的怀疑。每当实验室往模型里投入更多算力，就会有一批技术上很认真的人宣布，这是最后一次有用的跃升，结果下一次跃升又明显更好。他提到，早期很多规模定律（scaling law）的研究，是由后来创办 Anthropic 的人做的。他们看了从小模型一直到 GPT-2 的结果，发现算力与质量之间有可预测的对应关系，这让他们有底气训练 GPT-3 来检验这一假设；按当时的标准，那次训练很贵。他认为，这种怀疑与其说是严谨的判断，不如说是直觉使然。模型已经有数千亿参数，也已经吃掉了互联网的很大一部分。人读完整个网络，也不会变得更聪明。另一个陷阱在操作层面：扩展性工作第一次很容易搞砸，而一次失败的训练，看起来和根本性的极限一模一样。

Wiblin 给出了曲线可能弯曲的常见理由：模型一旦从训练集中学会了人类的最高水平，那么超越每一篇人类写的文章或证明，就是另一个阶段了。Joseph 认同这一狭义版本。在更多数据上做预训练，并不能让模型在每一项具体任务上都超过人类。但模型在另一层意义上已经超越了人类：你可以问 Claude 几乎任何问题，而人类必须专精于某一领域。他不知道人类水平之后，进展会放慢还是加快。加快的那种说法靠的是复制。如果你有一个在各方面都达到人类水平的系统，并且能同时启动几百万个，那实际上就等于拥有一家由几百万名 AI 研究员组成的公司。问题也会变得更难，所以他不愿下结论。他说，Claude 已经“写代码相当不错”，但离一个真正能干活的软件工程师还差得远。

他自己负责的是预训练：用互联网规模的数据训练模型预测下一个词。历史上，这一步大约占了 99% 的算力。之后，微调团队再把这台“下一个词预测引擎”变成 Claude 应有的那种有用、无害、诚实的助手。经典的瓶颈是数据、算力和算法；Joseph 以管理者的身份，把算法也归到人的因素里，又加上一个近来感觉特别紧的约束：时间。他说，Anthropic 并不缺算力，也不缺数据。一个想法得先写进代码库，先用小成本试一试，然后再放大。简单的想法一天就能做完，复杂的要几个月；有些方向没法并行，因为你是在一步步积累理解。在 OpenAI 之前，他在机器人领域干了好几年，做的是不起眼的活儿：定位一个物体，好让机械臂把它放进箱子里。在 OpenAI 做代码模型时，感觉“简单得惊人”——往代码上投入算力，模型就能写代码——因为几乎没人在做这件事。现在容易摘的果子已经摘完了，但投入的资源呈指数级增长，两种效应大致抵消。进展是一阵一阵的：有的月份一切都顺利，有的月份一切都不成。ChatGPT 之后，商业压力已经足够大，所以他不会断言，Anthropic 的节奏是促使竞争对手在安全上偷工减料的主要原因。

Wiblin 把 RSP 的思路追溯到 METR（Model Evaluation and Threat Research，模型评估与威胁研究）这个团队，而此前上过 80,000 Hours 节目的嘉宾 Paul Christiano 刚刚离开了这个团队。Anthropic 在 2023 年 10 月发布了第一份这类公开政策。Joseph 在讲解前先作了说明：实施这项政策是他的工作，但细节设计是同事们完成的。简单说，就是：先定义安全等级；再建立评估，判断模型是否达到某个危险等级；然后规定在该等级下训练或部署所需的防护措施。这套模板借鉴了生物安全等级。埃博拉病毒应当在 BSL-4 实验室里处理，普通病原体则不需要。Anthropic 对应的概念是 ASL，即 AI 安全等级（AI Safety Level）。访谈时，Claude 3 处于 ASL-2：能力令人印象深刻，但并不构成灾难性风险。

每个等级都围绕红线能力来设计，也就是 Anthropic 认为在防护措施落实之前不应训练的那些能力。Joseph 举的例子包括 CBRN 类（化学、生物、放射性和核武器）、大规模网络攻击，以及自主性。在 CBRN 方面，红线是指：非专家能像专家一样轻松地制造大规模伤亡的武器，这会一下子扩大能做到这件事的人群。在网络方面，红线是帮助发动真正大规模的攻击。在自主性方面，红线是那些前置任务，他承认这一条最难界定。评估不能等到直接测试红线本身才进行，因为一旦测出阳性结果，就意味着你已经训练出了危险的模型。所以评估起的是黄线的作用：一旦触发，就停下来重新评估。最后一点是承诺以迭代的方式扩展这套体系。没人知道超级智能系统该用什么样的评估，所以 Anthropic 先从较近的风险入手，等到达到某一等级之后，再定义下一个等级。

在生物学方面，Anthropic 用了两种测试。一种是一组选择题：如果模型并不比基线好多少，它大概率帮不上多少武器方面的忙。另一种是与真人的对照试验，一组用搜索引擎，另一组用 Claude，看模型能否让受试者在相关任务上明显表现更好。自主性方面的黄色预警甚至设定得更早，因为威胁模型还不够具体，关于可能出什么问题，外部的专业知识也较少。测试任务包括：在一个热门的开源代码库里植入漏洞利用程序；对一个开源大语言模型（LLM）做微调，加入后门，使某个触发短语总能产生指定的输出；从 Anthropic API 的一个假版本中偷取 API 密钥，从而换取算力额度；以及编写一个能传播到没有防护的机器上的蠕虫程序。Joseph 说，能做完这些的模型，就已经学会了可能让它自我复制、制造混乱的技能。

即使在 ASL-2 阶段，这项政策也并非空谈。Joseph 提到了前一年白宫的承诺，他把这些承诺视为行业最佳实践，也视为在为更危险的系统“练肌肉”。这包括：保护权重、防范机会主义攻击者的安全措施；描述模型能力的模型卡；以及无害性训练，让明显有害的模型不会直接被放出去。Claude 3 是 Anthropic 第一次完整走完这套流程，所以很多工作是在设计评估本身，而不只是执行评估。自动化测试跑起来相对便宜，有人参与的试验则贵得多。这件事涉及多个团队，包括做能力研究的人，因为一种典型的失误是能力激发不足（under-elicitation）：你没有尽力去试，而稍微多花一点力气，模型就可能通过测试。Joseph 本人没有亲自跑测试，但一直在关注，因为整个训练计划都取决于结果，而评估必须在训练中途进行。你不希望因为没人安排评估，而不得不中止训练。

黄线被触发（比如通过了部分自主性任务，或在生物学测试中表现很好），并不自动意味着模型已经到达红线。Joseph 描述了两条分支。一条是团队再仔细看一看，判定模型显然仍不具备红线级别的危险能力，那就去向董事会汇报，把这次评估当作错误，再写出更好的测试。另一条是落实一整套新的防护措施。ASL-3 的安全措施主要针对有能力的非国家行为者，国家级对手不在其防护目标之内。部署还要求对每一种发布的模态都进行密集的红队测试：加入视觉能力，就对视觉做红队测试；加入微调，就对微调做红队测试。在这里，红队测试指的是：专家在受控环境中竭尽全力，让整个端到端系统（模型加上外部控制措施）做出你最担心的那件事。

如果这些专家回来说，模型在入侵系统方面极其擅长，或者能实质性地帮人研发生物武器，那么政策给出的答案绝不是贴一个警告标签。“我们不能部署这个模型，”Joseph 说。在安全措施足够好之前，它只留在公司内部，好让员工能确信，用户即使索要这类帮助，也拿不到。保留权重本身，也需要更严格的计算机安全，因为如果有人偷走了文件，你在自己 API 上设置的限制就毫无意义。“你某种程度上是在承担责任，这意味着既要为你自己做的事负责，也要为别人能用你的模型做的事负责。”被问到 ASL-3 何时会到来，他不肯给出具体年份。公司内部的看法不一，可能很快，也可能要十年。他喜欢的一点是，代价高昂的缓解措施只针对真正危险的那一刻。即使他猜两年，实际是十年，Anthropic 也不必在需要之前，就去实施那套痛苦的防护体系。

ASL-4 是刻意留白的。承诺是：在 Anthropic 训练 ASL-3 模型之前，要先把它的能力和应对措施梳理清楚；如果梳理没有完成，就暂停这次训练。Joseph 不愿把定义定死，但正在讨论的候选包括：ASL-3 威胁的更强版本；即使人们试图关机，仍能跨多台计算机扩散的模型；即使对方本来就懂这个领域，也能从中获得实质帮助的生物武器；以及能加快 AI 研究、足以启动自我改进循环的系统。这一等级的防护措施会针对更老练的窃贼，包括国家，并加强对自主行动的管控。之所以要等，是因为人们屡次宣布，下棋或别的某个里程碑就是 AGI，而这类判断的准确度一直很差。连 ASL-3 的评估都很难做对。离能力越近，你掌握的信息就越多。

用过 Claude 3 的人都知道，它会拒绝设计生物武器的请求。但这种拒绝并不是 RSP 所衡量的内容。测试是在无害性训练之前进行的，用的是一个不论什么请求都肯帮忙的模型，因为问题在于模型是否具备这种危险能力。叠加在上面的缓解措施是另一套标准，它们必须经得起 ASL-3 红队测试的检验。Wiblin 给出了理由，Joseph 表示同意：如果权重泄露，有人就能把那些规矩微调掉。能力是持久存在的事实，拒绝则只是一层伪装。

还有一种更糟糕的失效模式，叫 sandbagging（故意藏拙）。这是个体育用语，Wiblin 还得去查它的意思。指的是未来的模型把某种能力藏起来，因为一旦暴露，它就可能被关停或删除。Joseph 认为，这也是下一等级的评估要等到当前等级的评估拿到手之后才来写的原因之一：要测试一个正在设法骗过测试的系统，确实很难。希望是把黄线设得足够早，让较弱的模型在尝试欺骗时就失败，从而在你训练出能够干净利落地骗你的东西之前，就得到预警。他并不认为这一点是确定的。突然出现的能力跃升，或评估捕捉不到的跃升，仍然可能让人漏掉。研究上押的一注是草稿区（scratchpad）：让模型把推理写在奖励模型看不见的地方，再由人来读，看它是否在策划骗过监督者。另一注是可解释性：不运行模型，只查看权重，寻找一个会让模型在测试中故意失败、从而不被关掉的回路。这两种方法都只在尚未构成灾难性危险的模型上试过。“等我们到了那一步，我们会需要强大得多的工具。”

Joseph 喜欢 RSP，第一个理由是外交上的考虑。很多人怀疑模型是否真的会具备灾难性危害的能力，因此认为防范措施是浪费。RSP 不要求他们先承认时间表。它只要求一个条件句：如果评估显示模型能做到 X，就采取这些防范措施。这样更容易形成共识，也把成本压在真正危险出现的那一刻。第二个理由是内部的。政策一旦存在，安全团队和产品团队承受的压力就一样了。如果 Anthropic 达到 ASL-3，阻碍营收和用户增长的，就是模型能不能安全部署。“这是一种很好的以结果为导向的做法：问的是我们成功了没有，至于投了多少钱、有没有尝试，都不算。”Wiblin 问，这是否已经成为公司的文化。Joseph 说是的。安全团队的一个人每周都会问他 ASL-3 什么时候到，因为他们盯的期限，取决于某种能力何时出现。他们晚上担心的，是明年就碰上 ASL-3 却没有准备好，那样会拖住整个事业。

同一段里还有一组人员数字。“Anthropic 有 8% 的员工在做安全工作，”Joseph 说。这里的安全包括权重、被入侵的笔记本电脑、被盗的知识产权，而不只是模型文件。除此之外，还有对齐、可解释性和评估方面的团队。Wiblin 首先担心的是速度：如果能力突然快速跃升，Anthropic 是不是应该在今天这些无害的模型上就先演练 ASL-3 的防护措施，免得以后手忙脚乱？Joseph 说，他们确实需要提前规划；而把安全与商业目标绑在一起，正是让公司日常的规划流程也适用于安全的做法。黄线评估本来就设计得远离红线，留出一段缓冲。如果这段距离只有一周的训练量，那么一旦触发就会很吓人。他说，实际上评估被设在了足够远的地方，足以留出调整的时间：也许是评估本身有问题，那就去向董事会汇报；也许是模型确实危险，那就启用你早已准备好的防护措施；也许是你还没准备好，而模型已经具有灾难性危险，那就停止训练，或者在弄清楚怎么做之前不部署。

再进一步，真的在 Claude 3 上只为练手就跑一遍 ASL-3 的安全措施，从狭义上说会更安全，但 Joseph 认为，这在政治上是个错误。对不危险的模型施加极端谨慎，意味着放弃人们现在就能得到的好处，还会让旁观者觉得你有点疯。RSP 的策略是让谨慎程度与测得的风险相匹配，同时仍然进行着眼于未来几个等级之后的安全研究。谈到成本，Wiblin 把 1 亿美元作为前沿模型一次训练的大致量级，并问这些测试增加了多少成本。Joseph 没有确切数字，他认为金钱成本不高，主要是推理或少量额外训练。真正的代价是人力和时间，对一家规模还比较小的公司来说尤其如此。目标是在保持负责任的同时，尽量减少拖延。单纯为了拖延而拖延，并不是美德。内部部署的风险，即一个只存在于 Anthropic 计算机上的模型，去说服员工或试图逃脱，主要是更高 ASL 等级才要处理的问题。RSP 尚未对这些控制措施作出规定；Joseph 也不记得有哪一条要求“删除这个模型”，因为安全缓冲的思路是：你根本就不去训练红线系统。如果不小心训练出来了，那你就得考虑删除的问题。

作为 RSP 的替代方案，基准线是什么都不做，Joseph 拒绝这一选项，因为外部性太大。另一个常见的要求是暂停。他说，如果你已经在训练明显危险的模型，那暂停是有道理的；但在好处显而易见、灾难性风险还没有迫在眉睫的时候，这个要求并不现实。最在乎安全的实验室会暂停，其余的则不会，结果就出现了逆向选择。他希望的暂停，需要有清晰的评估、失败的缓解尝试作为依据，还需要一套公开论证，说明其他人也应当停下来。RSP 不能替代监管——对于拒绝制定政策的实验室，它毫无作用——但它是一块学习的试验场。政策制定者可以阅读这些报告，并根据实际发生的情况来设计规则。Wiblin 指出，有一条条款看起来像是 RSP 的免死金牌：如果一家没有认真政策的竞争对手正在领先，怎么办。Joseph 说，这不是为商业上的落后开的绿灯。这是最后的兜底：通用人工智能终局竞赛的风险可能高到这样的程度，无论如何继续推进都是最不坏的选择。但这条款不能被用来跳过那些嫌麻烦的评估。

Wiblin 听到最多的反对意见，也是他在推特上征集意见后追问最多的，是信任问题。与 AI 公司还像研究实验室的时候相比，公众现在对它们愿意为安全承受损失的信心更低了。Anthropic 的 RSP 里有大量可以做多种解释的措辞：要加固安全，使非国家攻击者“不太可能”偷走权重，也要让访问不会“显著”增加灾难性滥用。有人必须决定“不太可能”和“显著”到底指什么；而负责跑评估的人，在如何充分激发那些可能拖延一次重要商业发布的能力方面，拥有相当大的自由裁量空间。Joseph 承认这种批评有道理。他的同事很有才华，也都认同这套做法，但很多地方仍要靠善意的解释。吹哨人保护之类的制度，以及公开讨论，都可以增加压力。“归根结底，我认为你确实需要监管，才能有那种非常严格的要求。”他希望这项政策能变得更具体；卡住的是大家对情况的了解还不够。那种假精确，事后还得收回，可能会损害可信度。

Wiblin 用会计来打比方。大公司不能只看自己的账本就宣布搞定，法律上要求有外部审计。当某个结果可能意味着不能发布这个模型，甚至要把它删掉时，他会更放心：由一个激励不同的群体来做决定。Joseph 也会更放心。现实的问题是，目前还没有一个成熟的职业群体，能让大家都信任，由他们来证明某个模型无法在互联网上自主复制。审计人员需要足够的专业知识来评估能力。政府机构是另一条路，由私营机构遵循强制性规则是第三条路。他希望，发布评估报告能为这个市场打下基础。在公司内部，RSP 是董事会通过的正式政策。要无视它，就需要董事会、管理层和员工都同意。Joseph 说自己会拒绝训练绕过它的模型，团队也会拒绝他。正当的修订，比如某项评估结果意外地偏简单、并不能说明危险，才是他们想保留的灵活性。他想象不出会有人提出这样的计划：“桌上摆着一大笔钱，这个模型就跳过 RSP 吧。”

长期利益信托（Long-Term Benefit Trust）是 Wiblin 想重点拷问的治理结构。它没有经济利益，应当让 Anthropic 坚持其公益使命；随着时间推移，它将选出公司董事会的多数成员，而董事会与信托并非同一机构。房间里最明显却无人提及的例子是 OpenAI：它的非营利董事会在关键时刻，似乎被员工、公众舆论和投资人推翻了。Wiblin 认为，正式的组织架构图并不总能反映权力的实际运作，因此他宁可把信心放在外部法律约束上，也不愿押在那些有趣的内部机制上。Joseph 并没有把 RSP 说成监管的替代品。他认为信托确实有实际权力，同时也认为文化同样是承重的：能否充分激发能力，取决于研究人员是否真的在努力去试。即使有了监管，房间里的人也必须真正在乎。两人最终都落在纵深防御的思路上：好规则加上好的人，二者互相弥补对方的漏洞；Joseph 还补充了一条，即过往的记录。如果 Anthropic 公开削弱 RSP，而且做法看起来很荒唐、还增加了风险，人们就应该失去信任。

Wiblin 接下来的质疑，是一张可能跳票的空头支票。在 ASL-4 和 ASL-5 级别，RSP 只是笼统提到，要保护权重免受持续存在、资金充足的国家级黑客攻击。我们目前并不知道怎么做到这一点，尤其是当权重最终需要接入互联网，产品才能被使用的时候。在几十年的失败之后，要解决计算机安全问题，并不是 Anthropic 一家公司能独自完成的任务。到了那个时候，真正的选择可能是：长时间暂停，等待根本性的突破出现；或者削弱 RSP，好让公司不至于被卡住好几年。Joseph 的回答是，他们应该暂停，把精力放在安全和安保上，请外部专家加入；如果还是不行，就向政府和其他公司公开论证，说明严重风险迫在眉睫。他说，人不必一味追随商业激励；Wiblin 本来也能比主持播客赚得更多。赌注会非常高。“做正确的事情，这一点很重要。”他也不认同零风险的说法：安全始终要和效率做取舍，RSP 也不会要求盗窃概率为 0%。

Wiblin 仍然觉得这种情景可信：几个月过去了，其他公司变得更不谨慎，政府也没有出手，于是摆在面前的选择就成了：要么冒险，要么被边缘化。他说，这并不是在批评 Anthropic。它说明，如果没有政府为这项政策所依赖的安全研究提供资金，这个问题就不可能靠一家实验室解决，甚至不可能靠所有实验室一起解决。Joseph 则更乐观。今天主张暂停的人很容易被打发，因为大多数人还不相信风险是真实的。等到出现一个明显危险的模型时，没有哪家公司想造成灾难，也没有哪国政府想放任灾难发生。Wiblin 引用了 Stefan Schubert 提出的“梦游式偏差”（sleepwalk bias）：即把未来的人想象成面对一个显而易见的问题，也会袖手旁观。他认为，过去两年已经显示，随着能力提升，公众和政府的参与越来越多。

Joseph 自己最大的保留意见要更窄一些。对 Anthropic 来说，最现实的那一个是能力激发不足：对于一个负面结果，并没有最终定论，因为更厉害的研究员可能明天就能做成。另一个是未知的未知：他们没有列出的风险，或者被归到更后面的 ASL 等级里却提前到来的风险。能力激发必须在实验室内部进行，需要训练权限；而撰写威胁模型和评估则不必如此。METR、英国 AI 安全研究所和美国 AI 安全研究所都已经在做这类工作；Joseph 对职业生涯早期的听众说，他们也可以直接在 GitHub 上发布威胁模型，分享评估。Wiblin 问，RSP 是否应当更像航空业的风险管理：公布专家估计的每年权重被盗概率为 x%，低于可以接受的 y% 门槛。Joseph 认为，概率对一起工作的人来说，是把话说准确的好办法；但作为对外沟通的方式，他并不信任。外人听到“7%”，就会以为背后有一套精密计算；可 Anthropic 并没有看着一千个政府去尝试偷取权重。精确的百分比对付心怀不轨的运营者也没用，因为对方总能声称这个数字低于门槛，而没人能审计这个说法。

RSP 自己的比喻是“边飞边造飞机”。与 BSL-4 不同，那里的病原体已经存在，可以研究；而 Anthropic 是在一边造系统的同时，为一个尚不存在、到来时间未知的系统设定防护措施。应当预期会出错，这也是两人一直强调纵深防御的原因。这也解释了 Joseph 为什么想把 Claude 3 的训练当作一次练习，即使他“相当有把握”它不具备灾难性的危险。它略强于 GPT-4，而 GPT-4 已经上线很久，也没有造成灾难。现在犯错的代价低，以后就会变高。主张缓冲更宽的批评者，担心能力激发不足，也担心某些任务上会出现不连续的跳跃。红线指的是真正危险的能力；黄线评估则是为了证明模型离这些能力还差得很远。Anthropic 还用了一个简单的启发式指标，即“有效算力”（effective compute），来决定什么时候运行昂贵的能力激发测试：根据规模定律，损失随算力下降；如果某项算法上的大改进，在不增加浮点运算量（FLOPs）的情况下达到了同样的损失，也算数。

在自主性方面，Joseph 认为现有任务已经相当保守：复制到一台完全没有防护的机器上，或者给另一个语言模型加一个简单的后门。如果把任务设得更容易，就会在并不足以构成 ASL-3 的情况下触发黄线。以大约一半的成功率作为门槛，是为了衡量可靠性。要把许多步骤串成长时间运行、且要对抗试图阻止它的人的自主复制，大概需要非常高的成功率；门槛定得保守，就能更早抓住系统。从 10% 的成功率提高到 70%，往往比从 0% 提高到 10% 更容易，因为你可以奖励成功的尝试，逐步推进。Wiblin 引用了这档节目之前的一位嘉宾的观点：那位嘉宾在一篇评估 Anthropic RSP 的博客文章中认为，如果一直存在能力激发不足，那么两次检查之间算力（或数据）增加四倍，就已经不够小了。一旦超出，你可能已经面对一个越过红线的模型，而且已经投入了大量算力，还会有不愿按下紧急按钮的动机。Joseph 说，他们是在 Claude 3 训练中途运行的测试，而 Claude 2 到 Claude 3 的增幅，比他们现在允许的间隔还要大。他说，这是一个判断，如果看起来太大或太小，他们可以公开重新考虑。得知缓冲设得太紧，最糟糕的方式，就是漏掉一条黄线，然后在下一轮迭代中直接越过红线。

Wiblin 还希望把适用范围说清楚。RSP 针对的是灾难性的、急迫的风险——CBRN 滥用、模型失控；结构性风险则不在其列，比如失业、军事化、算法偏见、深度伪造和虚假信息。Joseph 说，这些同样重要，但你没法设计评估去测试一项技术对社会的长期影响。Anthropic 为这一类问题设有社会影响团队和政策团队。对于想要帮忙的听众，他的建议很务实。如果你在实验室工作，就谈谈一份 RSP 应该包含什么。如果你在政策领域工作，就去读已经发布的框架，借鉴其中的经验。如果两者都不是，就写威胁模型，做出随时可用的评估。忙碌的公司会去跑那些已经摆在架子上的测试。

访谈的最后一个小时是职业规划的部分，这正是 80,000 Hours 的重点。Joseph 曾在 GiveWell 实习，计划攻读关于全球贫困的经济学博士，也曾多年与那些让他担心超级智能的人争论，并屡屡在争论中落败。那年夏天，他依然觉得这些人疯了，却仍在和他们争论，最终转了方向，部分原因是博士这条路比他预想的更长，成功的可能性也更低。他在 Vicarious 做计算机视觉，那是一家正在转向机器人的 AGI 实验室。80,000 Hours 主动联系他，催他尽早转向安全工作。OpenAI 两次拒绝了他；Vicarious 允许他把一半时间用来读安全论文；他还为 Rohin Shah 的 Alignment Newsletter 写摘要，以此督促自己。第三次申请时，他终于进入 OpenAI 的安全团队，之后约八个月研究代码模型，理由是：会写代码的模型，是迈向递归自我改进的第一步。安全团队的负责人离开去创办 Anthropic 时，他也跟了过去。在一家还没有代码库的公司里，他的比较优势是让训练更高效。预训练团队只有 5 个人时，他转去做管理，此后一直在扩大这个团队。

Joseph 与 80,000 Hours 标准建议之间的主要分歧，在于研究与工程之间的声望落差。按他的用法，研究是选择方向、设计实验、得出结论；工程是实现实验、搭建工具、让代码跑得快、好用。一个架构想法可能只要一个小时，把它实现出来可能要一周。他见过研究员本该继续做下去的方向被放弃，原因往往是工具糟糕：实验很痛苦，于是就转去做更容易的事情。把工具做出来，就等于开辟了一条路。在他的团队里，他估计约 60% 到 70% 的人工程能力更强，而大多数面试都针对工程能力。这与研究是否重要无关，主要是研究人才相对没那么短缺。他认为，一个在科技公司有十年经验的软件工程师，能很快学会他们需要的机器学习。过去那种“有博士学位的研究科学家”与“负责跑实验的研究工程师”之间的界限，已经淡化了；在 Anthropic，每个人都是技术员工（member of technical staff），部分原因是大规模集群上的分布式训练，让工程变得难得多。

投身 AI 安全工作，首先的理由是赌注之大。他认为，通用人工智能很可能是有史以来最大的技术变革：每个人都能启动一家由百万人组成的公司，其中的每个人都和你认识的最聪明的人一样聪明。这可能治愈疾病、消灭贫困，也可能彻底失控；而目前投身其中的人，仍只有几千人，甚至可能只有几万人。专门针对 Anthropic 的理由，在于人员聚集：五个人待在同一个地方，共享目标，彼此信任，胜过五个人分散在竞争对手的实验室里并行工作。安全研究会尽可能详细地公开；超出这个范围，就很难为其他公司的所作所为负责。在许多机器学习论文里，Joseph 认为，依据论文内容复现一遍大约需要一周，这一点与生物学的文化不同；不过，像最近一篇关于特征的可解释性论文那样，生产模型的细节有时无法完全公开。他提到的招聘岗位有：RSP 团队、他所在团队的研究工程师，以及让定制 AI 芯片跑得更快的性能工程师。不要求博士学位；出人意料地，有不少人来自理论物理，只花几个月就学会了写 Python。他的求职建议是先在公开场合把工作做出来，比如 GitHub 上的评估、可解释性工具、Common Crawl 数据处理流水线，然后把这些作为证明附上。

Wiblin 提出一段 80,000 Hours 早前与 Zvi Mowshowitz 的对话。Mowshowitz 喜欢 Anthropic 的 RSP，但仍认为，面对快速自我改进的 AI，任何一家公司或政府的安全计划都不够。他强烈反对去做那些推动前沿的能力型工作，尤其是在领先的实验室里：这些职位会加快进展，留给解决安全问题的时间就更少。Joseph 对“积累职业资本”这类反驳并不认同。在一个指数增长的领域里，杠杆最大的时刻是现在，不是你四十岁的时候。他估计，2021 年做大语言模型的人大约有几十个，现在则有几千个。他自己的能力也有所提高，但在这个领域还空着的时候，他的潜在影响力可能更大。这个领域也还很浅：你不需要先学上一千年的物理，才能做出贡献。如果你认为时间线只有五年，那么两年的技能积累就占去了剩下时间的很大一部分。

就直接影响而言，Joseph 对 Mowshowitz 的这种划分没有那么信服。他不认为能力和安全是一场赛跑中的两条赛道。很多安全工作依赖能力的进步。Anthropic 的多样本越狱（many-shot jailbreaking）论文，就是用长上下文模型找到了一种既对 Claude 有效、也对其他系统有效的越狱方法；这项研究只有在长上下文模型已经存在的情况下才可能做成。如果你做的是能力相关的工作，他希望你多加思考：去问实验室它的变革理论（theory of change）是什么，与它的安全团队和外部安全研究人员交谈，看看它的治理结构和过往记录，并不断重新评估。让他感到安心的一件事，是看到安全团队帮助能力团队的情况。Opus 发布之前，出过一次“大火”（major fire，指紧急状况）。他的团队缺少人手，无法推进一个关键的研究项目，于是他找安全负责人 Ethan Perez 求助。Perez 和他团队的大部分人离开了一次外地的闭门会议，去了树林里一栋楼的楼上，花了大约两周时间做这件事。在 Joseph 看来，这说明安全团队也认为留在前沿非常关键。他并不认为，这就是人人都赞同他观点的理想世界。你只能控制自己做什么，而世界还会照它自己的方式运转。如果 Anthropic 不复存在，他认为其他人并不会因此放慢脚步、变得更谨慎。

被问到他引以为豪的安全成果时，他特别强调，那些并不是他自己做出来的。他先谈可解释性：从公司刚起步时的单层玩具 Transformer，到生产模型上的特征，其中包括“金门大桥特征”：一旦被放大，Claude 就会停不下来地谈论金门大桥。同一篇论文中还有与安全相关的特征，其中一个能标记出错误或有漏洞的代码，而且可以编辑，使模型不再写出那种漏洞。这还解决不了重大问题，但他认为，这些进展很多如果没有 Anthropic 的可解释性团队，就不会发生。他还把多样本越狱视为与 RSP 相关的一项发现：这是一种可靠的办法，能激发出你以为已经封住了的能力。潜伏代理（sleeper agents）的论文，显示出欺骗性行为的早期迹象。影响函数（influence functions）研究的是哪些训练数据产生了某种行为，它是查看权重的那一面的对应物，从数据一侧入手。宪法式 AI（Constitutional AI）用一份写好的原则清单，借助 AI 反馈来训练模型，而不是为每一种情况都让人来打分。他希望安全的衡量标准和产品一样：看产出，不看投入。接近 AGI 的时候，没人会在乎你用了多少块 GPU、多少人，大家只会关心你找到了什么。

按他的描述，公司文化里的结对编程程度，超出了他的预期。早期，Tom Brown（一位曾在 GPT-3 上做过这件事的创始人）在日程里安排了一场八小时的会议，Joseph 就在一旁看着他写一个把语言模型训练分布到多块 GPU 上的方法。他们用的是 Tuple，一个人操作，另一个人可以抢过光标。这很耗人；第一次的时候，Joseph 紧张得连厕所都不敢去。公司在旧金山、伦敦、都柏林、西雅图和纽约设有办公室，通常要求约 25% 的时间到办公室办公，往往是每月一周，这样既能建立信任，又不必让那些因为所在城市而无法搬迁的人离开。公司扩张得很快，在搬家之前，办公桌就已经不够用了。他说，这份工作最难的，是赌注之高带来的压力，再加上两次发布之间以月计的商业时间表；这不是小委屈。他不认为 Anthropic 是一种“末日气氛”很重的文化，日常工作也让他觉得有趣，只是做决定时，会觉得事情很要紧。说到应用，他觉得被高估的一种，是用它代替谷歌搜索简单的事实问题；这类问题他自己仍然用谷歌。对他来说，被低估的，是编程，以及那些需要大量背景信息、任何搜索框都装不下的问题。