在 60 人的安全闭门会上，只有四人见过仍是非营利组织时的 OpenAI

主持人 Nathan Labenz 在这期 Cognitive Revolution 开场时说，Steven Adler 是十二名曾向法院提交意见书的前 OpenAI 员工之一。他们在马斯克起诉 OpenAI 的案件中提交意见书，认为非营利使命是公司成功的核心，应当由非营利机构保留控制权。在 2025 年 5 月 8 日发布前几天，OpenAI 宣布将组建一家公益公司（public benefit corporation），并继续受非营利机构控制，这一举动似乎回应了促使这次访谈的那个问题。Labenz 把这则消息看作 Adler 和其他意见书提交人的胜利；网上的反应从谨慎乐观到直接的冷嘲热讽都有，有人认为公司只是在玩文字游戏。接下来的对话几乎没有触及诉讼细节，而是从 Adler 的内部视角，还原了 OpenAI 的历史、文化，以及它的安全姿态如何被慢慢侵蚀。

Adler 在 2020 年 12 月加入，就在原版 GPT-3 API 上线后不久。应用团队约 30 人，全公司约 180 人。他的工作是管理产品安全流程，这份工作在另一种情境下，可能意味着要在即将离开的研究员和留下的研究员之间斡旋。然而，分裂已经开始，他还没来得及安顿下来。

不到一周，他的经理 Mira Murati 在他的日历上加了一个临时会议。电话里，她告诉他，公司当天会宣布有一批人将离开，去创办 Anthropic。她把这件事当作公司里常会发生的事来处理，并表示领导层会谈谈如何继续忠于使命。第一波大约有七人离开，其中包括 GPT-3 论文三名主要作者中的两人。

外界常把 Anthropic 的创立记成一次剧烈的断裂。Adler 说，这种说法忽略了它持续的时间有多长，那更像是背景里不停的噪音。最初的离开之后，陆续有人不断离开 OpenAI：有人加入了新实验室，也有人（包括 Paul Christiano）创办了对齐研究中心，Adler 认为这个机构与后来的 METR 有关联。在两三个月里，公司一直带着一个自由落体式的问题：还会失去多少人？它还能不能继续开发系统？

这段时期后来成了每次内部危机的参照。无论当时多糟，人们都可以说：OpenAI 已经在森林里走过一遭，并且走出来了。Labenz 曾听人把这次分裂描述为基础研究与产品化之争，他也指出，Anthropic 现在自己也在推出有竞争力的产品。Adler 讲的是二手的、经过转述的故事，他请听众对他的版本打个折扣。

他并不把这次分裂理解为反对商业化本身。据他复述，异议在于 OpenAI 走得太快了：治理这项技术用途所需的基础设施还没有到位，关于 AI 在社会中角色的更广泛问题也没有答案。这些问题包括 AI 陪伴，以及面对情绪困扰者的“心理咨询师式”AI 应该如何定位；即使系统的能力已经强了很多，世界至今也没有解决这些问题。GPT-3 本身“相当失控”，回答方式经常让人觉得，以模型当时的状态来看，部署是很鲁莽的。

Adler 后来把自己在 OpenAI 的几年分成四个阶段：产品安全、GPT-4 的部署、危险能力评估，以及 AGI 准备度研究。产品安全意味着跨团队合作，决定平台允许哪些用途、怎样制定政策、怎样识别违规，以及接下来怎么办。他刚来时，OpenAI 还没有内容政策。禁止的用途写在服务条款里，比如非法监控这类明显的禁令；而更难的界线，比如 AI 色情内容和基于身份的暴力，仍未定下来，公司也没有足够好的分类器，来执行它决定的任何规则。

原有的内容过滤器远远不够好。他最早做的项目之一，是重新校准置信度阈值，让过滤器既能抓到更多违规内容，又对客户更实用。之后他参与发布了新的过滤器，接着是 Moderation API，这也是 OpenAI 目前仍在使用的工具。与此同时，公司也学会了把更多安全行为直接烘焙进模型，让开发者不必自己在过滤器外面套一层、再反复重试补全。Labenz 认为这些年政策变得更宽松了，Adler 说这一判断完全正确，部分原因是工具变得更精确了。

除了精确度的提高，他认为还出现了一种理念上的转变。如果另一家开发者允许某个用例，却没有设置某项护栏，这件事在 OpenAI 内部就会变成一个值得考虑的因素，理由是边际伤害已经不高了。问题在于，如果公司之间不断相互削弱底线，会发生什么。每家公司都可以说，因为竞争对手已经上线了这种行为，所以增量风险很小。结果，在这些做法上，没有哪家公司觉得自己应该为此负责，却出现了一场逐底竞赛。

GPT-4 刚从训练集群下来时，人们接触到的是基础模型，这种模型很难驾驭，内部的反应是怀疑规模化是不是已经到头了。后来，测试者使用了经过指令微调的版本，发现它精确得多。Adler 大为震撼，同时隐约感到不安；与其说他担心 GPT-4 的即时风险，不如说他不安于这条趋势线意味着什么。OpenAI 请超级预测者预测，GPT-4 的发布会有多高调或多低调，以及这会如何影响公众反应。内部随即出现了分歧：一派关心 GPT-4 本身的危害，另一派担心它会敲响一记无法收回的警钟。ChatGPT 上线时用的是 GPT-3.5 级别的模型，因为 GPT-4 的安全缓解措施还没有完全成熟。等到能力强的模型进入市场，商业激励就接管了一切，其中包括微软 CEO Satya Nadella 以让谷歌“跳起舞来”为乐。Labenz 在 GPT-4 早期做过红队测试，他发现，一个号称拒绝所有审核类别的安全版本，只要在末尾加上一个简单的“AI:”续写，仍然会被攻破。Adler 说，那时的拒绝机制非常脆弱，他希望各家公司公布自己对缓解措施实际稳健程度的判断。

GPT-4 之后，Adler 转到 OpenAI 的治理团队，与 Rosie Campbell 一起牵头危险能力评估。他受到与 Jade Leung 交谈的启发，Jade Leung 现任英国 AI 安全研究所的首席技术官。目标是打造一套工具，让 OpenAI 和外界能基于证据，而不是凭感觉，做出部署决定。他给构建者的第一条建议是：不要只做那种容易做的评估。早期的语言模型评估绝大多数是多项选择题加精确匹配，他把这比作在路灯下找车钥匙，因为那里灯光最亮。如今的模型能力太强，这种形式已经无法揭示太多东西。

他的团队推动交互式、多步骤的评估，并引入了“求解器”（solvers），把任务设计与模型的解题策略分开。一个评估应当规定任务、什么算好的表现，以及这种表现如何评判；不应该把草稿区或少样本提示硬编码进欺骗或生物测试里。英国研究所的 Inspect 框架，以及 OpenAI 后来开源的 nanoeval，都是为这种分离而设计的。脚手架本身也必须作为一个变量记录下来：GPT-3.5 甚至 GPT-4，常常因为括号拼写错误而在 JSON 任务上失败，这种可靠性问题，简单的工具可能会掩盖。而系统卡几乎从不披露足够多的设置细节，外人很难判断一个模型是能力不足，还是只是没有配备相应的工具。

他把构建评估比作构建强化学习环境，但抽象层次要足够高，让 OpenAI 的模型可以换成 Anthropic 或谷歌的模型，测试框架依然能跑。2022 年和 2023 年的许多评估工作，把特定模型的假设固化了进去，这也是尽管有前沿模型论坛，前沿实验室仍然重复劳动、无法共享威胁模型的原因之一。如果丰田、本田和福特各自从零发明碰撞假人测试，报告的数字彼此无法比较，公众会觉得荒唐；他认为，模型安全评估目前看起来就是这样。当没有单一的标准答案时，他对用大模型当裁判打出的分数保持警惕，比如从 4.2 分挪到 4.3 分这种微小变化。他的团队更偏好可验证的任务，比如函数推断：模型去猜一个隐藏的数学输出，成功与否是明确的，即使它的策略看起来很怪。

谈到生物武器，Labenz 说，考虑到同样这些系统在日常生产性工作中有多大用处，那种“当今模型无法实质性地提供帮助”的说法站不住脚；而这些模型通常是在只提供帮助、已经撤掉护栏的设置下被衡量的。Adler 也有同样的直觉。公开对 OpenAI 助力研究的批评认为，换一种统计检验就能得出显著结果，而一旦仅凭方法论就能让结论翻转，他说，那你就身处一个相当诡异的世界。他还回忆说，o3 的系统卡可能发现它对专家有明显助力，但对普通人或生物学本科生还没有。Labenz 补充说，在 GPT-4 早期测试中，一位经营医院实验室设备的亲戚，从模型那里得到的故障排查建议，与专业人员本会给出的做法一致，这让人放心的“AI 缺乏隐性知识”一说站不住了。Adler 从经济角度看这件事，认为会出现去技能化：把现场画面传给前沿模型的 AR 眼镜，可以一步步指导新手完成工作。那些认为纯软件形态的 AI 因为没有实体而安全的人，忽略了大量人类会在物理世界中充当它的代理人。

Adler 从来不在预备团队里，他是在治理团队里参与《准备度框架》（Preparedness Framework）的工作；这个团队后来在 Miles Brundage 的领导下，变成了 AGI 准备度团队。在把前沿模型监管、危险能力评估和算力治理推上政策议程之后，团队问：如果 OpenAI 或别人真的成功了，做好准备意味着什么？Adler 的主要项目是人格凭证：一种抗 AI 的方式，用来把某项活动归属到某个人，而不必指向某个具体的人，让互联网能扛住那种几乎能做人类在电脑上所有事情的智能体。他把今天的网络比作 HTTPS 出现之前的互联网，那时伪造网站很常见，用户无法相信网址返回的是真实内容。

Anthropic 的电脑操作智能体和 OpenAI 的 Operator，他说，让这个问题有了真实的时间压力，否则就只能接受难看的权衡。爱沙尼亚的电子身份证让公民可以远程、以自己的身份对文件进行加密签名；美国驾照上没有这种芯片，所以远程证明依然要靠自拍或视频，而 AI 系统正越来越擅长伪造这些东西。整个互联网往往只需要证明你是某个看起来合理的人，而不必证明你是某个特定的人。如果没有新工具，替代方案就是更多的验证码、更大的压力让人录下自己的脸，以及更少的匿名性；而验证码本身，在面对能力强的模型时也越来越脆弱。

Sam Altman 的 World（原名 Worldcoin）是人格凭证的一个例子，但它捆绑了凭证本身并不需要的功能，包括加密货币和通过 Orb 进行的虹膜生物识别。Adler 指出，美国护照的芯片可以支持零知识证明：证明持有人是护照持有者，却不透露是哪一位，而且凭证这一层本身不需要政府签发方，也不需要生物识别扫描。恢复账户是一项艰难的权衡：保存的人与凭证之间的关联越多，丢失后越容易恢复，但隐私也越差，而且系统里总得有人需要被信任。他希望有多个签发方，这样不信任政府的人和不信任去中心化群体的人都有选择；同时他也承认，每人拥有的凭证越多，机器人操控木偶的攻击面就越大。他认为，只要承认这一代价，它就值得付出。

Labenz 问，凭证如何附着在今天这些形态模糊的智能体技术栈上，因为智能可能藏在某次 MCP 工具调用里，或者第三方规划器里。Adler 提到 Alan Chan、Tobin South 等人关于智能体基础设施的研究，并表示他还没有看到简单的架构答案。无论采用哪种技术栈，他想要的是一项经过验证、又保护隐私的事实：有一个真实的人为这个实体担保。这样，智能体就能出示凭证持有者签发的授权委托书。而现在，没有办法知道 AI 被告知的某个名字是否可信，也无法知道运营者是不是那个已经被某项服务封禁的同一个人。

被问到 OpenAI 是否认为自己在追求递归式自我改进，Adler 把“自动化软件工程”和“自动化机器学习研究”区分开来。他对前者似乎很有把握：首席财务官 Sarah Friar 公开描述过，一款智能体式软件工程产品的工作已接近里程碑，这与他的前同事 Daniel Kokotajlo 在《AI 2027》情景中的设想相吻合。他想看到、却没有看到的，是对速度、瓶颈，以及这条路径为什么是安全的分析，即使这些分析只在内部保密。人们似乎是凭信念相信，系统不会进步得比控制手段跟得上的速度还快；而且，并非公司里的每个人都认真对待这种可能性。

他希望政府或某个国际机构审计这类推理是否真的存在，并且站得住脚，而不是因为话题重要，就默认公司一定做过了这项工作。Labenz 引用了 o3 和 o4 技术报告中的数字：在复现 OpenAI 研究工程师提交的 pull request 方面，成功率从接近零跃升到四十多。Adler 不愿评判这是不是炒作；他认识预备团队的人，认为他们不会在伪造评估，但他现在最关心的问题是：如果这个“萌芽”是真的，世界应该怎么做？2023 年，他提到 Sam Altman 曾作证支持对训练前沿模型实行许可制度，之后又有所退缩；世界便退回到自愿承诺上，而公司经常不遵守这些承诺，没有达到时也可能不公开。

此前 Adler 预告过一篇 Substack 文章，主张“向上竞赛”不是安全机制：如果赢得竞争足够重要，落后的实验室会承担越来越大的风险，而且没有办法让它们退出。他提出的折中方案包括设定最短测试期，让实验室有时间做安全评估，而不必担心竞争对手抢先发布、把自己拖下水。在他看来，欧盟的《通用人工智能行为准则》是近期最有可能产生真正后果的法律力量；如果它有牙齿，他预计企业会游说、拒绝签署，或者在欧盟限制发布。他对 OpenAI 反对加州 SB 1047 感到失望：该法案要求训练超大模型的公司备案安全计划，并在行为不合理而造成灾难时承担责任。高管们暗示他们更希望有一部联邦法案，但 Adler 不认为他们会支持联邦版的 SB 1047。

他拒绝那种把一切都归结为钱或权力的卡通式动机论。呼应前上司 Miles Brundage 的说法，更好的描述是：社会需要的是那些即使不信任某些具体高管，也能验证的做法。Adler 认为，各家实验室是在协调失灵中走向了相互背离，并用“持续测试能让它们足够安全”之类的说法把问题遮掩过去；而更诚实的说法是：风险很大，他们不想仓促行事，但又停不下来，因为其他人也会仓促行事。先行者要付出代价：一家依赖英伟达善意的 AI 公司，可能认同收紧美国对华芯片出口管制，却保持沉默，因为竞争对手可能把这一立场当作外交攻击，带到供应商那里去。

Labenz 问，随着公开能力与私下能力之间的差距扩大，OpenAI 内部还有多开放。Adler 称这一走向“相当诡异”，并引用 Apollo Research 关于内部部署的一份报告：最强大的系统很可能先在实验室内部用于敏感工作，外界还不知道它们存在。对权重的访问控制一直存在，但关于算法、能力和训练进展的信息，变得越来越只限于“需要知道”的人。即使在 AGI 准备度团队里，他有时也分不清刚出炉的是什么，或者它能做什么。如果外界听不到匿名的反对声音，更可靠的推断是：大多数员工根本接触不到相关信息，而不是问题不存在。

在快问快答环节，Adler 说，他对超级对齐团队的解散没有特别的内幕，会以 Jan Leike 的推文为准；那些推文读起来很痛，描述了好几件事同时在变坏。他不认为 OpenAI 内部的人认真对待了关于 Suchir Balaji 之死的阴谋论，但看着一个敢于发声的人去世，那种不安是真实的。在他发推文宣布离开、并表达对未来的担忧之后，有人建议他公开声明自己永远不会伤害自己；他觉得这个要求没有必要，也反映出信息环境的悲哀。作为员工，他更担心不稳定的人对一个有分量的产品做出反应，而不是担心抗议者把自己锁在办公楼上；大多数员工对公民抗命几乎没有感觉，只把它当作安全团队发出的一条提醒：改走另一个门。

他反复提到的一个文化信号，是一句入职口号被翻转了。早期，新员工被告知，OpenAI 不只是一个研究实验室，它还有产品业务，用来为非营利使命提供资金。在他任职中期，一次大约六十到七十人参加的安全闭门会上，一位发言人开场说，OpenAI 不只是一家产品公司，它也是一个研究实验室，Adler 为之震惊。他数了数房间里有谁是在商业化之前就在这里的，也就是在 GPT-3 部署之前就在的，这批人里不包括他，最后数出大约四个人。Adler 还说，前同事 Richard Ngo 关于政治变革的文章，落脚于对他人信念的不确定性，这与一家公司的情况相吻合：信息被层层隔开，坦率变得更难，而随着公司规模变大，旧的匿名担忧渠道已经消失。

谈到那份法庭之友意见书，Adler 强调他只代表他本人。OpenAI 曾承诺对一家意义极其重大的营利实体实行非营利控制，人们是基于这份承诺来决定是否加入的；他无法想象有什么合理价格可以补偿放弃这种控制，因为教育或科学的额外资源，无法取代对人类而非股东的问责。如果非营利机构对营利部门没有任何约束，那么取消控制就无所谓；而 OpenAI 要取消控制这一事实，本身就说明这种约束是真实存在的。Labenz 指出，章程里的“合并与协助”条款，以及它举的例子（两年内实现 AGI 的概率为五五开），如今已显得近在眼前；Adler 同意，并补充说，合并还需要一个愿意合作的对象。他也希望，当大家都承认这场竞赛会实际伤害人的时候，各家公司能够合作。他对仍在前沿实验室工作的人的建议是：站出来，起草第一版承诺，推动公司遵守它，并效仿 Anthropic 的做法，把公开承诺集中列在一个页面上。页面上的就是承诺，不在上面的就不是。