Joshua Monrad：AI、生物安全与纵深防御

Nathan Labenz 介绍嘉宾 Joshua Monrad：他是生物安全非营利组织 Sentinel Bio 的联合创始人，也曾担任 OpenAI Foundation 的顾问。两人讨论能力不断提升的 AI 可能如何放大生物技术被滥用的风险，以及社会如何更安全地实现生物技术的益处。

Labenz 说，这场讨论既关注降低风险，也关注积极的未来：减少传染病，并更好地治疗严重疾病。Monrad 认为，要实现这样的未来，既要防范恶意使用，也要应对自然暴发。

Labenz 概述 Monrad 对纵深防御的主张：仅靠 AI 层面的控制可能不够，数字系统与实体材料、服务发生交互的环节也需要防护。Monrad 主张先明确希望达到的安全结果，再倒推实际投资和措施。

这次采访源于一场线上分歧：一次涉及自主智能体的事件，是否应被视为生物安全方面的险情。Labenz 对这种可能性感到担忧；Monrad 认为完全自主的生物事件还没有那么迫近，但仍预计风险会增加。

Monrad 将人类滥用生物技术的历史与三种 AI 相关情景区分开：AI 辅助人类、AI 诱导人类行动，以及系统在没有人参与的情况下端到端执行。各情景面临的约束不同，不应当作同一个预测。

他认为 AI 辅助已经值得关注，其他领域的社会工程事件可能是第二种情景的预警信号。至于完全自主的实体操作，他预计机器人能力和实体资源的可获得性目前仍构成重要约束。这是他的判断，并非经过测量的预测。

谈到历史风险，Monrad 区分了国家项目与非国家行为者及其不同动机。他提醒，不能只因为一种行为不理性，就断定它不会发生。他认为，历史经验说明除了能力，还必须考虑意图和资源获取。

Monrad 说，历史上的国家和非国家项目提醒我们，不同行为者的意图各不相同。他认为，仅有威慑或不确定性，并不能消除公共卫生准备的必要性。

广告结束后，讨论转向已知与新型生物威胁的区别。Monrad 强调，理论上存在防护手段，并不意味着社会已经做好有效部署的准备。他认为，近期大流行的经验暴露了两者之间的重要差距。

被问到某种特定疫情会造成什么后果时，Monrad 没有凭记忆给出确定估计。他指出，准备程度与免疫状况存在不确定性，不能认为已有科学知识就必然带来令人安心的结果。

Labenz 与 Monrad 讨论技术能力如何扩散。Monrad 担心的不只是某个决定性事件，也包括许多进展共同改变谁能够完成高难度工作的可能性。他认为，变化的幅度和速度都需要研究。

Labenz 询问 AI 如何改变能够完成复杂生物工作的人员规模。Monrad 认为，能力提升值得通过实证研究检验，同时强调生物工作包含多个阶段，不同问题的难度也不一样。

Monrad 将能力提升研究定义为：比较参与者在使用 AI 和适当基准条件下能够完成什么。早期评估常依赖数字题目；后续研究则让参与者在受监督的实验环境中开展任务，以衡量实际表现，而不只是知识。

他介绍了一项约有 150 名相对缺乏经验者参加的研究：部分人使用当时的 AI 系统，其他人使用互联网。他说，研究发现部分任务有小幅提升；但研究成本高、耗时长，结果本身不能直接说明更新模型的能力。

Monrad 说，这项大型研究由他的组织和 Frontier Model Forum 共同资助，花费超过 100 万美元。实际组织成本说明，实验不能像模型基准测试那样快速反复进行。

Monrad 认为，此类评估需要专门的基础设施，也需要更频繁地重复。研究应衡量相关能力，同时避免让参与者或公众面临不必要的危险。他呼吁建立更强的独立研究团队生态。

他还提到一项规模更小的研究，据称使用 AI 的参与者表现优于仅使用互联网的对照组，但样本有限，限制了结论。两人都认为，模型变化很快，要及时获得设计严谨的证据并不容易。

Labenz 询问，如何调和总体能力提升有限的研究结果，与 AI 在某些实验室故障排查任务中表现出色的报告。Monrad 称能力提升数据是滞后指标：研究和发表都需要时间。他也提醒，既不能忽视实验室经验，也不能认为现有门槛永远可靠。

Monrad 说，实验室专业经验确实重要，不应轻视。与此同时，他预计多模态辅助能力的进步会改变某些现有门槛的作用。他认为这说明评估需要更新，而不是证明所有门槛都已经消失。

两位讲者都强调技术的双重用途：让生物研究更容易的进展，也可能带来安全挑战。Monrad 说，防止滥用不应意味着放弃生物科学的有益目标，而是要认真面对其中的权衡。

Labenz 询问，有益能力和有害能力能否被清晰分开。Monrad 回答说，两者常有大量重叠，简单限制因此很难奏效。两人的共同目标是在减少可预见危害的同时保留有益应用。

他们讨论训练数据选择和访问控制是否能够降低特定风险。Monrad 认为这些方法可能有价值，但没有声称单靠过滤就能解决问题。他主张通过实证测试其效果，包括对正当研究的影响，并与其他防护结合。

Monrad 说，敏感数据治理方案在分类、访问、安全以及科研成本方面仍有许多未解问题。他认为这些问题要求认真研究，而不是据此直接宣布成功或全盘否定。

Labenz 追问核心权衡：生物学理解既可能用于有益目的，也可能被用于有害目的。Monrad 说，他的组织不应不顾证据而固守某种偏好的干预措施。如果投入充分后仍证明不可行，就应转向其他防护层。

Monrad 认为，政策和技术治理仍处于探索阶段，并没有现成答案。他希望研究者迅速、诚实地评估方案，尽可能保留有益科学研究，同时并行推进模型和数据之外的防护。

谈到近期情景时，Monrad 区分了模型能力与把数字输出变为现实行动所需的实体和组织条件。他预计这种平衡会变化，但强调时间判断和生物问题本身的难度都存在不确定性。

Monrad 认为，某些能力的进展会先于实体自主操作，但他提醒预测也可能被意外进展打破。他强调，机器人进度和人类协助的可获得性会以不同方式影响实际风险评估。

讨论转向智能体与人以及外部服务交互的挑战。两人探讨，更高的自主性可能如何改变风险图景。Monrad 倾向于在相关环节开展实际监测与核验，而不是假设某一道屏障永远足够。

Monrad 将实体世界的防护分为材料监管和服务监管两类。他希望威慑滥用、拒绝不当请求并让值得关注的模式可见，同时保留正当研究和其他有益用途。

Labenz 问，Sentinel Bio 审视了许多可能的干预措施后，为什么选择这些领域；如果并非所有参与者都采用，措施是否仍有帮助。Monrad 认为，进展不必等到所有人都加入，但覆盖率、执行质量和协作都很重要。

他强调在数字请求与实体服务的交界处进行核验。目的在于支持可追责的决策并发现值得关注的模式，而不是一概禁止正当科研请求。

他提出的方法结合筛查、客户核验与适当的信息共享。Monrad 将这些措施视为更广泛纵深防御的一部分，而不是说采用率达到某个百分比后风险就会消失。

Labenz 设想，限制自主智能体持续运行的时间是否可以降低某些风险。Monrad 预计市场会强烈推动能够长期工作的智能体，并认为安全措施应避免无谓地拖慢有益科研。

被要求量化新增风险时，Monrad 没有给出精确概率。他认为这是后果严重、值得投入更多人才和资源的问题；就当前个人判断而言，他更倾向于把它视为低概率、高后果的风险，而不是确定即将发生的事件。

Labenz 指出，当后果足够严重时，即使年度概率很小也值得重视。Monrad 同意需要行动，但避免给出缺乏依据的数字估计；他也希望人们理解，建设韧性既困难又昂贵。

他区分了防止滥用与建设全球韧性这项更长期的工作。他希望看到及时检测、抑制传播的措施，以及能够在全球公平分配的灵活医疗对策。他估计，达成完整愿景需要很多年，甚至几十年。

Labenz 询问哪些组织可能推动相关进展。Monrad 说，答案取决于讨论的是哪种能力：重大突破与广泛的小幅改进可能来自不同参与者。他预计，通用工具和专用工具会逐渐更紧密地结合。

Monrad 区分了较快能够取得的针对性改进与覆盖全球的完整安全体系。他希望两者同时推进：近期降低滥用风险，长期建设准备与应对能力。

Labenz 问，大型 AI 公司及其基金会的资源能否加快生物安全建设。Monrad 欢迎更多投入，但区分了保护特定群体这一可推进的目标，与保护全世界这一困难得多的目标。他说，仅有资金承诺并不能证明社会已经具备韧性。

Labenz 提出一个假设问题：如果 Monrad 有权要求前沿 AI 开发暂停，直到达到一定安全标准，他会不会这么做？Monrad 回答会，因为他认为生物韧性不可能在短期内全面建成。这是他提出的政策判断，并非现行规则。

Monrad 说，他最近结束了在 OpenAI Foundation 的顾问工作，无法代表该基金会当前的官方观点。他感到人们对这些问题更加认真，并希望拥有大量资源的机构负责任且紧迫地使用这些资源。

至于暂停应覆盖什么，Monrad 说自己不太适合划定具体边界。他更愿意描述降低滥用风险、加强韧性的实际里程碑；不同部分可以在不同时间尺度上取得成果。

他希望在政治意愿出现时，基础设施和政策已经准备好扩大应用。同时，他强调，在全球公平分配保护措施是另一项更长期的工作。Sentinel 的方法是先设定最终状态，再倒推实现它所需的步骤。

Labenz 询问，大规模慈善资金能否迅速购买防护设备。Monrad 认为，为关键工作人员提供有针对性的保护是可以做到的；但更广泛的应对除了采购，还需要配送、维护、正确使用及其他基础设施。

两位讲者把保护关键工作人员作为一个具体目标。Monrad 强调，提供装备只是任务的一部分；可靠配送与操作准备决定了资源在危机中是否真正有用。

Monrad 呼吁资助者以人们是否真正更安全来衡量成果，而不是只看承诺投入的资金或宣布的资助数量。储备和防护技术只有送到需要的人和机构手中，才会发挥作用。

比较两人的直觉时，Monrad 说，他预计 AI 驱动的生物攻击达到极高可能性的时间，比 Labenz 直觉中的更晚；但全球全面防护所需时间也更长。因此，他认为争取时间与加快具体防护应同时推进。

Labenz 询问哪些工作被忽视了。Monrad 主张对一个问题负责到底，直到取得实际成果，而不是把注意力分散到许多看似重要的话题上。他说，小而专注的团队如果协调政策、工具和落地，可能产生超出规模的影响。

Monrad 说，社交和职业激励可能奖励广泛涉猎，却不利于把一个问题真正解决到底所需的朴素工作。他的组织努力鼓励员工和受资助者持续承担这种责任。

他举例说，可以加强生物供应链安全，并支持负责落实措施的人。他也呼吁加强国际外交能力，避免这个问题只在科技中心和少数国家政策制定者之间讨论。

被问到积极愿景时，Monrad 描绘了一个更善于及早发现疫情、减少传播并开发有效对策的世界。他认为，这既关乎自然出现的疾病，也关乎防止滥用；防护应覆盖脆弱人群，而不是只成为富裕地区的特权。

他还强调生物技术在慢性病和癌症方面的潜力。他说，这些益处不会自动得到公平分配；公平可及性需要尽早纳入设计，并且必须让机构承担责任。

Monrad 最后给出审慎但怀有希望的判断。他认为未来几年仍有大量实际工作可以推进，并呼吁政策制定者、研究者和资助者为具体改进承担责任，而不是认为问题已经解决或毫无希望。