如果我是加州州长，我会签署：SB 1047 在加州的最后一场辩论

2024 年 8 月下旬，加州州议会大厦周围流传着两封信。OpenAI 明确反对 SB 1047，即《前沿人工智能模型安全与可靠创新法案》（Safe and Secure Innovation for Frontier Artificial Intelligence Models Act）。Anthropic 没有正式表示支持，但说这项法案可行，认为收益大概率超过成本，风险是真实存在的，合规也是做得到的。前众议院议长佩洛西也表达了担忧。这项法案已经通过了所有委员会的审议。州众议院还要表决，参议院还要协调两院版本，而这一切都必须在 8 月 31 日之前完成，之后法案才会送到州长 Gavin Newsom 的案头。

这是一期 Cognitive Revolution 特别节目。主持人 Nathan Labenz 请回了五月那场辩论中的同样三位嘉宾。那次对话反响很好，原因是观点对立的人能够善意地争论。Nathan Calvin 代表 Center for AI Safety Action Fund，是这项法案的联合发起方之一，与 Economic Security California Action、Encode Justice 共同发起。Mercatus Center 的研究员 Dean W. Ball 在法案文本公布的次日就发表了批评，此后一直是主要的反对者之一。Steve Newman 正在做一个项目，它的工作口号仿照谷歌早年的使命宣言：把 AI 领域的分歧变成普遍具有建设性、人人都能看懂的内容。

Labenz 直截了当地表明立场：如果他是州长，他会签署。但这并不是他在每一版修改中都保持的立场。他从来不认同这项法案会对 AI 研究造成严重的寒蝉效应，但有一次改写似乎给了前沿模型委员会过大的权力，他一度想收回即使是有保留的支持。在他看来，一个判断失误的委员会很可能弊大于利。现在这个委员会已经没有了。节目的老朋友 Zvi Mowshowitz 的判断是，这项法案主要已经变成了一部透明度法案：前沿公司早已承诺做安全测试，而法律会要求它们把计划写下来、交出去，并接受审计。

Calvin 逐条讲解了这次改写。新设的前沿模型部门（Frontier Model Division）被删除，部分职能转给政府运营局。安全材料不再需要以伪证罪的处罚作为担保，其中一部分会公开，公司可以做删减。面向云服务商的非歧视和定价透明规定也没有了，公共算力附加条款 CalCompute 同样被去掉了。这项法案的核心义务，从原来要求开发者提供“合理保证”，确保模型不会促成大规模危害，改为要求“采取合理注意”，以防止不合理的风险；后者是产品责任法里的背景标准。覆盖范围现在由硬性的金额线决定：从零训练成本超过 1 亿美元，或者对他人已覆盖的模型做微调超过 1000 万美元。从 2026 年开始，被覆盖的公司必须聘请第三方审计机构，审计规则由政府运营局制定。公司内部发现风险的员工，也有了正式的举报渠道。Labenz 剩下的反对意见，集中在这 1000 万美元的微调门槛上。在 OpenAI 的平台上，一次微调往往只花 5 美元或 100 美元，几乎没有人会达到 1000 万美元，因此责任仍然落在 Meta 这类开放权重模型的发布方身上，而日常的应用开发者，尤其是销售能执行真实世界操作的自主智能体的团队，却太容易就置身事外了。经历了一年的混乱，其中包括围绕 o1 的那阵草莓表情符号式炒作，他对 OpenAI 的反对信没什么耐心。Anthropic 的信他是认真读过的。他感谢来自旧金山的参议员 Scott Wiener，在他看来，这堪称一项艰巨的公共服务。

Ball 接受了事实层面的梳理，让步的幅度比反对者通常会做的要大。他说，这项法案比二月份的版本改进了很多，改进到让加州的其他 AI 法案显得更糟。不久前，AB 2930 还会要求几乎所有使用 AI 的企业撰写算法影响评估。一个想让模型替客户起草报价的电工，也得先做一次评估。这一条后来被撤回了。不过 Ball 对 SB 1047 仍有一些挑剔，他的批评从制度的细枝末节，一直延伸到政治结构。

前沿模型部门虽然没有了，但它遗留的权力仍然放在政府运营局里。这个机构负责加州的后勤职能：人事、IT，相当于联邦的总务管理局。Ball 直到后来，在与 Jen Pahlka 的一次推特往来中，才意识到这一点。这样的机构并不具备监管前沿技术所需的制度文化。它发布的“指引”听起来无害，因为没有约束力，但它们仍是软法，也就是非正式的规则，既可能很灵活，也可能很随意。他举的例子是 FTC 主席 Lina Khan：她曾发帖说自己喜欢开源（open source）AI，随后又补充说，如果一家主要的供应商从开源转向闭源，委员会会对此不以为然。设想 Llama 5 看起来有危险性，而 Meta 在是否发布它上举棋不定：此时，来自政府另一个部门、反对闭源的警告，正是软法会产生的那种相互矛盾的信号。

审计规则也可能以同样方式被扭曲。假设“合格的审计”要求查看使用数据。开放权重的供应商无法看到下游用户做了什么，拿不到这样的审计，因此也就无法满足法案的要求。把视野拉远，Ball 更大的反对意见是：加州根本就不该做这件事。在他看来，过去五到十年西方的科技监管大致是这样的：布鲁塞尔和萨克拉门托的决策者发现，他们可以为美国公司乃至全世界制定规则，而联邦政府却置身事外。SB 1047 覆盖所有在加州开展业务的公司，实际上就意味着所有在加州分发的模型，也就等于全国。他不认为得克萨斯州会愿意接受萨克拉门托的监管。他说，人们已经相当认真地讨论“美国分家”，而围绕 AI 规则的分裂，就是其中一条真实可能的途径。另外，加州也没有能力应对这项法案所牵涉的国家安全问题。

最根本的问题在于，这是一部基于模型的立法。你可以用 AI 来规范人们的行为，为医疗或银行业设定行业标准，也可以直接监管模型本身。Ball 认为这三者都需要，但基于模型的规则，是对软件治理方式的一次代价高昂的断裂：软件治理讲究无需许可的创新，以及一个出了 bug 却很难起诉开发者的世界。他说，SB 1047 并没有猛烈冲击这些根基，但确实在轻微地冲击，而这就像怀孕一样，没有“稍微怀上一点”的中间状态。一旦迈过这一步，就进入了另一种政策体制，哪怕第一步很小。要对所有前沿模型都这样做，需要有证据表明，未来五到十年能力会出现剧烈跃升。Ball 说他没有看到这种证据。他引用了 Martin Casado 的观点：目前的进展看起来像是在向一条渐近线做曲线拟合，而真实世界则是厚尾分布的。自动驾驶汽车，是迄今为止最接近 AGI 形态的问题，多年来一直卡在这条长尾上。他描绘了政府运营局可能失败的两种情形。一种是：医院、律师、教师和政府雇员（加州最重要的利益群体）借助不断扩张的监管体系，把 AI 限制在成千上万种具体场景里。另一种是：政府运营局发布了一份 36 页、满是流程图的备忘录，拥有 100 亿美元级算力集群的前沿实验室把它当成走过场的勾选任务，大家都放松了警惕，然后真正炸开的，是某个没人建模过的未知因素。

Newman 一直在看着公共讨论越来越粗糙，他想为此做点什么。AI 政策涉及能力时间线、生物技术、就业市场、网络安全，以及上千个其他问题，发展速度快到连全职关注者都跟不上；推特和 Substack 上的争论，则碎片化为各种误解。他的项目会先组织建设性的讨论，再把讨论提炼出来。比如一条关于模型能否帮人制造超级病毒，以及 DNA 合成仪是否已经能筛掉这类请求的长串讨论，99.9% 的人都不会去看。网站会发布一页纸的解释；如果你有不同意见，可以来加入讨论，并且承诺，论坛里发生的事情会反映在这页解释里。

他还指出了一条反复出现的分界线。关于这些监管是否必要，以及它们是否应该放在模型层面，很多直觉似乎都归结为同一个判断：AI 会变得多强大，以及多快能实现？认为它会变得非常强大的人，倾向于要做点什么，也更愿意承担成本；认为不会如此的人，就觉得没有必要付出这些成本。Labenz 不确定这能否解释全部分歧。Anthropic 和 OpenAI 似乎都认为非常强大的 AI 很快就会到来，但它们对这项法案却站在了对立的两边。信任是另一个变量。你是否相信萨克拉门托会保持轻度监管，还是看到的是一种只紧不松的监管棘轮？当商业压力上升时，你是否相信各家实验室自愿的扩展政策？

Ball 认为，OpenAI 与 Anthropic 的分歧主要是管辖权上的问题，把它看成算计就太愤世嫉俗了。OpenAI 的信花了大量篇幅论证加州并不适合做这件事。对 Ball 自己来说，根本问题是：世界在未来至少六年里，是否会每隔 18 到 24 个月就出现一次巨大的质变。Leopold Aschenbrenner 说得对吗？我们是否会在三年半或四年内，建成一个耗资万亿美元、需要 50 座核反应堆供电的算力集群？他说，如果这是真的，那我们就有不少事要做了。无论如何，他都担心政治经济层面的问题。政府运营局不会成为 AI 领域的 FDA，但它仍可能被那些受到威胁的既得利益者俘获，或者发布一些泛泛而谈的备忘录，而拥有真正算力集群的实验室只会把它当作表演。他承认，相比这场斗争的头几个月，修订后的版本降低了他对监管俘获的担忧。

Calvin 从大家都承认的不确定性说起。无论是科学界还是公司内部，对灾难性 AI 风险是否真实存在，以及它会在几年内还是几十年后到来，都存在真正的分歧。但他说，在打造这些系统的人当中，分歧要小得多。他与实验室的人交谈，也与 Geoffrey Hinton 和 Yoshua Bengio 交谈，他们觉得自己做的是一件极其重要、可能失控的事，绝不只是又一个邮件客户端或社交网络。如果最先进模型的创造者都这样说，那就值得认真对待。各家公司已经就测试、缓解措施和网络安全签署了自愿承诺，而离职的员工不断提供证据：当商业压力非常大、义务又纯属自愿时，这些承诺就会缩水。

把合理注意写进法规，就等于把这项义务摆到了高管的办公桌上，而不再只是普通法里的一个概念。要求公开安全协议，会让虚张声势的代价变高。举报渠道则为内部人员提供了求助的去处。谈到联邦制，Calvin 曾在美国参议院工作过一年，他喜欢那个机构；但应对指数级发展技术的速度，并不是它的长处。在 Loper Bright 案推翻 Chevron 尊让原则之后，把问题交给灵活应变的行政机构处理就更难了。一家法院以超出法定授权为由，推翻了 FTC 的竞业禁止禁令。国会随时可以出手，用联邦法律取代州法。Calvin 说，指望国会先理顺自己再行动，看起来并不是可靠的计划。他还提到加州立法过程的一个优点：Charles Foster 等人在公开场合对文本做了红队测试，其中一些网上的批评，包括担心随着算力越来越便宜，一刀切的算力门槛会把更多开发者圈进来，最后都变成了修正案。

他仍然对五月那段讨论感到恼火，当时的讨论把这项法案当成了 OpenAI 搞监管俘获的手段。OpenAI 站出来反对之后，他没有看到那些人承认自己判断错了。他也不同意这样一种观点：任何模型层面的规则，都需要以某个具体的 AGI 时间表为前提。国际暂停，或者要求训练开始前必须获得许可的牌照制度，都会带来巨大成本。要求公司更透明、要求政府发布指引、为举报人提供渠道，在许多种可能的世界里都站得住脚。如果严重风险始终没有出现，责任条款就永远不会真正起作用。在 Calvin 看来，这正是责任制优于许可制的地方：它更灵活，也让测试设计留在实验室手中，而不是派政府测试人员进驻。Andreessen Horowitz 的立场比 Ball 更绝对，主张在模型层面完全不承担责任，并在一封信中称，现有的网络犯罪和恐怖主义相关法律已经足以覆盖恶意用户。Calvin 对社交媒体和电子邮件领域的这种做法表示理解，但他并不认为，对于先进 AI 这样的技术，把全部责任推给用户仍然说得通。

Ball 最具体的担忧，落在一位检察官身上。一次严重的网络攻击之后，调查人员往往拿不到类似聊天记录的东西。他们可能知道用了 GPT-4，却不知道提示词（prompt）是什么。一位想在全国打响名声的加州检察官，可能会在事实不完整的情况下提起一桩新颖的诉讼，然后由一位法官来确定模型是否“实质性地促成”了危害，这份判决会成为全国性的先例。Ball 称之为一枚已经摆在那里的炸弹。他还从根本上质疑了时机论：如果模型在三年内做出了可怕的事，他不相信国会会为了保护美国创新而袖手旁观。事实本身会改变讨论。在他看来，过去两年的 AI 政策是这样发展的：安全社群先占了上风，但当观念见了天日、真要落地时，却拿不出好的实施方案，之后加速派在开源问题上赢得了支持。他补充说，如果 AGI 真的很快到来，加速派同样拿不出好的答案。

Ball 是最朴素意义上的加速派：他热爱技术，也希望有更多技术。但他仍然认为，自己这一派在 AGI 问题上两手空空。把系统全部开源，让它们互相争斗？每天都有新疫苗？这些都算不上计划。他说，就算运气好，那个世界里最好的结果也不过是暴政：一个强人，或者一个强大的 AI，来强行维持秩序。他自称是古典自由主义者，但他认为，目前还没有一套古典自由主义式的 AGI 治理说法。决策者已经判定，安全社群在一些问题上是不可靠的叙述者，他们也可能对加速派做出同样的判断。如果 AGI 真的存在，那么设计问题的难度就相当于起草一部宪法，是一项需要几代人投入的智识工程。SB 1047，即便是简化后的联邦版本，也许能争取到几年时间，但它并不是长期策略。

Calvin 则站在同一种恐惧的另一面。如果没有像 SB 1047 这样克制、完全公开的程序，那么在真正受到惊吓之后，默认的结果会是国家安全体系的“抗体反应”：一部《爱国者法案》，由一小撮人闭门做决定，而不是一场持续一年、连推特上的普通善意参与者都能施加影响的公开辩论。他自认为是相信开放创新的人。在他看来，公众民调显示大家对 AI 并不特别热情，很多立法者也一样。如果即便是一部相对克制、完全公开的法案，也会在一片反弹声中夭折，那么下一次的干预可能会隐秘得多。他正在读一本关于美伊关系的书，想到了伊朗的沙阿：对不满置之不理太久，最后换来的是一场没人乐见的革命。Calvin 说，那些如果这项法案失败就会叫好的人，应该认真面对这一点。在这一点上，两人几乎有共识：AI 政策是一个极不成熟的领域，双方都需要一套更好的说法。

Calvin 打的比方是：世界某个地方出现了一种新病毒。它也许会自行消退，也许会沿着指数曲线攀升。让整个社会停摆，代价很可能比收益还大。但如果病毒真的起势，以防万一提前开始研发疫苗，成本看起来很低。SB 1047 是不是那支疫苗，还有争议。他认为，寻找在多种可能世界里都不算糟糕的押注，应该成为共同的使命。他很高兴看到一些与有效利他主义（effective altruism）相近的人士称赞 METR 和 AI 安全研究所开源的安全评估；他还听到，Martin Casado 这位他几乎在任何问题上都意见不合的人，也认真对待合成生物学带来的大流行风险。这正是 Vitalik Buterin 所说的“防御性加速主义”的风格：为坏的尾部情形做准备，但不假装能让未来按下暂停键。

Newman 对一场汹涌的 AGI 海啸会带来建设性行动，信心已经不如从前。让他动摇的，是看到美国在第一轮新冠应对之后，因为政策疲劳，没有把鼻喷式疫苗和下一次大流行的更好监测放在优先位置。这些工作的成本远低于应对新冠。他担心的是这样一个世界：通过了 SB 1047 或某个联邦版本，消化了一些温和的 AI 争议，然后在真正的挑战到来时僵住了，被锁死在错误的路径上。Ball 从新冠中得到的却是相反的教训：美国在一周之内就国有化了经济的大片领域，因为政府说了算，让空载的飞机继续在城市之间飞行，展现出一种被低估的、说变就变的能力，有好有坏。他说，正是这种疯狂，让美国成为唯一可能认真考虑开源 AGI 的国家，也让 AGI 本身可能成为一项独属于美国的发明。Calvin 当天的一条消息是：Robert F. Kennedy Jr. 已经支持特朗普，据报道，Nicole Shanahan 把为“曲速行动”（Operation Warp Speed）公开道歉列为一个条件。政府在压力下能做很多事，包括“曲速行动”。至于它能否做出聪明、有分寸、着眼于一两年后的事情，就远不那么清楚了。

Labenz 想找出一些真正会让历史走向不同的分岔口，看看如果法案通过或夭折，结果会有什么不同。第一个是 Meta。按照 1000 万美元的微调门槛，Meta 仍将对绝大多数 Llama 4 的微调版本负有法律责任，也要对那些被嵌入各种应用、数量呈组合式爆炸增长的情况负责。Ball 猜测，Meta 可能会像它已经计划在欧盟不予发布那样，对开放权重的 Llama 做地域封锁，也许会在许可条款里写明，权重不适用于加州的用户。Calvin 纠正了一个关键细节：这项法案覆盖的，是在加州开展相关业务的公司，或者总部设在加州的公司。Meta 的总部位于门洛帕克。如果要像在欧盟那样绕开这部法律，就得把公司迁走，而 Calvin 会对此感到相当意外。Ball 立刻承认了这一点：他们不会因为 SB 1047 而搬迁总部。Calvin 补充说，这项义务并不要求 Meta 对下游 Llama 的每一种用途都承担严格责任。它要判断的是：从一个理性人对这些风险的理解出发，Meta 是否采取了合理注意。

第二个是 Elon Musk 和 Grok。Labenz 很难想象，xAI 会因为负担这么轻，就拒绝在加州提供服务。Ball 走得更远，他猜测马斯克其实希望这项法案通过。马斯克极其活跃于网络，也很在乎 AI，而且这场讨论正发生在他自己的平台上，可他对此一直只字未提。Dan Hendrycks 是这项法案背后的核心人物之一，也是 Center for AI Safety 的创始人，同时还是 xAI 的安全顾问；而马斯克多年来一直警告 AI 可能带来生存性和灾难性的风险。Ball 又给出一个更尖锐的猜测：马斯克可能正乐得有个理由不开源 Grok。Calvin 同样觉得意外：以实际的合规负担来看，加上马斯克公开表示要认真对待这些风险，xAI 退出加州是很出人意料的。

第三个是技术上的银弹。Hendrycks 最近有一篇关于抗篡改模型训练的论文。这种做法是把拒绝能力训练进模型的核心权重，让下游用户无法低成本地恢复危险能力，与在外面加一层护栏完全是两回事。中国也有相关研究。Labenz 想做一期关于技术的节目，邀请 Hendrycks 参加。Newman 说，如果这条研究路线真的取得成果，那就是人们对 SB 1047 所能寄予的最好期待的典型例子。Ball 认同这个方向，但仍然指出，那篇论文似乎让模型变得稍微笨了一点。他说，如果真能做到，那就几乎是一颗银弹，而且它会让合理注意的标准清晰得多：一个极难被越狱的开放权重模型，会把责任转移到那个打算撤销拒绝能力的微调者身上。Calvin 更大的希望，是在安全防护上形成一场“向上竞争”，让开放与安全之间那种所谓的二选一，变得没那么像一个虚假的选择。

关于侵权法的基础问题一再浮现。Ball 说，Scott Wiener 参议员曾把 SB 1047 描述为责任范围远比现行法律窄，而 Ball 认为这高估了普通法实际对待软件的方式。授权协议里满是免责条款，而针对开发者的过失诉讼，实际上很难提起。没有这项法案，AI 可能会被当作软件来看待；而这项法案则让责任变得确定无疑。Calvin 同意相关判例很少，但他认为，非律师高估了这些免责条款有多牢靠。即便是完美的合同，也只约束开发者和用户，不约束第三方。被黑客攻破的那家银行，从来没有签过这份合同。当损害足够大时，法院总会找到责任人。他举的例子是普渡制药（Purdue Pharma）和阿片类药物诉讼：在这些诉讼之前，制造商为滥用行为承担巨额责任还显得很新奇；而一场灾难之后，法院会强烈地想要找出责任方。Ball 的概括是：网络攻击是软件的负外部性，开发者并不为此付出代价，而这一事实与软件之所以如此成功有关。他说，那些主张为网络安全设立软件责任的学者，提出的是他听过的最糟糕的想法之一。但 AI 可能不一样。他仍然希望人们明白，现行法律一直相当有保护性，而这是一种选择。

Calvin 的结语是恳请大家别把这场争论当成泡沫。软件行业及其风险投资的支持者，不可能脱离政府和公众独自存在。SB 1047 不会让任何人免于失控的 AGI 威胁，也不会造成其最激烈的批评者所担心的那些伤害；但它确实在三个不会消失的问题上迈出了第一步：模型层面的义务是否恰当，州政府是否该发挥作用，以及 AI 应该与软件政策一脉相承，还是应当被视为另一种东西。他希望反对这项法案的人，能拿出更具体的替代方案，尤其是当他们认为利害关系即将大幅提高时。尽管网上充满了怒骂，这个过程也表明，漫长而公开的辩论可以让一份文本变得更好。他希望这种做法能够延续下去。

Ball 是法案文本公布后次日最先公开提出批评的人，当时他以为会是一场熟悉的州和地方政策之争。结果并非如此。他认为，这反而更健康，也是一场对话的开端；如果 AGI 是真的，这场对话会像起草宪法那样复杂。在实质问题上，他没有改变看法：权限、主权和基于模型的责任，仍然是核心问题。他还补充了一个他自己也知道并不算实质论证的“感觉论据”。时代感觉变快了；两大政党现在都靠感觉行事；SB 1047 在美国科技行业里的观感很糟，而如果它通过了，国家开始为自己感到不好受，这也不是小事。更严肃的一点是，第一位检察官和第一桩案件，是他还不确定值得付出的代价。他的预测很明确：州议会会通过这项法案，州长会否决它。

Newman 最后总结道：AI 政策很难，没有好的答案，只有程度不同的坏答案。这种困难不是随便通过眼前任何东西的理由，也不是什么都不做的理由，因为“什么都不做”本身也是一种糟糕的政策。不确定性在每个层面上都在叠加，从技术本身，到检察官会如何行事，再到相互冲突的目标和技术局限。在他看来，唯一的出路，是这两期播客想要促成的那种建设性讨论：不只是“我讨厌这项法案”，而是“它可以怎样改得更好”，或者“我们应该改做别的事”。他说，希望这样的讨论能长久地延续下去。Calvin 拒绝给出法案能否通过的概率，理由是不想卷入押注的框架。节目录制结束时，萨克拉门托的最后一幕还没有上演。这场对话留下了一套可以反复使用的检验方法：先读修正案，再听观点；问问发言者是否预期 AGI 很快到来；记住 1 亿美元和 1000 万美元这两条线；并且更看重那些在不止一种未来里都不算糟糕的工作，从抗篡改训练，到独立评估，再到真正会被公开发布的安全协议。