一次 10^26 FLOPs 的训练，会让加州实验室承担法律责任

2024 年 5 月，加州参议院第 1047 号法案（SB 1047）正在州议会推进。主持人 Nathan Labenz 指出，如果通过，这将是美国第一部由州议会通过、对前沿训练施加实际义务的法律。在此之前，这一层政策主要存在于拜登政府的行政令中。触发门槛是一次 10^26 FLOPs 的训练运行。跨过这条线的实验室，如果无法证明其系统不会造成大规模伤亡，或对关键基础设施造成大范围破坏，就要承担一整套由州总检察长执行的安全义务。

Labenz 邀请了三位不太符合网上刻板印象的嘉宾。Nathan Calvin 是人工智能安全中心行动基金（Center for AI Safety Action Fund）的高级政策顾问。该基金是 CAIS 的 501(c)(4) 关联机构；CAIS 是那份著名的灭绝风险声明背后的组织，其技术工作由执行董事 Dan Hendrycks 领导。Calvin 也是本法案的三位联合提案方之一，另外两方是经济安全项目（Economic Security Project）和 Encode Justice。Dean Ball 是乔治梅森大学 Mercatus 中心的研究员。该中心是一家 501(c)(3) 机构，试图以学术研究向政策制定者提供知识。Steve Newman 自称是“已戒断的创业者”，他创办了 Writely，也就是后来变成谷歌文档的产品，现在致力于提升公众对 AI 的讨论水平。Wiener 参议员的办公室告诉 Labenz，法案仍处于修正阶段，还将持续数月，不会马上进行赞成或反对的表决。

Labenz 说，网上对 SB 1047 的描述有两种：要么是一场席卷一切的反科技权力攫取，要么是现有巨头的犬儒式锁定。他两者都不认同。法案作者、加州州参议员 Scott Wiener 更为人所知的，是支持住房建设、推动太阳能转型加速、提议把酒吧的酒类销售延长到凌晨 4 点，甚至还有致幻剂除罪化。Labenz 认为，AI 政治里最引人注目的地方，是这项技术的陌生感打乱了熟悉的联盟：Tucker Carlson 和 Snoop Dogg 可以说出相似的金句，硅谷的左右两派也失去了常见的阵型。这次通话中的每个人都对 AI 的好处普遍抱有热情，并对政府过度干预保持怀疑。但 Calvin 和 Ball 在*这份*文本上仍然站在对立面。

Calvin 本人的先验判断并不像大政府的拥趸。他每天都用 GPT-4，喜欢 Wiener 在住房方面的工作，也希望发展更多核电、改革 FDA。他只是不相信，对灾难性能力的测试，比如恶意生物攻击、对关键基础设施的袭击，以及会欺骗或自我复制的模型，应该继续保持自愿，同时发布产品的商业压力却在不断上升。立法需要时间，政府机构搭建起来也需要时间，他宁可在这个会期就开始，而不是等到所有人都觉得舒服了再说。Ball 把 AI 视为一种通用技术，可能是近期这一波里最强大的，他认为，集中式的 AI 监管机构是错误的应对形式。Labenz 是一位 GPT-4 的红队测试员，仔细读过法案。他说，草案并不完美，但他宁可在过程中改进它，也不愿在外面大声喊。他已经约好下周请 Wiener 参议员来做节目，并请听众发来他能带过去的修正意见。

Ball 的论证从类比开始。电可以致命，也能引发火灾，但美国没有电力部。互联网上有很多犯罪，但也没有互联网部。联邦能源管理委员会（FERC）制定州际输电标准，却不管家庭怎么用电，也没有计算机部。他希望二十年后，“AI 政策”作为一个独立领域会显得过时，因为这项技术会织入整个经济，并由已经掌管这些领域的机构来处理。“没有哪一件大事，”他说，“有的是五百万件小事。”在他看来，集中式的监管机构会制造政治经济学问题，以无法预料的方式削弱 AI 的好处；而且这样做也买不来安全，因为中国共产党并不在乎加州的有限责任豁免，也不在乎美国国家标准与技术研究院（NIST）的 AI 风险管理框架。

核电是他的警示故事。世界经历了三里岛和切尔诺贝利事故，随后出现了核监管委员会（NRC），以及 Ball 所说的对新电厂事实上的冻结。AI 还没有经历过切尔诺贝利或三里岛那样的事件，他宁可在甚至还没有一场具体灾难之前，也不去把 AI 进步定为非法。他认为，虚假的安全感本身就是一种危险。Calvin 对这个说法并不买账。他说，这部法案不是许可制度，也不要求实验室在训练前获得批准。唯一新设的机构是加州技术部下属的前沿模型部门（Frontier Model Division），它接收报告和认证，不制定规则，也不颁发许可；执行主要通过总检察长的追责来进行。后来，他又用加州式的说法表达担忧：作者最不希望看到的，是“AI 版的环境质量法（CEQA）”，也就是 Wiener 为了建房子，花了十年时间与之斗争的那部法律。

Ball 并不相信这个新机构像宣传的那样温和。最近的一条修正案会允许前沿模型部门改变算力门槛，以及其管辖范围内模型的标准。更让他担心的是钱。加州目前有 600 亿美元的预算赤字，因此这个部门将由向 AI 公司征收的罚款和费用来支付，这与 NRC 的资金结构相同。这意味着受监管的人支付监管者的薪水，而这个机构又不受普通拨款程序的约束。如果五年后，与 Geoffrey Hinton 这类人所担心的事情并没有兑现，立法机构也很难缩小这个机构的规模。Ball 认为，俘获从第一天起就已经埋下了种子。他还指出一场更长期的政治斗争：专业行会会想方设法把 AI 挡在医疗、法律和驾驶之外，而集中式监管机构正是这些团体已经知道如何使用的武器。Labenz 自己最典型的例子是 AI 医生。如果恐惧、糟糕的成本收益分析，或者保护医生就业的企图，阻止了高质量的医疗建议，那将是一个巨大的错误。Calvin 说，这部法案在劳动力市场问题上不持任何立场。

Labenz 接着讲解了这部法案实际做的事。伤害门槛很高：大规模伤亡，或对关键基础设施造成 5 亿美元或以上的损失。Ball 提醒说，“关键基础设施”这个类别比听起来宽得多：医院、所有金融服务、所有电信，实际上囊括了美国经济的大部分产出。5 亿美元也没有按通货膨胀指数调整。让一座污水处理厂的电脑离线几天，不炸毁任何东西，按某些会计口径，你可能就已经达到了门槛。城市本来就会发出烧开水通知；新鲜之处只在于，这次是一台电脑造成的。Labenz 对流传的 9 万亿美元全球网络犯罪数字持怀疑态度，这个数字接近世界 GDP 的 10%；双方阵营都在引用它，而 Ball 指出，把破窗修复的支出也算进去，就能把这类数字推高到计入 GDP 的程度。计算门槛与行政令一致：10^26 FLOPs。如果你不能基于充分的技术理由断言模型不会造成这些伤害，就必须在训练期间防止权重泄露，保留完整的关机选项，训练后进行评估；如果仍然过不了这道门槛，就只能在有保护措施的前提下部署，包括不发布权重。

最有争议的义务是衍生责任。如果你发布了权重，下游的修改仍然由你负责：你不仅要断言模型按原样发布时是安全的，还要断言它不能被“相对轻易地”修改成危险状态。Labenz 请听众回去看 FAR.AI 与 Adam Gleave 的研究：安全微调是很脆弱的。即使只是一个小型聊天数据集，哪怕从不教模型作恶，只是没有包含拒绝行为，也可能抵消 RLHF 最后的打磨。Calvin 指出，已经通过的一条修正案规定：如果你对模型的能力感到惊讶，只要在知道之后马上设置保护措施，就不算违规。此外还有一条更模糊的覆盖路径：一个“可以被合理预期”达到 10^26 级别能力的模型，即使 FLOP 数量未达到门槛，也可能被纳入。

10^26 FLOPs 折合成钱是多少？Labenz 的粗略估算是，目前没有任何公开确认的模型明确越过了这条线；如果有，几乎肯定出自 OpenAI，或许是谷歌。Meta 仍在训练中的 Llama 3 405B 估计为 4×10^25，只完成了门槛的 40%，因为最后那一个数量级才是关键。Meta 公布，70B 版本用了超过 600 万个 H100 小时；按每小时约 4 美元的未补贴 H100 算力价格计算，405B 的算力账单大约是 2 亿美元。他说，买下一次完整的 10^26 训练，需要数亿美元到 5 亿美元。Ball 反对的不是这笔算术。企业都想提高算力效率，因此 FLOP 门槛逆着潮流，会迫使前沿模型部门把这条线压得更低。他从没听说过 10^26 这个数字有什么科学依据。Calvin 的回答是，它划定的是*下一代*：已经超出 GPT-4 这一级，也就是公司今年或明年可能推出的模型。目前的系统据信还不具备所列的危害能力，不过 OpenAI 自己的 GPT-4 生物学研究发现，相比搜索只有有限的提升，但也为下一代留下了余地。

Ball 称这种结构是前所未有的：美国从来没有对软件适用过普遍的预防原则或责任制度。电子邮件的发明者没有签署信件称它可能会毁灭所有人；前沿实验室的创始人却签了。英伟达的市值一度超过沙特阿美。Labenz 补充了一个定性的观点：行业正投入大量精力打造“能动性”（agency）——模型会把一个简短的指令拆成计划，然后一直运行，直到成功、失败或被关掉。GPT-4 在摩擦面前仍然会摔倒；扎克伯格曾把这种循环描述为 TikTok 般快速的节奏：脚手架加上下一代模型，于是你需要的脚手架就更少了。如果当前的主要玩家是 OpenAI、谷歌和 Anthropic，Labenz 认为，它们已经在做法案要求的事。Anthropic 发布了负责任的扩展政策；OpenAI 在一年半之前就做过一项不小的 GPT-4 安全工作；谷歌则更常因为太慢而受到批评。按这种读法，法案真正的目标是 Meta，以及接下来可能加入这场耗资数亿美元训练竞赛的其他六家左右的公司，尤其是它们对开放权重的决定。

Calvin 想在正式记录中辟谣：说 OpenAI、Anthropic 或谷歌暗中起草法案以排挤竞争对手，这种说法是“100% 假的”。Wiener 对 AI 风险感到担忧，2023 年年中提出了一份意向草案，并请联合提案方帮忙起草。参议员办公室与 OpenAI、Anthropic、谷歌、Meta 和微软都谈过；他们想要的是更精确的措辞，而不是一场公开战争。公开的反对声音来自进步商会（Chamber of Progress）和 TechNet 等行业团体，这些团体的成员包括微软、Meta 和谷歌。Ball 接受这些人的动机，却拒绝这个检验标准：应该用法律的效果来评判，而不是用意图来评判。他说，效果有利于 OpenAI、Anthropic 和 DeepMind，不利于 Meta 的开放策略，也几乎不利于整个创业公司和学术界。他认识与 Geoffrey Hinton 和 Yoshua Bengio 一样有名的研究者，他们不喜欢这部法案；但他没有获得许可，不能说出他们的名字。目前的开放模型不会一夜之间违法，也许还有一代的空间，但他后来说，这套设计是让它们随着时间推移变得违法：这与 Sam Altman 的“迭代部署”正好相反，是对开源的“迭代破坏”。

Ball 更深层的异议在于顺序。他说，这部法案没有真正的标准，只有一份你签了字、就可能被起诉的文件，外加一条他称之为“非常欧式”的民事执行路径：你们自己去弄清合规，我们会通过起诉让你们知道我们不喜欢它，罚款金额由新部门随意设定。好的法律需要好的标准；好的标准需要开放的科学探究；而这部法案让探究更难了。顺序应该是科学，然后标准，然后法规。Calvin 听出的是一个暂停的论点，但他认为这是一个不会实现的主张，因而予以拒绝。他很想有五年时间来制定规则，但他不认为世界会等。他说，如果就此坐等那么久，你可能会遇到可怕的生物武器袭击、对关键基础设施的打击，以及“在互联网上到处乱跑、做出疯狂行为的智能体模型”。

Ball 的回应是他的社会适应论：“你活在这支交响乐里，你也是乐团的一员。”社会不是某些事情会发生在它身上的惰性物体。生物风险今天就摆在桌面上，无论有没有 AI；其他瓶颈也需要在全球范围内加以管控。他赞扬了拜登政府几天前发布的一项框架：联邦资助的生命科学研究必须使用核酸合成设备，依据已知威胁数据库来筛查序列。再往下一个层级，即对基因数据集做统计分析，他认为会带来宪法问题，而且“低到无法成为有效的监管”，就像“去管冶金，而不是导弹”。他划下了一条清晰的界线：美国人有分析基因数据的权利，但没有合成 DNA 的权利。Calvin 同样热情地支持那套筛查制度；他只是认为，当变化速度如此之快时，应用层的适应本身并不足够。他说，他在萨克拉门托和加州农村见到的幕僚，确实感到很恐惧。

Ball 拿 Claude 3 Opus 来回应：人们给这个模型打出的智商大约是 130，它还能自由地谈论自己的元认知，而“共和国依然屹立”。除了他和另外四个人，几乎没人在乎这件事。他还指出了 AI 安全论证里一个他称之为“基因问题”的毛病。这些论证出生于深度学习之前，当时想象中的系统是一个贝叶斯推理者，可以从苹果下落的两帧画面推导出广义相对论。而真正到来的，是互联网的统计近似。“我们没有走在 Eliezer 以为的那条路上。”Calvin 提到了相反方向的信号。Geoffrey Hinton 起初并不特别担心，直到他接触了最新一代模型，才说了一句“天哪”。Labenz 问，为什么领先的开发者在公开场合如此安静。Calvin 的解释是：他们在私下交流，争论措辞，并让行业协会去公开反对这部法案；他们没有起草这部法案，也没有在暗中推动它。

民主的论证到后面才出现。Calvin 说，买下数万块 H100 的人，不应该让扎克伯格在没有民主输入的情况下决定世界的样子。Ball 反驳说，技术轨迹不是靠举手表决决定的。Gavrilo Princip 在刺杀 Archduke Ferdinand 之前，并没有去向欧洲做民意调查。他既不希望命运握在扎克伯格手里，也不希望握在前沿模型部门手里；他反对这个新机构，部分原因在于不想把所有的鸡蛋放在少数几只篮子里。他也不喜欢那种感觉像被枪抵着脑袋谈判的安全论述，比如前一年夏天 Mustafa Suleyman 上播客说，如果明天不从头建立一套全新的监管制度，所有人都会死。Ball 说，这不是真的，而且对软件进行政府事前审批的先例，是一件激进的事，不应轻易放弃。执法也是另一个漏洞。一旦如此强大的模型扩散开来，加州就需要对互联网实施某种类似的执法制度。他说，“它可能因为指数增长而发生”这种论证，离“足够好”还差得太远。

结束前，Labenz 提出了两项修补方案，Calvin 说作者会认真考虑。第一项是一个更清晰的衍生模型定义：如果下游行为者花费了原始训练成本的约 10% 到 50%，责任应当转移给新的开发者，而不是永远留在基础模型实验室身上；这一点他是从 Zvi Mowshowitz 即将发表的文章中提炼出来的。第二项是 36 个月的日落条款，迫使立法机构在一个必然会不同的技术世界里更新法规。Calvin 担心的是一种“依赖扎克伯格的意愿来避免灾难”的制度，而扎克伯格早上醒来时，心情可能是想要压过 Elon。Ball 反驳：没有人是在瞎冒险。“这是技术史上最不瞎冒险的技术。”这场对话那种并不轻松的严肃本身，就是一种监管。他还指出，加州已经有产品责任和过失法；Calvin 同意，法案里没有正式的安全港，但他认为它澄清了什么是合理的谨慎，而不是进入一片空白。

随后，Labenz 提出了他半开玩笑称为 SB 1048 的设想：禁止通过 API 或开放权重公开发布能够完成一份明确清单上事项的模型。Calvin 喜欢这个目标，也曾在如何在法律上定义欺骗性或自我复制系统方面吃过苦头；描述要防止的*后果*，并要求针对这些后果进行测试，他觉得更清楚。Ball 比起 1047 更喜欢这种法律结果，但他说，立法所需的知识还不存在。第二个更难的问题是技术上的。目前，你无法在不损害其他能力的情况下，把一种特定的危险能力从通用模型中训练掉。现在的答案是不能；也许将来也永远不能。他认为，安全已经内嵌在前沿经济学中。如果 OpenAI 明天发布一个能让互联网瘫痪的模型，他也不会羡慕 Sam Altman 的工作。一个以自保为激励、本身又不构建或评估系统的新机构，在他看来是对这种动态的一个有害添加。

独立测试是另一个双方共有的利益。Labenz 在 GPT-4 红队测试中的经历，是一个警示故事。他签了保密协议，在一个“黑色频道”里，与二十几个人在一起，其中很少有人活跃。在他咨询了安全社群的人，说了自己所看到的情况之后（他当时的结论是模型可以安全部署），OpenAI 把他踢出了这个项目。谷歌 DeepMind 的 Paige Bailey 曾描述，她走进去时发现一次训练一夜之间达到了新的最先进水平，这证明训练中的评估太单薄。OpenAI 的规模并不大；Labenz 猜测，其中一半的员工已经不是技术人员。他希望能像 Pliny 越狱公开模型那样，把一群有动力的志愿者投向未发布的模型。Calvin 既热情又谨慎。他不希望 Deloitte 或 Booz Allen Hamilton 之类的公司照着清单走流程，让企业把责任推卸出去。法案已经设想了第三方测试者的认证程序；作者们对州政府能否支付实验室的薪水，或能否在评估上与实验室正面较量，都保持着谦卑的态度。Ball 支持为与公司没有经济关系的独立研究者设立真正的安全港，这类工作如今常常违反使用政策；他称吹哨人条款“真的是非常聪明的一步”。

生物安全和算力是那些不起眼却达成了共识的部分。Calvin 在 2022 年曾在国会工作，他发现在新冠疲劳之后，大流行病预防已经没人有精力去做。他认为，在未来十年内发生一次蓄意的生物事件相当有可能，并希望无论模型之争如何收场，疫苗平台和合成设备的筛查都能获得资金。Ball 同意。Ball 还希望设立一个国家级的算力计划，让学术研究者（他提到了李飞飞，Fei-Fei Li）能拥有大约 10,000 块 H100；斯坦福不会替她去买。他作为一个骨子里的财政政策人士补充道，加州或许应该先解决它 600 亿美元的赤字。与 Calvin 相比，他更不愿接受那种权衡：如果没有开放权重，真正独立的研究就会变得更难。在他看来，目前的开放模型不会在第一天就变成非法，但随着时间的推移，它们会变得违法，这正是法案的设计。

Labenz 试图拼出一部两位嘉宾都可能签字的法案：一份狭窄的清单，列出模型不得具备的能力；在训练期间和训练之后、部署之前，为测试者提供强制访问；以及一条针对所观察到模型行为的特别吹哨人规则。如果你看到某个系统突破了测试服务器，你应该能够告诉公众你所看到的，即使诱导技术仍是商业机密。他仍然在想，那个 GPT-4 频道里的人为什么那么少，还有那些离开 OpenAI 的人发的隐晦帖子，似乎暗示他们并不了解即将到来的东西。Calvin 同意，研究这些系统的人太少了，而一旦某一代模型的开放权重不再可接受，就必须存在另一种方式，来获取“群体的智慧”。当前的草案要求公司向前沿模型部门报告安全事件，并设有通往公开发布的路径，他也承认这条路径应当更清晰。Ball 今天就愿意接受吹哨人条款和安全港这两部分。他不确定列举能力禁令在认识论或技术上是否可行，并希望国家为它不可行的那个世界做好准备。

Ball 的结语是当晚最悲观的一句话。他看这类法案时，看到的是“一种颇为绝望的尝试，想把当下冻结在琥珀里，不去走进那个新的未来”。他对现状并不满意。他愿意以激进的方式改变它，包括一些他自己也不会喜欢的方式。他说，在立法的虚构里抛下一个只存在于纸面上的海底锚，会让国家比那些为了在更小、更快、能力更强的行动者世界里繁荣而打造能力的做法更加危险。治国之道会变，商业也会变。适应，而不是冻结，是他每天做的工作。

Calvin 的结语是，这个命题比 Twitter 上的讨论所呈现的更加常识化。公司应该测试极其危险的能力，比如让废水处理厂停摆、制造生物武器，或者模型持续运行并做出疯狂的事情，并采取合理的缓解措施，而不是不可能完成的措施。他不能接受的是开源社区的说法：未来的 Llama 5 也许能做这些事，而一旦权重公开，就什么都做不了，所有人只能接受。他希望研究能抵抗对抗性微调的开放发布方法。他不认为 Dean Ball 会支持这部法案，但他仍然想听 Ball 的批评。在不确定性面前，他说，错误的做法是冻结，然后接受任何即将到来的东西。任何认为风险真实、而法案方向有误的人，都应该写信给作者，或者直接写信给他。

Newman 在两小时里大部分时间都在守着这个框架。他感谢大家进行了这次谈话，并表示希望能有五十个小时的对话。Labenz 自己的账也值得记一笔：他认为，联合提案方在尾部风险上确实做出了真诚的努力，同时没有给初创企业加上错误的负担；但他仍然警惕，一个新机构可能利用含糊的措辞来扩张自己。他在开头就说过，某种形式的监管即将到来；与其在外面观望，不如进到房间里。对于想在下一次听证会之前做点事的读者，功课与他给听众的一样：去加州立法网站上查 SB 1047，把修正案与原始版本对照着读，并盯住三条条款：前沿模型部门能否降低 10^26 的门槛、衍生模型的责任如何划定，以及该机构的预算是否改为常规拨款。这三行字，比任何口号都更能决定这部法案究竟是什么。