Zico Kolter 谈 AI 安全、模型扩展与开放模型的边界

Zico Kolter 表示，AI 生成的虚假信息可能加速人们对证据失去信任。他认为，人们越来越倾向于拒绝与已有信念相冲突的材料；共同事实遭到侵蚀，比所有人都相信所有伪造内容更危险。

Harry Stebbings 介绍了 Kolter：他是 Carnegie Mellon 教授，新近担任该校机器学习系负责人，也刚加入 OpenAI 董事会。节目简介还称他是 Bosch 首席专家、AI 安全初创公司 Gray Swan 的首席技术顾问。这些身份与他对行业和安全的看法相关。

Kolter 首先简要解释大型语言模型。模型通过预测下一个词，从大量文本中学习数学关系，再反复进行类似预测来生成回答。AI 的范围比语言模型更广，但本次讨论聚焦这些系统。

有批评者认为，预测下一个词不可能产生智能。Kolter 不同意：他认为这一过程产生的连贯且有能力的回答显然体现了智能，并称这一发现是近几十年来最重要的科学发现之一。

Stebbings 问，AI 开发者是否已经耗尽可用数据。Kolter 将已经大量使用的高质量公开文本，与规模大得多的潜在数据区分开来。类似 Wikipedia 的材料数量有限，但文本只是数据的一部分。

他估计，公开模型的训练文本规模约为几十 TB。视频、音频、私有材料和其他感官数据丰富得多，不过模型能多有效地利用它们仍不确定。数据获取、处理和计算都会带来限制。

视频文件远大于同一段对话的文字稿，因此处理成本高得多。尽管如此，Kolter 认为视觉、时间序列及其他感官信息对智能很重要。他说，研究者尚未掌握如何充分利用这些模态，也不清楚如何在不同模态间实现泛化。

Kolter 表示，即使可用数据固定，模型性能也不一定马上停滞。较大的模型有时在同一数据集上反复训练仍能进步，而今天的方法未必提取了输入数据中已有的全部信息。

他举了一个图像分类实验：用原始数据生成合成图像，能带来小幅性能提升。这说明训练过程可以提取额外信息，但不代表合成数据会自动解决问题。如何最好地提取可用信息，仍是开放的研究课题。

对于模型向更小规模发展的预期，Kolter 说最终格局尚不明确。他个人在处理多样化日常工作时更喜欢使用能获得的最大模型，因为表现更好。对于定义清晰、重复很多次的任务，较小的专用模型可能更经济。

Stebbings 提到一种观点：模型的进步越来越难察觉。Kolter 认为，熟悉的问题和接近饱和的基准测试可能掩盖进展：小模型也许已经能很好地回答标准问题，而新模型在更难的编程和讲座相关任务上仍有明显进步。

随着模型数量增加、价格下降，Kolter 预计市场会出现一定整合，但无法预测最终格局。当好的模型已经存在，仅为了证明公司有能力而从头训练模型，可能不再符合经济逻辑。

他不认为算力扩展已触及硬性上限。他看到的规模定律表明性能仍能提升，尽管成本会更高，其他方法也可能更高效。训练与推理成本使经济性和技术可行性一样重要。

Stebbings 问，模型公司追求的是 AGI 还是盈利产品。Kolter 说，这两个目标不一定互相排斥，同时指出人们对 AGI 这个术语的用法差异很大。

他自己采用的定义要求很高：一个系统在持续一年的项目中，能像亲密合作者一样有用，而且可以是虚拟形式。放到他自己的工作中，这意味着系统能完成他大部分专业工作，而不只是协助某个单独任务。

Kolter 认为这样的系统可能在他有生之年出现，但强调不确定性极大。他给出的粗略范围是 4 至 50 年，个人并不倾向于最短的时间；不过，他说进展速度使人难以排除这种可能。

他同意社会能够适应技术变化，同时没有低估变化带来的冲击。他认为，最成功的公司不会只是用 AI 替换员工并继续做同样的事，而会学习如何让人指导系统，利用现有员工更好地发挥技术的作用。

他说，目前的 AI 产品还没有为员工提供充分发挥其能力的理想途径。大企业也担心数据转移和专有信息用于训练的问题，尽管许多企业已经通过云服务存储敏感数据。

Kolter 表示，不加区分地用全部内部数据训练模型会产生问题：员工的访问权限不同，模型训练也可能暴露信息。检索增强生成提供另一种方式：检索用户有权查看的相关材料，将其放入模型上下文来回答问题。

他区分了利用提供的信息回答问题与用这些信息重新训练模型。他说，某些 API 服务安排不会使用提交的数据重新训练模型；数据的实际处理方式取决于服务及其条款。他认为，人们不理解这一区别，是采用技术的障碍之一。

Kolter 对两种极端的确定论都感到困扰：一种认为 AGI 肯定马上到来，另一种认为现有方法绝不可能通向 AGI。他自己根据观察到的进展改变了看法，也希望其他人随着证据积累而更新观点。

谈到虚假信息和深度伪造，Kolter 尤其担心人们最终完全不再相信证据。他说，AI 没有发明宣传或不信任，但会加速这些现象，使人们更难就事件形成共同认知。

他认为，依赖可信赖的人早于现代录制技术，而共享视觉证据在历史上出现得比较晚。Stebbings 问，退回到依靠个人信任是否会阻碍知识发展。Kolter 承认代价严重，但预计重视科学的群体会继续创造知识，就像视频出现之前一样。

Stebbings 认为，成熟媒体品牌作为可信信息来源可能变得更有价值。Kolter 指出，人们对哪些机构值得信任本就存在分歧。即使部分受众更加依赖熟悉的机构，评估信息来源的难题也会持续存在。

被问及平台是否应该管理内容时，Kolter 说，内容审核本来就在违法内容和不同观点的表达空间之间寻求平衡。AI 加剧了现有问题，而不是从零创造虚假信息，因此他希望现有的社会、经济与政府制度仍能提供有用的指导。

Kolter 强调，监管并非他的专业领域。他认为政府可以发挥作用，让技术造福社会，但也担心围绕快速变化的技术细节制定的规则会很快过时，或者误解系统的开发方式。

他认为，监管下游用途通常可能更容易操作，现有法律或许可以调整，以应对 AI 生成内容的规模和速度。同时，他不认为现有法律能单独解决所有问题，也承认有效监管快速发展的技术十分困难。

Kolter 当前最主要的安全担忧是，模型无法可靠遵循开发者设定的规范。用户或不可信材料中的指令可能覆盖预期行为，这类问题包括提示注入和越狱。

他将此与人们对传统软件遵循程序规则的期待进行对比。聊天机器人给出被禁止的回答，后果可能相对有限；但嵌入更大系统的模型可能遇到试图改变其行动的第三方数据。

随着智能体读取外部材料并在现实世界中采取行动，Kolter 将这一问题比作一个已知但没有完整补丁的安全漏洞。他说，研究者正在取得进展，但可靠控制问题尚未解决，并会放大其他风险。

他尤其担忧网络安全风险，并表示模型已经可以帮助分析代码漏洞。服务商可能通过指令禁止有害用途，但如果这些防护可以绕过，控制相关能力就更加困难。他的判断反映了访谈时对系统的担忧，并非证明每一种假设攻击都能实现。

接下来的问题是，人们可能获得哪些有害能力。Kolter 认为，对他来说，网络攻击比生物威胁更清楚地构成近期风险，同时强调其他专家认真对待化学和生物风险，他本人也没有忽视这些风险。

危险不只来自自主系统独立行动。在他设想的场景中，能力足够强的模型可能降低实施恶意行为所需的专业门槛，让更多人获得危险能力。他认为开发者应认真评估这些潜在能力。

Stebbings 提到将 AI 与核武器比较的观点。Kolter 更愿意将它类比为更广义的核技术：同一领域既能制造破坏性武器，也能提供有用的低碳能源。AI 同样有许多有益用途，因此他认为只与武器比较容易误导。

Kolter 支持开放模型；当模型可以在本地运行、其他部分却未按传统意义开放时，他更倾向于使用“开放权重”一词。他说，开放权重使他的学术研究成为可能，也已成为 AI 生态系统的重要组成部分。

他说，在访谈时，他不会特别担忧具备当时领先闭源系统能力的开放模型。他认为当时的 Llama 模型已接近但还不完全相当，并指出它尚未造成已观察到的灾难；这是特定时间的判断，而不是保证。

这种支持也有边界。Kolter 预计，模型能力最终可能达到某个程度，使任何人都能修改和专门训练模型的权重发布值得谨慎对待。他举例设想一种系统，能够可靠发现几乎任何软件中可利用的漏洞。

这种能力也可能帮助防御者，但他认为，为全球软件打补丁比发现漏洞更困难、更缓慢。因此，如果某个模型已证明具备这种能力，他不会自动同意发布其权重。

他欢迎当时常见的模式：能力最强的系统先以闭源模型出现，随后才有能力相当的开放权重模型。在他看来，时间差可以让人们在更可控的环境中研究模型能力，再考虑更广泛的发布。他也承认这种顺序并非必然。

Kolter 表示，大多数安全工作应解决系统中已经存在的现实问题，比如可靠遵循指令和防止滥用。他也乐于看到研究者思考涉及强大自主系统的更具推测性的场景，尽管他认为其中一些较为遥远，而且不属于自己的主要研究领域。

为了联系近期风险和生存性风险，他设想未来 AI 智能体深度融入软件与关键基础设施。影响电力系统的关联故障，无论源于普通缺陷还是自主系统的故意行为，都可能造成灾难性后果。

他说，CrowdStrike 事件提醒人们，共同故障可能大范围传播。由于研究者尚未充分理解模型内部机制、故障模式和攻击途径，在关键基础设施中部署模型尤其需要谨慎。他也认为生物风险可能严重，同时指出这不是他的主要领域。

Stebbings 指出，声音克隆给基于声音的身份验证带来挑战。Kolter 同意，现有系统和假设已经受到冲击，随着 AI 能力发展，它们需要做出调整。

尽管存在风险，Kolter 表示自己持乐观态度。他希望有用的 AI 工具，包括可能出现的 AGI，能够服务于人类目标。他从事安全研究的动机很实际：人们要从这些系统中受益，就必须让它们足够安全。

在快问快答环节，Kolter 说自己曾认为巧妙的模型架构是进步的核心。现在他认为架构没有自己过去想得那么重要，如果投入足够的开发工作，其他架构也可能奏效。这是他的解释，并非已成定论的发现。

他对数据的看法也发生了变化。过去他以为有价值的数据需要大量人工整理和标注；现代系统让他看到，互联网上大量现有数据也能产生惊人结果。他仍然认为数据整理有价值。

Kolter 说，就在他担任 CMU 系主任前不久，OpenAI 董事长 Bret Taylor 联系了他。他加入董事会是为了贡献 AI 和安全专业知识；他确认董事会每年开四次会议，并称自己的作用是提供技术视角。

被问及中国在 AI 方面是否落后美国两年时，他没有认可具体差距。他承认国家之间存在竞争，但认为 AI 安全的后果跨越国界，因此需要国际合作和共同标准。

最后，他认为关于哪种架构将取代 Transformer 的提问过于强调模型结构。他更希望人们关注使用的数据以及系统产生的能力，同时承认这种说法很容易成为引人注目的观点。