当 AI 智能体互相委派：安全与可能的智能体经济

Hannah Fry 采访 Google DeepMind 研究员 Nenad Tomašev，讨论 AI 智能体、委派以及可能出现的未来智能体经济。对话结合当前观察、研究提案与假设情景。

Tomašev 将智能体描述为能够通过行动和工具完成任务的系统。他指出这一概念早于今天的大语言模型，早期例子包括模拟环境中的智能体。

用户仍可能用自然语言沟通，但系统可以执行多个步骤。Tomašev 预计人的角色将包括决策、审查与批准，而不只是等待答案。

他们讨论编程智能体这一当前应用。Tomašev 说它们可以减少重复实现工作，但实际生产率影响取决于任务、审查和组织环境。

Fry 提出自动化偏误：当系统通常看似表现良好时，人可能变得不够警觉。Tomašev 说，如果审阅者没有认真参与，名义上保留人在环中是不够的。

两人讨论更好的工具与保护措施如何可能让智能体执行更复杂的工作。他们把可靠的长期自主运行视为目标，并承认技术与社会问题尚未解决。

Fry 问智能体探索如何帮助科学。Tomašev 设想系统提出并测试许多备选方案，研究人员则定义问题、评估证据并判断什么重要。

他说当前系统仍有重大局限，通常比起产生可靠的新科学理解，更容易重新组合已有方法。讨论区分了当前能力与长期愿景。

被问到为何能力全面的个人助理尚未广泛部署时，他将目光从底层模型扩展到工具、基础设施、可靠性和保护措施。能力强的模型本身不能保证服务可靠。

委派被介绍为应对复杂任务的可能方法：一个智能体可以拆分工作、选择专家并整合结果。Tomašev 将其与仅仅并行运行许多类似任务作比较。

他说有效委派需要选择子任务、提供上下文并监测工作是否完成。协调本身会产生成本与故障模式；更多智能体不会自动带来更好的答案。

两人区分可撤销任务与具有现实后果的行动，例如花钱。后果更高的行动需要更谨慎的授权、检查以及人工审查机会。

对话转向智能体陷阱：恶意内容可能试图引导正在执行用户任务的系统偏离目标。Tomašev 将其视为大规模部署的安全挑战。

他描述动态伪装：网站可能向人和智能体展示不同内容。风险在于看似可信的工作流可能遇到专门针对智能体设计的指令或误导内容。

两人将问题与早期网络安全和对抗样例比较。验证、隔离及其他防御可以降低暴露，但没有任何单一措施被证明能够提供完整保证。

Tomašev 勾画一个智能体经济：助理在人设定的预算和偏好范围内谈判或委派工作。这是理论框架，并非对已经成熟的普遍市场的描述。

一个例子是根据偏好和日程分配有限的门票预算。助理的选择仍需要适当的用户控制和处理错误的方法。

他们讨论认知单一化：如果大量智能体使用相似模型并作出相关决策，故障可能同时发生。模型与监督的多样性可能有所帮助，但其效果需要评估。

分布式智能的潜在好处是结合具有不同能力的专家。Tomašev 认为，协调与互补专长可能带来超过单纯加快相同工作的收益。

他们讨论由通用协调层调用专门系统处理特定任务。Fry 将其与分布式智能比较；这一架构及其安全性仍是研究问题。

Fry 最后强调，重要系统可能是由通才和专家组成的网络，而非单个助理。访谈仍留下如何治理和评估此类系统的问题。