AI 数字人、安全与“AI 洛斯阿拉莫斯”：一场 2023 年讨论

2023 年 8 月，我回顾一周的 AI 动态：看起来逼真的数字人、网络防御竞赛、军事应用，以及对 Anthropic CEO Dario Amodei 的采访。视频中的预测和说法应放在当时语境中理解。

我展示一个 AI 生成的数字人，并说仔细观察仍能发现线索，但不留意的观众可能被说服。我提到冒充他人以及在社交媒体和选举中滥用的风险；这一例子本身并不能证明发生了某次具体欺骗。

美国 AI Cyber Challenge 让 DARPA 与 AI 公司合作支持软件安全。我猜测未来尚未发布的模型可能供参赛者使用。这是我在 2023 年的推测，并非特定模型已被使用的证据。

我将防御工作与 Palantir CEO Alex Karp 主张为国家安全开发 AI 工具的观点进行对照。他将其描述为军备竞赛；这是他的立场，军事应用的后果和治理仍有争议。

Dwarkesh Patel 询问 Amodei，先进 AI 开发是否最终需要类似洛斯阿拉莫斯的安全地点。Amodei 回忆了一个关于数据中心、核电站和地堡的玩笑，然后说如果快速进步持续下去，较不夸张的加强安全措施或许有可能出现。

我追问：即使出现技术上的对齐方案，所有开发者真的都会采用吗？一段 Sam Altman 的发言认为，还需要国际合作和协议。技术方案和协调问题都属于对未来的讨论。

Amodei 讨论对敏感信息实行分隔，并警告大型组织可能面临泄密或间谍活动。他还认为越来越强大的系统需要正当的公共治理，同时反对简单地把它们交给当时的执政者。

Amodei 的安全论点是，未来高能力系统如果采取不利于人的行动，可能很危险，而当前模型也可能出现意外行为。这些是关于能力和控制的担忧与推测，并不证明现有系统有伤害意图。

我提到一个 AI 膳食规划工具：用户输入不适合的家用物品后，它生成了不安全的建议。这个例子说明语言听起来合理并不等于经过安全检查；视频并没有提供安全食谱。

Amodei 预测数据不一定会阻碍进一步发展，最大模型的投入可能大幅增加。他说自己是在描述可能发生的事，而不是表示赞同。这两项都是 2023 年的预测。

视频讨论 ChatGPT 发布是否加剧了竞争压力，并引用一位 OpenAI 对齐研究者对总体影响表示不确定的发言。其因果关系和安全影响仍有争议，不能由这段片段定论。

我从 George Hotz 与 Connor Leahy 的辩论中提炼出三个问题：进攻是否可能超过防御；社会能否在不施加不可接受限制的情况下协调防止灾难性滥用；强大 AI 系统可能以多快速度进一步改进。我将它们作为开放问题提出。

Hotz 认为分享进展可以防止权力集中；Leahy 描述了高能力系统可能迅速扩展并改进的情景。这些是关于未来技术和权力的相互竞争的假设，而不是对现有系统的测量。

我将极快递归自我改进的情景，与高能力系统可能先帮助研究者解决对齐问题的设想进行比较。两条路径的时间和可行性都不确定。

被问到 Claude 是否可能具有意识体验时，Amodei 说这个问题尚无定论。他介绍自己对哪些机制可能重要的疑虑如何变化，同时表示他认为当时的模型可能还不够强大，不必过度担忧。

他猜测这个问题可能变得更加紧迫，并追问如何判断一个系统的体验是正面还是负面。无论是这段采访还是模型自己的说法，都不能证明当前系统具有意识或会感受痛苦。