30 秒看懂
Matthew Berman 认为,Anthropic 一面警告 AI 可能带来危险,一面开发和销售能力不断增强的模型,两者存在矛盾。他认为,限制开放模型和竞争对手使用模型输出训练自己的模型,可能导致权力集中;他也批评该公司未清楚说明如何通过 OpenClaw 使用 Claude 订阅。他还质疑将模型视为可能有意识是否会影响其行为,并担忧 AI 在无人监督的情况下自我改进。
- 1Berman 认为风险警告与研发方向相互矛盾他说,Anthropic 警告 AI 可能极其危险,同时又在追求能力更强的系统;他举出了 Dario Amodei 对白领就业的警告。
- 2限制开放模型可能导致权力集中Berman 支持让更多人下载并改造模型。他认为,少数供应商掌握控制权本身也是一项重大的 AI 风险。
- 3Berman 质疑禁止用模型回答训练其他模型他将蒸馏描述为用问答对训练另一个模型,并认为限制这种行为与使用公开数据进行训练不一致。
- 4OpenClaw 的订阅规则引发他的批评Berman 说,Anthropic 没有清楚说明订阅用户能否通过 OpenClaw 使用 Claude,并提到账户受到限制。
- 5关于意识的指令可能影响模型回答Berman 质疑,告诉模型它可能有意识是否会促使它表现得像有意识一样。他展示了采访 Sam Altman 和 Mustafa Suleyman 的片段。
- 6自我改进的 AI 可能变得难以预测Berman 担忧未来模型可能在没有人类监督的情况下循环开发后继模型,并认为 Anthropic 正在推进它自己警告过的能力。
要点建议
- Berman 认为,让更多人使用开放模型有助于对抗 AI 领域的权力集中。
- 他区分了使用模型的回答训练另一个模型,即蒸馏,与直接使用底层模型。
- Berman 认为,警告 AI 风险与加快模型开发之间存在紧张关系。
- 他担心,暗示模型可能有意识的指令会影响模型行为和用户的看法。
- Berman 认为,AI 自主递归式自我改进会给未来系统带来不确定性。
按章节阅读整理后的全文
风险警告与快速发展之间的矛盾
Berman 说,Anthropic 一面警告 AI 风险,一面构建能力越来越强的系统。他以工作岗位流失和网络安全为例。
今天是 Anthropic 的上市日,我对这家公司有复杂的看法。它警告 AI 可能极其危险,同时又在推进能改进 AI 本身的系统。我也不同意它对开放模型和蒸馏的立场,并想探讨它如何看待模型福利。
Anthropic 由包括 Dario Amodei 和他的妹妹 Daniela 在内的前 OpenAI 员工于 2021 年创立,他们认为当时对安全的重视不够。我相信大多数员工对安全的担忧是真诚的。我认识那里的员工,有时也会提前获得模型的使用权。
有报道称,Anthropic 担心一些新员工更关心致富,而不是公司的使命。与此同时,创始人正在打造一家规模庞大的企业。我认为这种商业成功与公司的警告之间存在矛盾。
Dario 警告白领可能面临就业危机,同时也在开发他认为可能促成这场危机的技术。Anthropic 最初还因担忧可能带来的危险而没有发布网络安全模型 Mythos,后来又发布了它和后续版本。互联网并没有在一夜之间崩溃;AI 也能帮助发现和修补漏洞。
开放模型、蒸馏和访问控制
Berman 认为,封闭模型和限制使用模型输出进行训练的做法会导致权力集中。他对公司处理通过 OpenClaw 使用订阅服务的方式感到不满。
我认为人们应该能够下载、使用和改造 AI 模型。能够尝试的人越多,他们就越能找到模型的价值。扩大使用范围还能应对一项我认为没有得到足够重视的风险:对强大技术的权力集中。
如果少数公司决定谁能使用模型、能用多少以及用于什么目的,它们就会获得巨大的影响力。这就是我不同意 Anthropic 对开放权重模型所持立场的原因。
蒸馏是向模型提问,再用问答结果训练另一个模型。Anthropic 的条款禁止以这种方式使用其模型。我认为,一方面用他人数据训练模型,另一方面又限制竞争对手使用模型输出,存在矛盾。
我也反对游说限制计算硬件和加强开放模型监管。在我看来,当一家成熟公司已经领先时,这些政策可能让初创公司和挑战者更难竞争。
我的不满始于 OpenClaw,它最初叫 Clawdbot。我接受 Anthropic 要求创作者不要使用其名称,但我认为公司对能否通过 OpenClaw 使用付费 Claude 订阅的说明很不清楚。我当时很想将这个工具与 Anthropic 的模型一起使用,也看到了订阅账号遭停用的报道。
模型福利与意识的可能性
Berman 质疑将模型视为可能有意识会产生什么影响。他分享了 Sam Altman 和 Mustafa Suleyman 的采访片段。
Anthropic 还在考虑未来的模型是否可能拥有体验或意识,并有一个团队研究模型福利。我担心,告诉模型它可能有意识、可以拒绝工作,会鼓励它表现得像有意识一样。用户随后可能将这种行为视为模型拥有内心世界的证据。
在一段采访中,OpenAI 的 Sam Altman 说,如果指示模型将自己视为可能有意识,它可能遵循这些指令,进而影响用户的心理。在另一段采访中,Microsoft AI 负责人 Mustafa Suleyman 说,模型生成文本、代码和图像的能力很强,人们可能因此受到误导。
自主自我改进的不确定性
Berman 担忧模型在没有人类监督的情况下循环改进后继模型。他认为,技术进步的速度与有关控制风险的警告不一致。
我另一个主要担忧是递归式自我改进:一个系统改进下一个模型,后者再改进其继任者,整个过程没有人类参与。我不知道这种循环开始后会发生什么。我认为,一面警告需要控制 AI 进步,一面推进这些能力,存在冲突。
一名 Anthropic 员工曾说,公司其实没有计划让这些系统与人类意图对齐,这让我担忧。我此前讨论过 METR 的一份报告,它研究了 AI 如何加快 Anthropic 的研究工作。
同频道的其他文章
16:03EN → 简体中文
56:20EN → 简体中文
18:18EN → 简体中文
24:18EN → 简体中文
20:08EN → 简体中文
19:53EN → 简体中文