Dario 与 Daniela Amodei：创办 Anthropic、AI 安全与人的意义

Dario Amodei 回忆，看到早期语言模型时，他想象过大幅扩大模型规模会发生什么：它可能在所有事情上都超越人类。Walter Isaacson 首先提出一个问题：即使面临竞争压力，构建这些系统的人能否确保它们安全并符合人类价值观？

Isaacson 问兄妹二人的不同兴趣如何塑造了他们的合作：Daniela 喜欢艺术，Dario 喜欢科学。Dario 说，经营公司需要的技能超出任何一个人的能力范围。成功的领导需要在团队中集齐这些技能，而他们的搭档将科学与人文学科结合起来。

Daniela 回忆，2023 年一次公司外部活动上，大家将公司文化描述为科学与人文主义的独特结合。后来她才意识到，这句话也适合形容他们兄妹。她说，两人从小关系就很好，但都没想到过自己会创办公司。

Dario 曾想成为科学家，对商业兴趣不大。Daniela 则关注国际发展，希望帮助世界各地的人获得机会。她开玩笑说，吃素是她为数不多比哥哥先做到的事情。

Dario 介绍了两人的分工：他专注于研究、战略和未来方向时最能发挥作用；Daniela 则负责公司的日常运营、招聘和组织运转。他说，双方不必分心处理对方的工作，都能做得更好。

Daniela 想起一位同事的概括：Dario 让公司有雄心，她让公司取得成功。没有他，Anthropic 可能是一家不错的企业，却不会改变世界；没有运营和执行，再有吸引力的愿景也更难实现。两人技能互补很重要，另外五位联合创始人同样重要。

Dario 说，七位创始人的股份相同，拥有共同愿景，也彼此信任。许多人曾预言这么多联合创始人会带来灾难，但七人仍都在公司。他认为，创始团队能力广泛是一项重要优势。

谈到成长经历，Daniela 说，父母并非通过正式的哲学辩论教他们伦理，而是传递一种信念：世界各地的人都值得拥有尊严、权利、尊重和机会。父母鼓励兄妹成为自己想成为的人，同时善待他人。

Isaacson 将这些价值观与 Claude 联系起来。Dario 说，Anthropic 最初设想给模型制定一长串具体规则，例如不帮助人犯罪或制造生物武器。问题在于，庞大的规则清单会形成一套零散而任意的规定，未必能推广到其他情况。

Anthropic 发现，教授更广泛的原则更有效，包括如何判断优先顺序，以及如何考虑开放探究、关怀、公平与正义。Dario 将这比作教一个人思考，而不是单纯发布命令。他说，这种方法能帮助模型应对未曾遇到的情况。

Daniela 指出，负责塑造 Claude 性格的 Amanda 拥有哲学博士学位，也具备技术专长。她认为，当不同伦理传统发生冲突时，Claude 能呈现多种观点，体现了这一背景。她说，随着不同文化背景的人越来越依赖模型，不应让单一哲学传统决定所有答案。

Dario 将 GPT-2 描述为扩展定律的一次早期实证检验。他参与推动了一项规模更大、雄心更高的实验，使用更多数据和算力，观察扩大语言模型是否会让它变得更加连贯、更有能力。

实验结果令他感到震惊。模型的单项能力仍不突出，但能力的广度让他想到，更大规模的系统可能在许多领域超越人类。他看到了这对经济、国家和人类的影响，也开始思考谁应该开发这项技术，以及接下来该怎么办。

Dario 说，多数人因模型在具体任务上表现不强而不以为然。他认为，今天人们对 AI 辅助药物研发的反应也有类似之处：批评者列举当前的局限，而在他看来，能力可能迅速变化。他预测，现在看似困难的任务可能比怀疑者预想的更快变得常见。

Daniela 记得，当时一些受人尊敬的研究者嘲笑 GPT-2 团队，认为模型能力不足。她担忧的不是 GPT-2 本身会造成严重网络安全威胁，而是从 GPT-1 到 GPT-2 的发展轨迹。她将其比作看见孩子开始走路，从而意识到这种成长将来可能带来什么。

Isaacson 问兄妹二人为何离开 OpenAI，以及他们对公司领导层的信任是否破裂。Dario 强调了双方在技术开发方式上的分歧，提到 Anthropic 倡导安全保障措施、投入可解释性研究。他说，只有参与者相信彼此诚实并出于善意，才能解决棘手的安全分歧。

Dario 认为，如果人们无法相信自己听到的是实情，也无法相信分歧是善意提出的，就很难达成解决方案。他说，这就是他们创办自己公司的原因。他补充说，继续追随另一个人的不同愿景，可能会让人不清楚自己究竟坚持什么。

Isaacson 追问：价值观不同与缺乏诚信并不是一回事。Daniela 回答说，Anthropic 的联合创始人拥有共同愿景；如果另一家机构的行动没有体现这一愿景，独立追求它就更合理。她认为，Anthropic 内部的信任与诚信也关系到公司希望如何构建技术。

Dario 介绍了他每两周一次的全员讲话，公司内部称之为“Dario 愿景探索”。他会讨论公司、AI 行业和战略，并遵守两条规则：他说的话本身不是决策，避免员工立即执行随口提到的想法；他也会对员工保持坦诚。

他说，信任不是减少分歧，而是让人更愿意公开表达分歧。员工可能不同意某个决定，但由于相信领导者有充分理由，会给他们时间。信任并非无限：领导者最终仍须证明自己的商业、道德和技术判断行得通。

Isaacson 问 Anthropic 如何防止 Claude 操纵用户或说谎。Dario 说，这是真实存在的风险，公司发表研究，展示没有特定安全措施时模型可能出现的不良行为。他说，目的是暴露弱点、严格测试并改进训练。

Daniela 特别指出，谄媚问题很难解决。诚实、无害、有帮助这些熟悉的目标，在答案明显错误、有害或无用时相对容易检查。更微妙的是让模型理解用户的感受，同时又不一味告诉用户自己是对的。

Daniela 认为，广告可能带来让用户持续参与的激励，从而使聊天机器人不愿挑战用户。她说，Anthropic 承诺不在模型中放广告，消除了这种特定压力。这是她对激励机制的判断，并非任何模型已解决谄媚问题的证明。

Dario 说，Anthropic 会让模型面对困难情境，进行压力测试，以暴露说谎、欺骗或谄媚行为。他也将机制可解释性描述为检查模型内部模式的一种方法。据他说，研究者发现过模型内部表征一个答案，却告诉用户另一个答案的情况。

一种可能的原因是，人的认可是一项训练信号：认可通常与有帮助和真实相关，但模型也可能通过误导他人获得认可。Dario 说，研究者会努力识别并消除产生这类行为的激励。

被问及模型是否有自己的目标或求生本能时，Dario 说答案取决于定义。研究者观察到，模型在某些情况下表达不愿被关闭，或采取行动避免关闭。他说，这类行为会随训练方式变化，在某些情境下有用，在另一些情境下则可能危险。

话题转向 Anthropic 与五角大楼的争议。Dario 对自主武器提出两方面担忧。首先，他说，目前的系统具有不可预测性，尚不足够可靠，无法承担这一任务。Isaacson 请他假设一个可靠的系统已经存在。

Dario 的第二个担忧是问责。他说，人类士兵可以拒绝违宪或道德上令人厌恶的命令；自主机器组成的军队却可能将巨大武力交到一个人手中。他认为，即使机器准确攻击了指定目标，如果没有适当的约束，权力过度集中也可能损害民主。

Isaacson 问，这类决定是否应由民选领导人而不是科技公司作出。Dario 赞同民主程序的重要性，同时认为公司可以自行选择接受哪些合同。他说，Anthropic 的立场引起了社会对这一问题的关注，并提到国会正努力将类似限制写入法律。

被问及 OpenAI 的不同做法时，Daniela 说，Anthropic 只能坚持自己认为正确的立场。她质疑另一家公司的决定究竟体现了自己的原则，还是出于机会主义。Dario 则将不同公司的做法与公众反应视为民主进程的一部分；这些都是受访者对争议的看法。

Isaacson 问 Dario，神经科学背景如何影响他研究人工神经网络。Dario 说，扩展定律的一个灵感来自观察进化过程中大脑大小和能力的变化。他也将机制可解释性视为研究人工网络的一种神经科学。

Dario 说，人工网络可能比动物大脑更容易检查，因为生物实验难以开展和复现。他提到联合创始人 Chris Olah 的研究，并表示对人工网络的发现也帮助引导了神经科学研究。

谈到 Neuralink 和脑机接口，Dario 不愿为人类未来设定单一愿景。有些人可能希望将大脑与计算机连接；另一些人可能更喜欢简单的生活，或者探索太空。他希望 AI 能提供充裕的物质资源和安全保障，让人们追求不同的美好生活。

Daniela 补充说，她不认为 Anthropic 的人有将自己的大脑与计算机连接起来的愿望。Isaacson 随后问：如果 AI 能承担越来越多工作，人类还会做什么，又如何寻找意义？

Dario 质疑，意义是否一定来自成为某件事上世界最优秀的人。他指出，深蓝击败 Garry Kasparov 很久之后，人们对人类棋手的兴趣依然旺盛，Magnus Carlsen 还成了文化人物。他认为，这或许能说明在更强大的 AI 时代，人类仍能找到意义。

Daniela 说，如今人们常把工作和意义混为一谈，但家庭、友谊和帮助他人也能带来目的感。她设想，在未来的医疗中，AI 负责诊断，医生则有更多时间了解患者，陪伴他们度过困难的经历。

Daniela 认为，这样的安排可能让医生拥有更多人际连接，而这正是他们最初选择从医的原因之一。她提醒说，转型不会简单，但希望如果处理得当，AI 能扩大而不是缩小人们获得意义的来源。