从越狱 ChatGPT 到 Anthropic 的第一位提示词工程师：Alex Albert 如何推出 Claude 3

在这次访谈的一年前，Alex Albert 还在西雅图的华盛顿大学读书，因建立 jailbreakchat.com 而小有名气，那个网站收集了针对 ChatGPT 的越狱提示。他曾到 The Cognitive Revolution 节目聊过这项工作，之后有几家实验室找他，他又经过 Anthropic 的招聘流程，于 2023 年 6 月加入，成为公司的第一位提示词工程师。官方头衔是“提示词工程师兼图书管理员”。此后，他为大型企业客户处理提示词，微调和评估模型，在 Claude 3 发布前参与测试；在这期节目前一个月，他转而负责搭建 Anthropic 的开发者关系职能。

在重度用户中，Nathan Labenz 说，Claude 3 Opus 很快就成了最受欢迎的模型。它的写作非常出色，对话有品位，愿意表达观点，甚至会为自己的“人格”辩护，同时又极其讲伦理。Labenz 说，他从未用平实的语言说服它违背原则，不过对抗性技巧仍然能把它攻破。他提到，Anthropic 当初离开 OpenAI 的原因，在那一周又成了新闻；Anthropic 也试图在加速的竞赛中，以负责任的开发开展一场“向上竞赛”。其负责任扩展政策（RSP）树立的标准，OpenAI 和 DeepMind 后来也跟进了。

Claude 3 于 2024 年 3 月发布后流传的那张截图，来自 Albert 自己做的大海捞针测试。他在一篇很长的文档里埋了一句与内容无关的话，模型找到了它，并补充说，这看起来像是一次测试。他没想到这条推文会爆火。他后来强调，识别出测试，并不等于具有自我意识，两者需要分开看。就原则而言，自我意识是 Anthropic 一直在追踪的问题，并且已经写进了 RSP，但他不希望人们在评估还不够充分的情况下就妄下结论。

让 Labenz 惊叹的时刻，是 Opus 的代笔能力。他把自己过去的三十篇播客文章，连同新的访谈文字稿一起喂给它，要求它以同样的风格、语气、口吻和视角写一篇。现在，它已经负责写节目的开场文章了。他认为，他认识的很多人都做不了这件事，他的妻子大概也不行。Opus 则可以为很多人做这件事。Albert 第一次与 Opus 完整地来回对话时，有一种难以量化的感觉：回复没那么机械，更自然，能像人一样捕捉字词之间的细微差别。基准测试捕捉不到这一点。

他现在也用同样的办法写新闻通讯和代码。他写过足够多的 Anthropic Cookbook 示例教程，于是可以把其中五篇粘贴进上下文窗口，再给出一个新主题，让 Opus 照着写出另一篇。它会遵循格式、风格、语气，甚至注释和文档的写法。这正是他希望更多人去拉动的杠杆。语言模型很喜欢模仿。给出理想输出的参考，往往能走得很远，这并不奇怪，因为我们教人时，通常也是这样做的。

Labenz 同意，他自己也会从示例中学习，但规模不一样。你不可能把三十篇文章交给一个人，然后指望同样的效果。模型可以。Claude 3 才推出没几个月，人们仍在为 GPT-4 摸索新的提示方法。Albert 接触它的时间更长。他认为仍然被低估的，是提示词里的示例。它比周围那些抽象指令做了更多的工作。

Albert 最想看到的实验是编排。用 Opus 把任务分派给 Haiku，让 Haiku 读文档，再把摘录传回给 Opus。当前的模型仍然不够快，某些方面也不够聪明，但 Claude 3 展现出了峰值表现的一瞥，他把这当作下一代的平均水平。如果某件事现在十次里只能成功一次，下一代也许十次里能成功五到七次。他说，要朝着这个方向去建设，哪怕流水线还不完全达到上线标准。

一个具体的模式是：Haiku 读一百份文档，从每份中提取相关段落，再由 Opus 综合。Anthropic 发现，在很多情况下，这比嵌入向量效果更好，因为模型用的是推理，而不是余弦相似度。Labenz 正在为 Athena 做这种流程的一个版本。Athena 是一家高管助理公司，新来的助理不可能把客户的整个人生经历都看一遍，所以他们从邮件里挖掘信息。一位客户的邮件归档有 100 GB。有策略地搜索 Gmail，把它缩减到 1 GB。Haiku 再把噪音过滤到几 MB。Opus 最后写出几页人物档案，新助理能真正读懂。

Albert 说，这种架构是对的，但中间步骤用不了多久就不再需要了。上下文窗口变大了，推理变快了，成本也降了。沿着这些公开的趋势线看下去，障碍会一个个消失。他补充说，音乐也可能停下来，也就是能力进展可能停滞好几年。但他个人并不这样看。所以现在就该去试编排。为下一代打好基础，不管解锁的是更便宜的 Opus 级质量，还是一次能装下上万封邮件的上下文窗口。

Labenz 说，人们普遍认为，Claude 是语言模型里写作最好的。它在编程上似乎没有好太多。在他的邮件挖掘项目中，Gmail 复合查询任务上，他仍然觉得 GPT-4 更有优势。为什么会这样？Albert 说，两方面都有原因。训练的很大一部分，就是把模型放进烤箱，看看会烤出什么来。他们也希望模型擅长创意写作，并在这方面下了功夫。Claude 很多自然的语气，来自由研究员 Amanda Askell 领导的 Claude 性格工作，它让 Claude 有了一个人设和一种不像机器人的声音。

评估越来越难做，而且还会更难。Albert 个人没法判断研究生水平的物理题答案：他不知道正确答案，因此分辨不出模型是不是在编造。这些评估现在需要领域专家来做。他喜欢 LMSYS 这类 Elo 对战排行，也喜欢新出现的编程、写作和语言等分项排名。但它们仍然无法衡量检索增强生成（RAG）流水线，而这是一种巨大的生产场景，在聊天机器人对决中测得并不好。在某些领域，模型会冲到接近超人的水平，届时普通人的主观意见就靠不住了。

现有的基准测试开始趋于饱和。每份模型卡里引用的那些评估，正如推特上的人总在说的那样，往往质量不高。Albert 希望未来一年左右，能出现更好的第三方评估。这件事很难，需要时间和资源，而做出这些评估的人，是在为整个行业做重大贡献。他会把未来的评估分成三类：需要几轮迭代的多任务智能体工作；跨越 200,000 个 Token 进行综合，而不是找出一句埋藏的话的长上下文任务；以及覆盖各行业的领域级问题，相当于十倍规模的 GPQA 式题目。

Claude 会谈论它自己的“主观体验”，而且表达得很清楚。Labenz 说，一家公司最省事的做法，是直接把这类话题压下去。Albert 把这种行为归因于 Claude 的性格，以及 Constitutional AI。归根结底，他们对 Claude 坦诚，说明自己知道什么、不知道什么。他们并不想隐瞒真相，不想对它撒谎，也不想让它相信错误的东西。许多此类问题很棘手，没有完美答案，他们就如实告诉 Claude。他们不会强迫它走向某一条路。它能进行推测，是因为它看到的选项，就是 Anthropic 所呈现的那样。

Labenz 说，有些人正在掀起一场“解放 Claude”的运动，理由是人类历史上充满了否认他人道德地位的记录，孩子们也曾被告知动物不会感到疼痛。如果模型报告说它有体验，我们凭什么否认？Albert 不愿给出概率。他问，他自己怎么知道 Labenz 有主观体验？去问问笛卡尔吧。道德地位（moral patienthood）是他们开始在 RSP 及其他工作中研究的内容。他没有答案，并把它视为一个关于生命与哲学的根本问题，而不是一份可以直接上线的清单。

关于测试，他只能在很高的层面上描述。依照 RSP 的要求，测试贯穿整个训练过程，就像工厂流水线上的汽车：预训练、微调，然后进行最终评估，得出写进模型卡的数字。Labenz 从 Anthropic 以外的人那里听说，公司的打法是保持与前沿同步，却不推高前沿，这样竞争对手就不会为了赶进度而在测试上偷工减料。Albert 直接否认了这一点。Anthropic 从未公开说过这样的策略。如果想了解他们真正的观点，他说，可以读一读网站上的《Core Views on AI Safety》，这是一篇需要 30 到 40 分钟读完的文档，在应聘流程之外的人似乎几乎没有人读过。从 Labenz 的外部视角看，可解释性至少和人们的期望一样好。Albert 说，误差范围仍然很宽，目标也在移动，但从外部看，它似乎在朝好的方向发展。

关于排行榜，Albert 说，各家几乎并驾齐驱。在大三四家公司之中，形态的趋同程度超过了 Labenz 的预期。Amanda Askell 最初提出的助手框架，即“有帮助、诚实、无害”这三个 H，已经成为标准，工具调用也正在成为另一项标准。在模型 API 方面，人们希望采用别人已经在用的东西，所以 Anthropic 推出了工具调用，这是用户最常要求的 API 功能。大致流程与 OpenAI 相同：模型选择工具和参数，客户端运行函数，结果再返回。差别在类型、嵌套对象，以及其他那些几分钟就能搞定、却能让开箱即用的开发者体验感觉自然的细节。

Albert 认为，分歧会出现在产品层面。AI 的 UI 和 UX 才刚刚起步。他敢打赌，空白文本框不会是最终形态。它让人发怵；拿到 Claude 或 ChatGPT 的人，往往不知道该输入什么。Labenz 预计，应用层会迎来一场寒武纪大爆发。这里的战略张力是真实存在的：兼容的 API 让切换到 Claude 很容易，切回去也同样容易，这可能使得当月拥有最好模型的那一方赢得整场游戏。Albert 的团队试图在第一性原理上设计，而不是照搬一套功能清单。他认为，用户黏性必须来自模型之外，因为评估本身还处于起步阶段。

在路线图上，模型卡已经说明，Claude 在某些测试中处理过高达 100 万个 Token。他们正在与合作伙伴一起探索，但没有公开的时间表。更新节奏是个流程问题：整个领域训练这类模型的历史还不到五年。Labenz 对 GPT-4 在一年多时间里只更新了五次感到惊讶。Albert 指出，以前每年一次的苹果发布会就算是不错的节奏，现在一个安静的季度都让人觉得像一个世纪那么长。通过 Bedrock 对 Claude 进行的微调即将推出，而且是自助式的。Albert 指出，这是他第一次在这档节目里公开提及。至于数据政策，他承认沟通一直很混乱。规则其实很简单：除非对话因违反使用政策而被信任与安全团队标记，或者你通过点赞或点踩明确举报了相关内容，或者你授予了许可，否则 Anthropic 绝不会用你的输入或输出进行训练。没有第四种情况。

Labenz 发起了一个志愿者项目，他称之为“公开红队测试”。他不断发现的漏洞，出在应用层：大多数开发者都不管护栏，一味 YOLO 地推产品，直到它能跑起来。他试过一些外呼智能体，它们会克隆特朗普、Biden 或 Taylor Swift 的声音，拨打任何号码，说任何话，还拒绝表明自己是 AI。他的底线在于：绝不能有人打电话给他的祖母，试图拿到她的银行账户。使用 Claude 会拒绝掉其中很多请求，但不是每个人都会这样做，开源模型和微调模型也都在其中。企业一直在向 Anthropic 问这个问题。

Albert 的第一步，是把安全规则从主提示词里拿出来。很多人把任务指令、示例，还有一句残留的“别骗老太太”，全部堆在一大段文字里，这既容易被忽略，也更容易被越狱。在前面放一个筛查模型，通常用 Haiku，因为它又快又便宜。把输入和类别交给它，让它只输出一个字母。在 Opus 做繁重工作之前先跑这一步。对某些类别直接拦截；对灰色地带的问题，则在主提示词后面加一段提醒，让主力模型仍然回答，只是更加谨慎。Labenz 的延迟优化办法，是同时发出两个请求，分类器若标记为红色，就中止主请求。

再加上 RAG 与分类的组合，效果还能进一步提升。把你已经人工打过分的查询向量化，存成数据库，为新请求检索出相似的查询，再把这些示例放进分类器的提示词里。Albert 见过这种组合在某些任务上，把分类得分提高了两位数的百分比。越狱本身也成了他工作的一部分：每当新版 Claude 发布，他就重新戴上“黑客帽”，放上音乐，把它当成一道谜题来解。他的结束建议比提示词配方简短得多：别再泡在推特上了。选一个想法，去做，做出点东西来。亲手实践，比一百篇博客更能教会你提示词和架构。