Anthropic 的开发者平台一年长出三层，token 也有了分工

Katelyn Lesse 大约一年前加入 Anthropic 时，开发者平台基本就是 Messages API：一个无状态的调用，外加 SDK、文档和控制台。MCP 已经作为标准出现了。但当时还没有出现的，是如今运行在这个平台之上的其余技术栈：托管智能体、自托管沙箱、技能、记忆，以及他们开始称为策略（strategies）的一层，在这一层，token 不再是同质的燃料。每个 token 都可以被赋予一项任务：执行、建议、做梦，或者被打分、不合格就重试。Sonya Huang 与 Lauren Reeder 主持红杉资本的《Training Data》播客，Sonya Huang 开场就说，这是世界上最重要的开发者平台之一，甚至可以说是最重要的那一个。Lesse 和 Angela Jiang 带领着打造它的团队。对外，它是每位开发者用来连接 Claude 的 API 和工具；对内，它则是 Anthropic 自家应用所依托的那一层。

团队有两颗北极星。Jiang 承认，这听起来不对，北极星应该只有一颗，但你注意到它们分属不同的星系，就会明白了。对内，团队的任务是尽可能让 Anthropic 的产品团队有杠杆可用，以便在一个可靠的平台上快速发布“AGI 化”的产品。速度是有意为之的。对外，真正的北极星，是让任何开发者都能用上工具，与 Claude 一起做他们想做的东西。归根结底，就是把平台放到业务所在的地方，这也是为什么他们花了大量时间与 AWS、谷歌等超大规模云服务商集成。有时，这是以基础原语和更高阶抽象的形式出现；有时，则是以标准的形式出现。她说，技能和 MCP 是 Claude 要变得有用就必须具备的东西，所以他们可以把它们开放给整个生态，与所有人协作。

在两颗北极星之下，有一条他们尽量不打破的规则：内部团队与外部开发者拿到的是同样的基础原语。很多平台业务会把两者分开，Anthropic 努力让两者保持平等。他们的论点是，模型能力增长得太快，没有哪种形态能持续太久。两年前，所有人都说一切都是聊天；现在，所有人都说别管聊天了，是智能体。之后还会有另一种形态。他们不认为自己是唯一能找到这些形态的人；他们主张，更广泛的普及，才是市场真正把这些形态挖掘出来的方式。Lesse 的实际做法是：内部先用起来（dogfooding），同时对外开放早期访问，这样他们就不会过度依赖内部需求。内部用户和外部用户都有各自的具体需求。只偏向其中一方，就会错过另一方。

随着模型越来越擅长长时间运行、保持更多上下文，Lesse 说，客户们一直在解决 Anthropic 内部也在解决的同样问题：智能体要在一个长时间运行、甚至是远程的上下文中成功完成任务，过程中没有人类在环路里。基础设施很难。你如何生成具备正确治理和安全性的沙箱，如何启动和关闭它们，如何存储转录记录，以便会话可以暂停和恢复？框架工程是另一堆活：提示词缓存、上下文窗口管理、从模型中榨取更多智能、盯住成本。平台现在的理念，是把这些原语打包好，这样如果你想卸掉其中一部分，就可以卸掉，并把注意力放在你真正想解决的问题上。

Jiang 的简化说法是一块三层蛋糕。最底层是知识：关于模型的知识、关于它需要什么的知识，以及关于如何真正用 Claude 把事情做成的知识。这一层的原语更成熟、更固化，比如 Messages API 上那些具体的结构和参数，试图表达 Claude 如何思考、如何遵循参数、如何进行工具调用；然后是标准化的工具；再然后是可以在不同时机插入的一些上下文片段，具体来说就是技能和记忆。MCP 也在这一层。下一层是执行。仅有知识还不够，你需要 Claude 去干活，跨系统编辑文件，产出结果。这需要基础设施。这一层的抽象，是一个底层框架加上托管基础设施。目前，这一层的高层产品就是 Claude 托管智能体（Claude Managed Agents）。

在此之上，她看到一个协调层，它仍然更像是一种萌芽，而不是产品。他们已经开始思考一种叫作策略的东西，几乎算是一种元框架。真正的底层框架是为执行而设计的。下一层则从这样一个想法出发：token 并不真的可以互换：这个 token 在提建议，那个在执行，还有一个在做梦。你在上层组合编排好的策略，因为你仍然要执行，而执行仍然需要知道该做什么。一切都应该层层递进。她说，看看路线图并往前推，你会发现，他们推出的抽象正越来越多地从知识走向执行，再走向协调。

谁会用哪一层，取决于用户。在较低层面折腾的 AI 原生初创公司，会直接抓取原语。其他人，包括传统企业，或者那些不在智能体技术栈上死磕、却把工作流串起来、提供独特用户价值的初创公司，则会选择打包好的产品。这并不是他们的核心能力。Lesse 后来指出，托管智能体被称为高阶抽象，但其实并没那么高：你仍然要定义自定义工具、技能、系统提示词和 MCP 服务器。可调的旋钮依然都在。他们想要的终局是：你告诉智能体你想要的结果，以及你愿意花费的预算，然后各就各位，预备，开始。

Huang 问了标题里的那个问题：开放生态还是围墙花园，以及他们需要先自己拥有哪些一方产品。Lesse 结合那块蛋糕来回答。在执行层，在 Claude 托管智能体内部，他们并不在乎你是否把工作跑在他们的基础设施上。他们推出了自托管沙箱，并与 Modal、Vercel、Cloudflare 等合作，甚至包括亚马逊新推出的微型虚拟机，让你可以把这些接进来，作为一等公民来使用。他们推出了 MCP 隧道，让你能够调用防火墙后面的 MCP 服务器。工作跑在 Anthropic 的基础设施上，还是别人的，对他们来说其实并不重要。重要的是你如何搭建智能体的架构，让它强大、可靠、可扩展。他们对这一点有很强的看法：遵循接口，然后把东西接进来。

Jiang 退后一步，用电来打比方。在电之前，人们只有蜡烛，能做的事情很有限。电之所以成为一种变革性的公用事业，是因为你可以把它接进每一样东西里，每个人都能用上，并且有了插座的统一标准。这不是任何人能独自做到的事，你总是得与生态和合作伙伴一起干。他们希望一家公司能够被创建出来，构建它想要的任何产品，需要时构建智能体，并让这些智能体彼此相连，有些是 Claude 的，有些不是。整体上要做到彼此可以顺畅交易。制定标准是其中的一部分：在构建者这一层，是技能和 MCP；在更高的层面，则是整个行业如何共同对待安全。没有人希望自己的服务上出现负面活动。网络安全就是一个例子。保护好你自己的系统；在关键基础设施和欺诈问题上与别人合作。

生态已经在以他们并未作为产品推出的方式进行组合。Lesse 描述了一位客户，他们在 Managed Agents 上搭建了一些智能体，另一些则放在其他模型和平台上，分别优化之后，突然有了一个脑洞大开的时刻：在某个智能体之上暴露一个 MCP 服务器，这样另一个智能体就能把它当作工具来调用。Anthropic 与他们坐下来，一起梳理，最后确实跑通了。智能体调用智能体，已经在发生。另一批客户则在与旧软件搏斗。医疗公司告诉他们，有些系统甚至没有 API，那简直是做梦。于是他们用电脑使用（computer use）来自动化和连接，有时是一台笔记本运行着一大堆任务，自动生成智能体能够消费的界面。Jiang 对这个领域的判断是：当下最令人兴奋的创新，发生在上下文和连接层。客户已经搭建了定制的软件开发生命周期，也把整个后台办公都自动化了；他们如何把上下文流式地输入进来，这其中的巧思最能体现创造力。这种创新并不靠新的产品形态体现，它体现在把东西做到尽可能有用上。

Jiang 说，Anthropic 在打造第一方产品时，用的是两套框架。第一套是寻找形态。形态不是静止的。在 AI 发展的某一年里很棒的东西，下一年很可能就不再那么棒。内部他们会问，这东西够不够 AGI 化；他们也会先做出一个东西，看它风光一年，然后扔掉，再试一次。他们也这样告诉平台用户。Claude Design 就是一个例子，有人可能会眯眼看它，觉得这是进军设计垂直领域的一步。但仔细看，会发现有两个决定。第一，把越来越多的事情交给 Claude：和它对话，让它自己想办法，少一点手动编辑。第二，问一问，代码能不能取代经典的所见即所得（WYSIWYG）路径：把设计生成为代码，而不是去对接一个设计系统。早期的实验表明，这是可行的。其他很多内部项目也属于同一类。实验室团队去尝试它们，它们酷上两个星期，然后他们转向别的东西，很多时候，它们从未真正上线。

第二套框架是 TAM（市场空间）。他们是一门生意。他们寻找那些具备合理智能体运营条件的领域，并把重心放在那些吃 token 的工作上：一轮结束之后，你是觉得做完了，还是很高兴做了那件事、想要做得更多？编程是最明显的例子。你完成一轮，感觉被解锁了，于是继续构建更多。其他服务完成一项工作，你就走开了，这些他们没那么感兴趣。他们也会挑选买方希望获得工作流帮助的业务职能。他们对垂直领域一向很坦诚：金融和法律，在合适的上下文和工具下，以有用的形态提供。在金融领域，你可以基于 Messages API 来构建，也可以基于 Managed Agents，或者作为产品中的连接器。他们最近推出了 Claude for Financial Services，即可以在他们的产品里使用、也可以在别人的产品里使用的技能包，以及关于如何用 Managed Agents 完成这些任务的操作手册。他们把组件放出去，看看人们往哪里跑。

有时候，他们会自己把这些零件打包起来。Claude Tag 就是例子。他们观察过整个行业在这样做：Shopify 配合 River，Block 配合 BuilderBot，一些公司搭建内部智能体平台，往里面塞进正确的上下文，并让它能从 Slack 里被调用。Tag 就是这种打包方式，Anthropic 在内部是这样用的，并且准备好了可以接入。Huang 问，鉴于外界的喧闹都在说它只是个 Slack 机器人，人们究竟误解了什么。Jiang 的回答是，过去的产品训练人们去依附于界面。有了 Tag，你在 Slack 里 @它，这就是界面；但这不是重要的部分。重要的是底下的上下文工程和架构，让它能够开箱即用。它应该感觉像一个同事：走进你的频道，聊天，主动，弄清楚什么有用，并把事情做完。对非技术人员来说，这是一次巨大的解锁。我该怎么提交报销单？过去意味着找经理、找带新人的伙伴，满楼跑。现在，你建一个频道，然后 @Claude 就行了。

Andrej Karpathy 说得很到位，她说，它是组织级的框架。你可以用 API 自己搭出来，但你得自己做很多实验。未来感的部分在于，很多复杂性是一座冰山，藏在水面下。底下的东西正变得更加困难，也更有价值。浮在水面上的部分，也就是界面，可以不断更换。今天很多企业在 Slack 里协作，另一些在 Teams、WhatsApp 群、短信里，还有些仍在用邮件。智能体可以占据人类已经占据的那些形态。她说，这几乎是个平淡无奇的观点，但她认为这是最具前瞻性的一个：你希望智能体就是另一个帮你干活的人，聪明、满脑子上下文、时刻在线。

Huang 问框架与上下文的最佳实践。Lesse 的清单刻意保持朴素。提示词缓存：一定要做，它能为你省下大量的钱和 token。保持上下文窗口干净，把旧东西清掉。有时以编程方式调用工具，这样你就不必把所有东西都拉进窗口。然后是评测（evals）。她惊讶于在有人说出这个词之前，人们已经走到了这一步。这些细节都在底层框架中，也就是他们已经打包进 Managed Agents 的那些具体而琐碎的部分。她说，有意思的创新，在于向上走到策略层。你可以把同一个 token 用在执行上，也可以用它回顾过去的智能体会话，把经验写进记忆，好让下一个智能体做得更好。你可以用更大的模型来提建议，让较小的模型去执行。你可以先执行、执行，然后让一个打分器介入：你做得好吗？不好，就再试一次。与再往上一层相比，缓存和清理这一层未必还有那么多油水可榨。

Jiang 的解释是分代的。两年前，很多框架是一个脚手架，把模型从 A 带到 B。你几乎是在这里砌一堵墙，那里再砌一堵墙，让它沿着直线走。现在的模型非常可引导。很多引导工作，你直接放进提示词里就行：从 A 到 B，它就会去做。如果你的框架是为了做这种引导而设计的，那部分可以删掉。他们经常鼓励这样做。这就是人们说模型会吃掉一部分脚手架的意思。框架现在需要开始做的，是让模型跑得更久。你不希望它停在 B。你希望它从 B 走到 C，再到 F，再到 Z，然后再回到 A。她说，这听起来有点傻，但会带来很多差异：引导型框架更少，策略型框架更多，与模型的智能增长相匹配。

面向特定任务或垂直领域的框架有没有意义？他们的看法是有。没有通用的框架。编程是一种通用能力，因为软件已经吞噬了大量可能性。非常具体的领域则需要定制化的部件。其中之一，就是你如何处理在做某件事与把它交给模型之间的错误。在需要极高验证性的领域，比如法律和金融，出错是有后果的，最后那一小段逻辑会带来巨大的价值。它就是你的产品与别人的产品之间的差别。Jiang 认为，上下文的重要性有点被高估了。任何框架都能处理很多上下文；如果你手里有数据，你就有独一无二的资格。Lesse 补充说，“框架”一词含义很多，这也是观点相互碰撞的原因：对一些人来说是用户、模型、工具构成的循环，对另一些人来说则是一套打包好的工具集。那些通用的部分，比如缓存、清理旧的工具调用，自己去拥有并不那么有意思。再往上走一层，你就开始想要控制权了。

Huang 点出了这个时刻：行业先经历了 token 最大化，现在正进入 token 精打细算。两位嘉宾都接受这个框架。Jiang 说，这很有道理。随着模型变得越来越强，你会碰到智能最大化的天花板，然后下一个维度就是成本或速度，你需要沿着任务复杂度的分布去权衡。你不想做的，是停止使用 AI。他们看到客户就是这样做的。开支往往以影子 IT 的形式爆发：员工自己找到办法、自己采购，等你回过神来，半个组织都装上了 Claude Code。错误的做法是硬性上限。如果你在获得回报，比如交付更快、运营效率更高，那些就是收益。更好的架构，是一种会评估任务复杂度并进行路由的策略：难的工作交给大而聪明的模型，简单的工作交给更便宜的模型。其中有技术上的复杂性，但完全做得到。

他们会提供这种路由吗？在 Claude 的范围之内，Jiang 认为这是有道理的。这是他们设想要设计的策略之一。每个月都像是一个新时代；他们想要可重组的基础原语，好让自己能快速重新设计。关于模型路由，他们对于围绕 Claude 设计平台有着强烈的看法。他们会把范围限定在 Claude 之内，对告诉你路由到别家供应商的模型并不太感兴趣。Lesse 的支持性信念是，框架和智能体层应当针对你所使用的模型家族进行调优。曾经有一段时间，人们以为可以搭建一个框架和一个智能体，然后在底下接入另一种模型，并且为此对路由器感到兴奋。现在，一些玩家开始往上走一层。Lesse 指出，Vercel 就是这样做的，它推出了框架加智能体的打包方案，把整个东西与一个模型家族绑定。Anthropic 能提供的，是在这个家族内部更聪明地混合和匹配模型。

在加入 Anthropic 之前，Lesse 在 Stripe 工作，那是一个非常理性的时代，人们会盯着 AWS 账单。如果有人建了一个后台任务，配置错了，把 CPU 烧在了不值得的事情上，护栏就会发现，然后有人会客客气气地请那位工程师把它关掉。AI 的开支正朝着同样的肌肉走去。只是简单设一个上限，就会变得危险。更聪明的做法，是事后从侧面切入：达成同样的结果，有几种途径。一种是用 Opus 整夜跑。另一种是在策略上稍微聪明一点，以更低的成本达成同样的结果。她认为，这就是下一层的思考。使用结构也在变化。编程当然爆发式增长了。制造业开始起来了；他们的一位产品经理登上飞往底特律的航班，去看看这些客户真正需要什么。他们预计还会出现更多打破常规的品类。

被问到接下来几个月他们兴奋想要做出什么，Jiang 为再次说出那个词道歉，但还是说了：组合策略，进入那个协调层。人们正在构建的问题，所处的层面需要一定的巧思，才能获得回报。具体的例子：一个漏洞猎手智能体。你可以派它出去，并获得一定的回报。但人们会卡住。接下来的选项，看起来像是换上更大的模型，或者让它跑得更久。经过大量实验，这两个杠杆仍然有效，而还有第三个，往往比你想象的作用更大：best-of-N。说这个词没问题，论文里都有。但要把它真正做出来、放进生产环境、在用户身上测试，这非常难，最后你会搭出一堆定制的框架。那就是真正的超额收益所在。如果它能带来你想要的回报，而且难度很高，那么他们的初始理念依然成立：努力让它变得简单，这样你就能跑你真正需要的实验。

Reeder 说起去年的智能体蜂群。Jiang 说，那也是一种策略，同样，一个大智能体拆分成几个，也是另一种策略。人们曾把它当作人类组织来思考。推到最终形态，更像是 token 有了一份工作。这份工作的部分，正是他们所关注的指标。在内部，他们随口就能说出五种分工。把这件事交给整个生态，组合数大概是 10 万或 20 万种。谁知道呢。Lesse 希望继续在每美元智能上爬坡，并把这种能力交到人们手中。在边缘地带，还有两类用户画像。企业需要安全与合规，需要平台以正确的方式更加模块化，比如把记忆接到这边的这个东西上，还需要真正出色的开发者体验，因为他们中很多人身处围墙花园之中，出于各种原因，无法使用这些巧妙的策略工作。解决这个问题很重要。另一类是周末开发者，他们在 Anthropic 以及其他所有人的平台上，为自己构建有用的东西。对他们来说，需要更开放、更容易改造、可以任意发挥的解决方案。其中很多是入场门槛，而她对此很兴奋，因为正是这些入场门槛，让人们可以随后接入那种向上攀爬的能力。

把这一小时的谈话整理成一份明天就能用的清单，大致是这样的。今天就打开提示词缓存；把窗口里的旧工具调用清掉。审视框架，删掉引导型的脚手架；把省下的注意力投入到评测上。给反思、记忆、建议者和打分器留出一部分 token 预算。当回报停滞时，先试试 best-of-N，再去找更大的模型。如果你在法律或金融领域，就把验证逻辑放在模型和执行系统之间，那是你的护城河。如果你是企业，正盯着账单发愁，不要一刀切地设上限；去搭建复杂度路由，然后像当年审查 AWS 那样审查这些任务。如果某个系统没有 API，电脑使用现在就能跑。Jiang 的电的比喻，在结尾处依然贴切：蜡烛时代只能做这么多。电流的价值，在于你能接上多少东西。平台层的竞争，拼的是插座，也是把电送进更多业务里。