30 秒看懂
模型升级可能改变智能体能完成的任务,也可能改变其周边工作流程中哪些部分仍然必要。Claude 平台工程师建议测试完整任务及其成本,而不是只比较 token 价格,并利用提示词缓存复用上下文。他们还介绍了从扩展思考向自适应思考的过渡,并表示 Mythos 和 Fable 使用相同的模型权重,但访问方式和安全保障不同。
- 1调整 effort 不再一定会损失已缓存的上下文团队介绍了如何在对话中调整 effort 和系统提示词,以改变智能体行为,同时保留提示词缓存带来的节省。对话中调整 effort 的功能目前处于测试阶段。
- 2模型迁移需要为旧控制项留出过渡期团队在建议中用自适应思考取代了较早的方法,但开发者在过渡期间仍可使用之前的设置。
- 3衡量成功完成任务的成本,而不只是 token 成本提示词缓存复用此前处理过的上下文,而能力更强的模型可能需要更少的 token,或能解决较便宜模型无法完成的任务。
- 4Mythos 和 Fable 共享权重,但安全保障不同讲者说,两种模型的权重相同;Mythos 通过网络安全验证计划开放访问,而 Fable 使用另一套访问与安全保障配置。
- 5新模型可能让过去失败的原型变得可行团队在模型升级后重新评估尚未发布的功能,并建议客户重新尝试自己之前接近成功的方案。
要点建议
- 模型能力提升时,应重新评估整个工作流程;原先辅助模型的结构可能变成限制。
- 比较每项任务的总成本和成功情况,而不是只比较每个 token 的价格。
- 保留共享上下文以利用提示词缓存,并针对自己的使用场景测试控制项。
- 团队表示,Mythos 和 Fable 使用相同的模型权重,但访问方式和安全保障不同。
按章节阅读整理后的全文
Messages API 及其控制项
该 API 将对话轮次和工具调用与影响模型行为的控制项结合起来。研究发现和客户需求都会影响最终发布的功能。
Messages API 是开发者使用 Claude 构建应用的基础:它将用户和助手的对话轮次与工具调用结合起来。API 的控制项也会改变模型行为。团队说,同一个模型在高 effort 和低 effort 下的表现可能大不相同,而默认值体现了 Anthropic 对有效设置的经验。
平台团队与研究人员密切合作,并将他们的发现纳入 API。基本请求中的默认值旨在提供良好的起点,而 effort 等控制项让开发者能够以仅靠提示词可能无法实现的方式定制模型行为。
想法会双向流动。研究人员注意到 Claude 越来越擅长使用计算机,最终推动 API 提供计算机使用工具。客户需求也会影响研究人员在未来模型训练中加入什么,而不是改变已经发布的模型。
调整 effort 的同时保留缓存上下文
过去在对话中更改设置可能导致提示词缓存失效。团队测试新的控制项,并请客户在自己的工作流程中评估。
两个看似很小的变化会带来实际影响:在对话中更改 effort 和系统提示词。过去,更改这些内容可能导致提示词缓存失效,迫使开发者在调整行为和保留复用上下文带来的成本节省之间作出选择。
例如,智能体可能先以高 effort 工作,随后遇到一个更简单的请求。过去切换到低 effort 会使缓存失效,抵消节省。能够在对话中调整 effort 为开发者提供了更多灵活性;视频说明指出,该功能目前处于测试阶段。
一项功能从构思走到发布的过程中需要经过评估。团队还建议每位客户针对自己的任务测试新控制项:通用 API 不能代替针对具体产品及其特定需求的测试。
迁移模型并重新思考周边工作流程
模型标识符和 API 版本都会影响升级。从扩展思考转向自适应思考说明了开发者为何需要过渡时间和新的评估。
模型发布为 API 版本管理增加了另一个维度。模型标识符实际上与 API 版本及其他开关一起发挥版本作用。团队说,模型能力提升可能让开发者愿意调整应用,但这些应用仍需要针对 token 使用量、能力和任务结果进行测试。
增加能力比移除人们依赖的选项更容易。从扩展思考转向自适应思考体现了这种权衡:团队发现较新方法在评估中表现更好,但仍在过渡期保留旧设置,并提供让开发者有时间更新的机制。
当较新的模型不再针对旧方法进行训练时,一些功能最终必须弃用。如果保留一个已无法兑现承诺的 API 选项,就会误导开发者,因此团队尝试在不同模型代际之间提供渐进式迁移。
模型发生变化时,开发者应该重新评估围绕它的整个工作流程,而不只是替换模型名称。曾经帮助较弱模型的辅助结构,可能成为能力更强模型的限制。新功能也可能让更有效的缓存和更低的成本成为可能。
优化每项任务的成本
提示词缓存避免重复处理共享上下文。模型选择应根据完整任务的结果和总成本进行评估。
团队将提示词缓存视为最重要的成本控制手段之一。在智能体工作流程中,连续请求往往会在共享前缀后追加信息。缓存已经处理过的内容块可以减少重复工作;讲者将 90% 的缓存命中率描述为一个努力目标,而不是保证。
更有意义的比较是每项已完成任务的成本,而不只是每个 token 的价格。能力更强的模型可能消耗不同数量的 token,也可能解决较便宜模型无法完成的任务。开发者需要在实际使用的设置下,评估并比较结果和总成本。
随着模型改进,反过来的情况也可能发生:成本较低的模型可能变得能够完成以前需要更强模型才能完成的工作流程。讲者建议重新审视选择,而不是假定之前选定的模型仍然最合适。
平衡访问权限与安全保障
讲者介绍了 Mythos 和 Fable 的不同访问方式和安全保障,以及限制蒸馏的工作。内部评估有助于权衡产品与安全决策。
团队需要在让研究人员和其他客户使用高能力模型,与防止滥用之间取得平衡。讲者将安全保障和分类器描述为 API 管理这一权衡的部分手段。
据讲者介绍,Mythos 和 Fable 使用相同的模型权重,但访问方式和安全保障不同。Fable 无需经过 Mythos 所述的完整验证流程即可使用;视频指出,访问 Mythos 需要经过 Cyber Verification Program。
讲者还担心蒸馏问题:其他模型可以用高能力模型的输出来训练,从而可能产生一个没有相同安全保障的强大模型。他们说,近期的思考过程保护变更旨在降低这种风险。
团队说,安全决策会与许多内部备选方案进行对照测试。随着模型改进,一些评估会变得过于简单,无法区分表现,因此测试本身也必须变得更难。
重新测试原型并为智能体开发
新模型能力可能让此前未成功的功能变得可用。托管智能体建立在其他开发者也能使用的同一套 Messages API 之上。
每发布一个新模型,团队都会重新测试过去未达到质量标准的原型和功能。他们鼓励客户重新尝试之前差一点就能完成的任务:能力的提升可能改变哪些设计可行。
API 的许多设计都围绕智能体工作流程展开。开发者可以使用自己的工具或 Anthropic 的客户端工具,而思考和 effort 控制项会影响智能体能完成哪些任务。Claude Managed Agents 提供了一个更高层的方式来构建这类系统。
Claude Managed Agents 建立在 Messages API 之上。团队说,在内部同时构建这两个层次,有助于从托管智能体中发现需求,并将改进加入底层 API,让直接基于 Messages 开发的开发者也能使用。
同频道的其他文章
16:17EN → 简体中文
10:38EN → 简体中文
12:19EN → 简体中文
33:46EN → 简体中文
17:50EN → 简体中文
34:42EN → 简体中文