Claude 真的变差了吗?追查 AI 编程工具各环节的退化

原标题Did Claude Get Worse? Tracing Regressions Across the AI Coding Stack

Theo Browne 结合用户报告、评测、智能体框架、分词和历史基础设施故障,分析 Claude Code 性能为何变化。

TBTheo Browne讲者 · T3
频道
Theo - t3․gg
发布
2026年4月20日
视频
44:14
阅读
9 分钟
幻灯片
4
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Theo Browne 调查 Claude 和 Claude Code 可靠性下降的报告。他认为故障可能来自多个环节,同时区分已有记录的事故、观察数据,以及他对当前原因提出的假设。

  1. 1区分故障类型拒绝任务、方案变差和丢失上下文可能源自不同环节。
  2. 2运行框架很重要工具规则和累积的上下文可能改变结果并增加调用次数。
  3. 3Token 数量发生变化Opus 4.7 使用新的分词器;token 增加影响成本和容量,但不足以单独证明质量退化。
  4. 4历史故障确实发生过Anthropic 记录并修复了间歇性基础设施故障;这些故障不能证明 Theo 对后来路由方式的假设。
  5. 5细致的观察报告AMD 的会话分析显示行为和可见性发生变化,但相关性不能确定具体机制。

要点建议

  1. 拒绝任务、方案变差和丢失上下文是不同症状,可能有不同原因。
  2. 智能体框架、工具和累积的上下文可能显著影响模型表现。
  3. 分词器变化影响 token 用量,但 token 更多本身不能证明质量下降。
  4. 已记录的历史路由故障不能证明后来感受到的退化由同一原因造成。
  5. AMD 的大规模会话分析报告了相关性,但配置和工作负载变化使因果判断更加复杂。
全文

按章节阅读整理后的全文

只看原始文稿
01

用户报告和个人体验

关于拒绝任务和工作质量下降的报告促使 Theo 重新审视退化说法。他区分不同症状,并介绍一项评测趋势。

用户不断反映 Claude 变差了:它会拒绝任务、写出更差的代码,或者在会话中迷失方向。我以前常对退化的说法持怀疑态度,但最近自己也遇到了问题。这并不能说明究竟哪一层发生了变化,因此我想梳理整个系统。

我曾让 Claude Code 排查无法打开的 Dropbox。它说问题超出了软件工程范围,建议查看我根本无法进入的设置。在我的实际体验中,另一个编程智能体很快解决了问题;单个案例无法证明普遍退化,但它说明了我所说的拒绝任务。

这些故障并不相同:API 可能阻止请求,助手可能拒绝或放弃任务,也可能给出更差的方案,或在长对话中偏离用户意图。它们可能来自不同环节,把一切都归结为模型变弱会掩盖有用的区别。

视频展示的 MarginLab 跟踪数据在我查看的时期里,加权指标从约 57% 降到 55%。它测试的是不断变化的模型和 Claude Code 组合;这条曲线值得调查,但它并非隔离模型权重的受控实验,也不能单独解释下降原因。

02

追踪请求经过的环节

编程智能体结合提示词、工具、API 调用、基础设施和模型。期望与额外上下文也会影响用户感受到的质量。

一个请求会经过多层:提示词和对话历史、智能体运行框架及其工具、API、服务基础设施和模型。模型依据提供的上下文生成输出;普通推理中,上下文改变的是激活状态和预测,而不是存储的模型权重。

运行框架除了用户消息,还会提供系统指令、工具定义和其他上下文。工具调用将结果返回对话后,智能体通常会再次请求模型。因此,糟糕的指令或别扭的工具既可能影响结果,也会增加得到结果的成本。

我在处理一道密码学谜题时也遇到过拒绝。过滤、路由、硬件和模型行为都是可以调查的环节,但一次拒绝本身不能确定是哪一个组件造成的。频繁使用工具会产生许多请求,配置差异因此有更多机会影响结果。

我们的期望也会变化。随着模型进步,我开始交付更难的任务,并提高对结果的要求。以前不足为奇的失败,如今可能让人感觉像退化,即使任务本身已经不同。这说明应当比较相同条件下的表现,而不是忽视所有抱怨。

自定义技能、MCP 服务和插件也会增加指令与上下文。有用的扩展可以提供帮助,但无关材料可能干扰智能体,或挤占相关信息的空间。用户和产品开发者都会影响实际交给模型的提示内容。

03

运行框架与评测

工具失败和评测比较表明,智能体框架会影响结果。表现取决于工作负载和配置。

一个 Claude Code 示例试图编辑 package.json,却被告知必须先读取文件。它搜索后再次尝试并失败,最后才调用框架要求的读取工具。我认为这展示了框架交互如何浪费调用,并让历史记录充满失败尝试,即使底层模型理解了任务。

编辑失败与读取要求
幻灯片 1 / 4编辑失败与读取要求示例展示了框架接受读取之前,智能体反复尝试编辑文件。

Matt Mower 的功能实现评测比较了相同模型在不同运行框架中的表现。我引用的结果显示,Opus 在 Claude Code 中的得分比在 Cursor 中低约 15 个百分点。结果取决于评测与配置,但它说明仅凭模型名称无法完整描述一个智能体。

在另一次测试中,Claude 提到系统反复提醒它把我的个人网站视为恶意软件,并表示会忽略这些提醒。即使智能体正确拒绝了一条指令,这些内容仍占用上下文。我担心相互混淆的提醒和工具错误不断累积,会让任务更难完成。

不同框架的 Terminal-Bench 结果
幻灯片 2 / 4不同框架的 Terminal-Bench 结果图中列出 Opus 4.6 在同一评测中配合不同智能体框架的提交结果。

视频中的 Terminal-Bench 表格列出 Opus 4.6 在不同框架下的结果:ForgeCode 为 81.8%,Capy 为 75.3%,Claude Code 为 58.0%。这些是特定日期和配置下的提交结果,并非普遍排名。我还引用了另一项 API 幻觉评测,它曾下降后又恢复,提示问题未必只存在于运行框架。

04

分词器和上下文

Theo 比较分词方式,讨论 Opus 4.7 的 token 数量。他怀疑成本和质量会受影响,但质量影响尚未证实。

分词是另一层:它把文本转换成模型处理的 token。同一段代码在不同分词器下可能产生不同数量的 token;我的演示显示,新旧分词器对空格和缩进的分组方式可能差别很大。

在我的示例中,GPT-5 分词器处理一段代码约需 225 个 token,而较旧的 GPT-3 分词器需要 400 多个。我见过旧模型大量重复空白字符,浪费 token 和费用。不过,token 数量只是分词器的一个属性,单靠它不能证明某个模型一定表现更差。

Anthropic 表示 Opus 4.7 更新了分词器,同样输入的 token 数可能因内容而增加到约 1 至 1.35 倍。视频引用的一项独立测量在技术文档上得到约 1.47 倍,在 CLAUDE.md 文件上得到约 1.45 倍。这些是具体样本,并非普遍倍数。

同样材料占用更多 token,可能影响使用限额、成本和上下文窗口容量。我怀疑它也可能影响质量,但把更长的 token 序列类比为更长的文档,并不能证明质量下降的因果关系;模型和分词器是一起变化的。

05

历史事故与长上下文推测

Anthropic 记录了此前的三个服务故障。Theo 推测后来默认长上下文及硬件选择与此有关,但没有直接证据。

我没有太多关于不同芯片如何影响这些请求的直接信息,因此涉及硬件的解释只是推测。可以确认的是,Anthropic 的九月事故复盘描述了此前数月中三个间歇性降低 Claude 回答质量的基础设施故障。

事故复盘描述了 Sonnet 4 请求被错误路由到为即将推出的长上下文版本准备的配置。问题最初影响约 1% 的请求,随后负载均衡变更使受影响比例最高达到 16%。Anthropic 还记录了输出损坏和采样相关问题,并表示这些故障已修复。

我把这段历史视为长上下文路由风险的警示,并推测它可能与后来默认的一百万 token 窗口和硬件选择有关。这只是我的假设,事故复盘并未证实:2025 年一次特定的错误路由,不能证明后来所有百万 token 模型都更差,也不能证明请求被有意发送到某种芯片。

Anthropic 后来为 Opus 4.6 和 Sonnet 4.6 正式提供百万 token 上下文窗口,并取消长上下文溢价。长上下文需要资源,我猜测服务成本是否影响了这一决定;但价格和可用性本身无法揭示服务商的路由方式,也无法证明对回答质量的影响。

在我演示的 Claude Code 版本中,模型选择器显示百万 token 选项,同一菜单里没有原先的选择。我展示了一个用于关闭百万 token 上下文的环境设置。使用者应先查看自己所用版本的文档,再决定是否采用这一方法。

06

AMD 会话分析

一份大型观察报告将可见思考内容变化与工作流行为联系起来。相关性和代理指标无法确定单一原因。

AMD AI 负责人 Stella Laurenzo 的团队发布了一份详细的 GitHub 问题报告,分析了 17,871 个思考块、234,760 次工具调用和 6,852 个 Claude Code 会话文件。作者报告称,思考内容可见性的变化与复杂工程工作流质量下降相关。这是一份材料丰富的观察报告,而不是隔离变量的受控实验。

AMD 会话分析
幻灯片 3 / 4AMD 会话分析GitHub 问题报告概述了会话数据集规模和作者报告的相关性。

我担心向用户隐藏思考内容,也可能让后续模型请求失去有用的推理历史。关于内部机制的说法只是我的推测:客户端能否看到内容,不足以确定服务商在各轮之间究竟保留或传递了什么。报告中的时间相关性也不能证明隐藏内容导致了退化。

报告描述了三月可见思考内容逐渐被隐藏的过程,并用签名长度作为估算思考深度的代理指标。报告称该指标大幅下降;这个估算依赖其前提,不能当作对每一个内部推理 token 的直接测量。

团队的行为指标包括更多挫败感、疑似循环和提前停止。观察到的读取与编辑调用之比从约 6.6 降到 2:读取占比从 47% 降到 30%,编辑从 7% 升到 15%。我也见过智能体还没调查就开始修改的情况,但这些观察指标本身无法确定原因。

作者还统计了许多助手请求继续许可或宣布暂停的情况。问题并不是询问许可总是错误,而是多余的停顿可能妨碍智能体完成用户已经授权的工作。

二月至三月的使用量变化
幻灯片 4 / 4二月至三月的使用量变化表格展示请求和 token 的增长;报告也指出并发智能体数量增加。

报告显示,二月至三月间 API 请求约增至 80 倍,输入 token 约增至 170 倍,而用户提示次数接近不变。作者明确指出,并发智能体会话的增加也是增长原因;不能把这些数字全部归因于行为退化。

07

配置和结论

Anthropic 建议调整 effort 设置;Theo 呼吁提高可靠性并尝试替代工具。公平比较需要受控的工作负载。

Claude Code 的 Boris Cherny 回应时谈到了自适应思考和默认的 medium effort,并建议愿意付出更多时间和 token 的用户把 effort 设为 high。这是可以在相同工作负载上测试的一项配置,并不能证明报告中的所有问题都已解决。

我的结论是,退化可能来自多个相互作用的环节,Anthropic 应提供更可靠的行为和更高的透明度。根据自己的体验和看到的报告,我建议尝试包括 Codex 在内的替代品。但这些个案和选取的图表不能证明其他服务商从不退化,也不能为所有产品在所有任务上排出名次。

用户每天依赖这些工具工作,需要区分期望变化和性能的真实变化。我希望看到更清晰的说明、可复现的评测,以及在出现问题时仍然值得信赖的基础设施。

同频道的其他文章

5 张幻灯片38:47EN → 简体中文
Theo - t3․gg· 2026年10月28日Theo 的长时间 Agent 实验:验证、算力与成本Theo Browne · Ping Labs滑板游戏和两个编译器项目展示了反复检查与弹性算力如何支撑 agent 工作,也揭示了循环可能带来的高昂成本。编程智能体智能体工程AI cost & performance+2
5 张幻灯片36:07EN → 简体中文
Theo - t3․gg· 2026年10月27日Theo 谈 Token 成本、编程智能体与 AI 能力的价格Theo Browne · Ping Labs一则关于 Lauren 的 AI 支出估算广泛传播,引出了对缓存计价、基准测试和编程智能体工作方式的讨论。AI cost & performance编程智能体Inference+1
5 张幻灯片30:37EN → 简体中文
Theo - t3․gg· 2026年10月26日Theo 的三个技能:用编程智能体审查和交付代码Theo Browne · Ping Labssol-loop、full-send 和 full-stop 如何定义审查、验证以及不同程度的合并权限。Agent skills编程智能体Code review & verification+2
2 张幻灯片0:43EN → 简体中文
Theo - t3․gg· 2026年10月23日Theo 区分安全漏洞与实际攻击Theo Browne · Ping Labs一段简短讲解:软件漏洞披露和攻击事件为何属于不同类型的安全新闻。CybersecuritySoftware engineering
6 张幻灯片29:22EN → 简体中文
Theo - t3․gg· 2026年10月22日Theo 谈安全漏洞、被盗 API 密钥与 AITheo Browne · Ping Labs从漏洞披露到补丁部署之间的风险窗口,以及被盗推理密钥为何可能有价值的推测。CybersecurityAI securitySoftware engineering+1
4 张幻灯片31:13EN → 简体中文
Theo - t3․gg· 2026年10月20日Theo:更聪明的模型为何能帮助更多人Theo Browne · Ping Labs从游戏修改到编译器实验,Theo 重新思考谁能从更强大的 AI 中受益。编程智能体Developer productivityHuman-AI Collaboration+1