推理速度为何对 AI 智能体重要

摘要

30 秒看懂

Matthew Berman 认为，AI 模型的速度与输出质量一样重要，尤其是在智能体工作时无需人逐个读取 token 的情况下。他以 Claude Opus 4.6 Fast Mode 和 GPT-5.3-Codex-Spark 为例。

1速度的重要性Berman 长期重视模型速度，认为它和质量一样重要。
2智能体与阅读速度智能体无需等待人阅读模型输出就可以采取行动，因此速度对其工作流程很重要。
3两种快速选择Berman 以 Opus 4.6 Fast Mode 和 GPT-5.3-Codex-Spark 说明这一趋势。

要点建议

Berman 认为，当智能体无需等待人阅读输出就能执行工作时，模型速度尤其重要。
Anthropic 表示，Opus 4.6 Fast Mode 的输出生成速度是普通模式的 2.5 倍。
OpenAI 报告称，GPT-5.3-Codex-Spark 在 Cerebras 硬件上的生成速度超过每秒 1000 个 token。
Token 生成速度只是任务总耗时的一个因素，本身不能证明质量或可靠性。

主题Inference AI cost & performance AI agents

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

为什么速度重要

Berman 认为，快速输出对执行实际工作的智能体尤其有用。他将此与单纯关注模型质量的观点作对比。

我觉得自己的观点得到了印证：长期以来，我都是 AI 模型的“速度至上主义者”。人们常说质量最重要，但我认为速度同样重要。当智能体能够处理实际工作，无需等人读完每次输出时，更快的生成速度就能带来显著差别。

更快的模型发布

他提到 Anthropic 的 Fast Mode 和 OpenAI 的 Codex-Spark。公布的速度数据描述的是输出生成速度，不一定等于整项任务的耗时。

我一直在使用 Claude Opus 4.6 Fast Mode，觉得它速度极快。[Anthropic 表示](https://www.anthropic.com/research/measuring-agent-autonomy)，该模式的输出生成速度是普通 Opus 4.6 的 2.5 倍。这是输出生成速度的比较，并不意味着每项完整任务都会快 2.5 倍。

OpenAI 也推出了 GPT-5.3-Codex-Spark，称它在 Cerebras 硬件上每秒可生成超过 1000 个 token。其 [2026 年 2 月公告](https://openai.com/index/introducing-gpt-5-3-codex-spark/)介绍，这是一款较小的编程模型，以研究预览形式推出，最初面向 ChatGPT Pro 用户。实际任务时间还取决于输入处理、工具执行和网络开销；仅凭速度不能证明输出质量。速度至上主义者，团结起来！