更快的 AI 智能体会让更多工作转向云端吗？

摘要

30 秒看懂

Matthew Berman 回顾与 Thibault 关于推理速度提高的对话，认为本地计算机可能成为瓶颈，从而使更多智能体工作转向云端。短片提出的是预测，没有提供基准数据或指定工作负载。云端推理与智能体运行工具的环境是两个独立选择，本地或远程执行都可能适用。

1关于推理速度的观察Berman 回忆 Thibault 讨论 token 生成加快和预期中的超快模式；片段没有提供测量数据。
2可能的本地瓶颈本地 CPU 可能限制某些大量使用工具的工作流程，但短片没有证明每位 ChatGPT 用户的计算机都太慢。
3云端预测Berman 预计更多智能体工作负载将转向云环境；这是预测，并非推理加速的必然结果。

要点建议

模型输出更快可能暴露智能体工作流程中的其他瓶颈，但需要针对具体工作负载测量限制因素。
模型在云端推理，不一定意味着智能体的工具或代码也在云端执行。
向云端迁移是 Berman 的预期，而不是短片已经证实的结果。

主题Inference 基础设施与部署 AI agents

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

更快的推理与本地计算机

Berman 回顾有关 token 速度提高和可能出现 CPU 瓶颈的对话。短片没有展示基准测试，也没有指定工作负载。

与 Thibault 对话之后，我一直在思考更快的推理速度——以每秒 token 数衡量——以及预期中的超快模式。短片没有提供模型、基准测试、发布日期，也没有证据支持标题暗示的无限速度。

我认为，随着推理加快，用户的计算机和 CPU 可能成为瓶颈。如果本地工具执行或处理速度较慢，特定智能体工作流程确实可能出现这种情况；但片段没有提供测量数据，证明典型 ChatGPT 客户端或所有计算机都受 CPU 限制。网络延迟、服务器推理、工具调用、存储等因素也可能影响速度。

云端执行的可能性

Berman 预测更多智能体工作将转向云端。推理地点和工具执行地点是两个独立决定。

我预计更多 AI 智能体工作将转向云端。这是预测，而不是 token 速度提高的必然结果。云端模型推理与智能体在哪里运行代码或工具是不同的选择：[OpenAI 的架构文档](https://developers.openai.com/api/docs/guides/agents-api/architecture)描述的执行环境既可以在远程，也可以在本地。