Matthew Berman:用模型路由降低 AI 成本

原标题Matthew Berman on Using Model Routing to Reduce AI Costs

这是一段有赞助的简短介绍,讨论如何将规划和编程任务分配给成本不同的模型,并引用 DigitalOcean 一位客户的节省成本案例。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2026年7月22日
视频
1:24
阅读
2 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Matthew Berman 认为,企业可以通过模型路由,将不同任务分配给不同模型,从而控制 AI 支出。在这段由 DigitalOcean 赞助的视频中,他建议用能力更强的模型做规划,用成本更低的模型写代码,随后介绍赞助商的推理路由器及其报告的一项客户成果。

  1. 1不断上涨的账单Berman 引用 Uber 和 Amazon 高额 AI 账单的报道,说明使用模型路由的动机,但没有展示相关支出的原始数据。
  2. 2划分工作他建议用能力最强的模型做规划,再用成本较低的模型编写代码。
  3. 3赞助商的路由器及案例DigitalOcean 赞助了这段视频。Berman 表示,其路由器会为每个提示词选择模型,并引用了一位客户报告的推理成本下降 42% 的案例。

要点建议

  1. 模型路由将请求或工作中的不同阶段分配给能力和价格各异的模型。
  2. Berman 建议用更强的模型做规划,再用更便宜、更快的模型完成代码实现。
  3. 赞助商报告称,一位客户的推理成本下降了 42%;视频并不能证明所有人都能获得相同的节省效果或质量。
全文

按章节阅读整理后的全文

只看原始文稿
01

AI 的成本

Berman 引用企业 AI 支出的报道,引出模型路由。他认为路由可以降低成本。

AI 的成本压力已经显现:企业在月底看到了高额账单。我引用了报道中的两个例子:Uber 在一个季度就用完了全年 AI 预算,Amazon 一个月花费了 5 亿美元。这些数字是我提到的报道,并非这段短片所证实的支出数据。

我一直在谈模型路由:为一项工作的不同部分选择合适的模型。我的建议是用顶级模型做规划,弄清楚需要完成什么,再把实际代码编写交给更便宜、更快的模型。我认为这样可以在降低成本的同时保持质量;但具体任务中的质量和成本取舍需要测试,不能直接假定。

03

赞助商的推理路由

Berman 介绍赞助商 DigitalOcean 的路由器及一位客户的案例。节省比例来自单个报告案例,并非普遍保证。

DigitalOcean 赞助了这段视频。我介绍了其推理路由器:它为每个提示词选择模型。我还引用了一个报告案例:运行着 130 多个法律 AI 智能体的 Lava 启用该路由器后,无须修改代码便将推理成本降低了 42%。这是一位客户的说法,并不保证每种工作负载都能获得相同结果。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1