摘要
30 秒看懂
Matthew Berman 认为,企业可以通过模型路由,将不同任务分配给不同模型,从而控制 AI 支出。在这段由 DigitalOcean 赞助的视频中,他建议用能力更强的模型做规划,用成本更低的模型写代码,随后介绍赞助商的推理路由器及其报告的一项客户成果。
- 1不断上涨的账单Berman 引用 Uber 和 Amazon 高额 AI 账单的报道,说明使用模型路由的动机,但没有展示相关支出的原始数据。
- 2划分工作他建议用能力最强的模型做规划,再用成本较低的模型编写代码。
- 3赞助商的路由器及案例DigitalOcean 赞助了这段视频。Berman 表示,其路由器会为每个提示词选择模型,并引用了一位客户报告的推理成本下降 42% 的案例。
要点建议
- 模型路由将请求或工作中的不同阶段分配给能力和价格各异的模型。
- Berman 建议用更强的模型做规划,再用更便宜、更快的模型完成代码实现。
- 赞助商报告称,一位客户的推理成本下降了 42%;视频并不能证明所有人都能获得相同的节省效果或质量。
全文
按章节阅读整理后的全文
01
AI 的成本
Berman 引用企业 AI 支出的报道,引出模型路由。他认为路由可以降低成本。
AI 的成本压力已经显现:企业在月底看到了高额账单。我引用了报道中的两个例子:Uber 在一个季度就用完了全年 AI 预算,Amazon 一个月花费了 5 亿美元。这些数字是我提到的报道,并非这段短片所证实的支出数据。
我一直在谈模型路由:为一项工作的不同部分选择合适的模型。我的建议是用顶级模型做规划,弄清楚需要完成什么,再把实际代码编写交给更便宜、更快的模型。我认为这样可以在降低成本的同时保持质量;但具体任务中的质量和成本取舍需要测试,不能直接假定。
03
赞助商的推理路由
Berman 介绍赞助商 DigitalOcean 的路由器及一位客户的案例。节省比例来自单个报告案例,并非普遍保证。
DigitalOcean 赞助了这段视频。我介绍了其推理路由器:它为每个提示词选择模型。我还引用了一个报告案例:运行着 130 多个法律 AI 智能体的 Lava 启用该路由器后,无须修改代码便将推理成本降低了 42%。这是一位客户的说法,并不保证每种工作负载都能获得相同结果。
同频道的其他文章
34:21EN → 简体中文Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。
0:26EN → 简体中文Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。
0:36EN → 简体中文Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。
0:21EN → 简体中文AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。
25:50EN → 简体中文Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。
32:20EN → 简体中文本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。