如何比较 AI 任务成本,并在不同模型间分配编程工作

原标题How to Compare AI Task Costs and Split Coding Work Across Models

Matthew Berman 比较 token 价格与基准任务成本,并提出使用不同模型分别规划、执行和审查的工作流程。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2026年7月23日
视频
16:09
阅读
6 分钟
幻灯片
3
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在 2026 年 7 月的视频中,Matthew Berman 认为 token 单价低并不自动意味着每项任务的成本低。他举例说明混合模型编程流程,并预测开放与封闭模型的经济格局;预算数字是假设值,展示的基准图表衡量的是每项任务的平均成本。

  1. 1平均基准任务成本图表中展示的三种配置分别约为 0.95、1.04 和 2.75 美元;这不是每项成功任务的成本。
  2. 2跨模型审查赞助商的研究报告称,在其样本中跨模型审查的漏洞召回率更高;这并不能保证代码没有缺陷。
  3. 3规划、实现与审查Berman 建议让强模型规划、较便宜的模型实现,再用另一个强模型审查。
  4. 4假设预算在指定假设下,混合模型的示例总价为 25.55 美元;没有测量质量和返工。
  5. 5开放模型竞争Berman 预测可下载模型的托管竞争可能降低价格;这是一个情景,而非保证发生的结果。

要点建议

  1. 仅凭 token 价格无法确定完成一项任务的成本或质量。
  2. 展示的基准图表报告每项任务的加权平均成本,并不一定是每项成功任务的成本。
  3. 三阶段编程流程可以分别用不同模型规划、执行和审查,但需要在真实工作中评估。
  4. 展示的混合模型总价 25.55 美元是假设估算,并不能证明质量相同或实际节省了成本。
  5. 延迟、重试、缓存、上下文传递和人工审查都会影响整个流程的成本。
  6. Berman 对开放模型竞争的预测是对未来市场动态的看法。
全文

按章节阅读整理后的全文

只看原始文稿
01

Token 与价格

Berman 解释 token 切分并比较历史输入和输出价格。他认为任务总成本比单纯的 token 单价更重要。

在这期 2026 年 7 月的视频中,Matthew Berman 认为,有效使用 AI 需要考虑的不只是每百万 token 的价格。不同模型可能消耗不同数量的 token、花费不同时间,并在任务中取得不同结果。他建议在工作流程的各个阶段分别选择模型,而不是处处使用同一个模型。

Token 是模型处理的单位,不一定是完整的词。Berman 展示了一个分词器:简单句子大致按词切分,而“programmatic”则被分成更小的片段。自回归语言模型通过依次预测 token 来生成序列;具体切分方式取决于模型和文本。

Berman 比较了视频中显示的价格:GPT-5.6 Sol 每百万输入 token 为 5 美元、每百万输出 token 为 30 美元;他引用的 Kimi K3 价格分别为 3 美元和 15 美元。这些是历史示例,并非当前报价;费率可能因供应商、上下文长度、缓存和服务等级而异。

历史模型定价表
幻灯片 1 / 3历史模型定价表表格分别列出短上下文和长上下文费率,以及输入、输出和缓存 token 的价格。
02

基准成本与模型差异

Artificial Analysis 图表展示每项基准任务的平均成本。Berman 讨论不同模型的优势及赞助商的跨模型审查对比。

即使 token 价格不同,基准分数也可能看起来旗鼓相当。Berman 想强调的是,应考虑获得有用结果的总成本,包括每个模型生成的内容量。在选定测试中分数相近,也不能保证它们在特定应用中的可靠性或质量相同。

Artificial Analysis 每项基准任务成本
幻灯片 2 / 3Artificial Analysis 每项基准任务成本图表将指标标为每项 Intelligence Index 任务的加权平均成本,并按 token 类型细分。

视频中的 Artificial Analysis 图表将指标标为每项 Intelligence Index 任务的加权平均成本:在所展示的配置下,Kimi K3 约为 0.95 美元、GPT-5.6 Sol 为 1.04 美元、Claude Fable 5 为 2.75 美元。这些是每项基准任务的成本,不一定是每项成功解决任务的成本。比较结果与该基准、模型设置和价格有关。

Berman 将相近的任务成本解释为:更低的 token 单价可能被更高的 token 消耗抵消。他举例说,100 万个输出 token 收费 30 美元,与 200 万个输出 token 按每百万 15 美元收费,都是 30 美元。这只是演示性算术,并未证明所有任务都存在普遍的二比一 token 消耗比例,也没有完整计算输入、缓存和重试成本。

他将此称为“智能密度”,并表示根据自己的经验,OpenAI 模型在这方面领先。这是他的解读,并非单个 token 的标准化属性。针对实际工作负载衡量质量、成功率、总支出和延迟,能提供更有用的比较。

Berman 认为模型各有优势,建议让一个模型审查另一个模型生成的代码。在赞助环节,他引用 Greptile 对 Claude Opus 4.7 和 GPT-5.5 的比较:在展示的样本中,每个审查模型在另一模型编写的拉取请求中发现的高严重性漏洞比例,都高于在自身代码中发现的比例。厂商的发现仅限于其研究,并不保证独立审查能找出所有缺陷。

03

三模型编程流程

Berman 建议使用不同模型进行规划、执行和审查。他的预算基于假设的 token 数量,并非受控质量测试。

速度也很重要:API 账单较低可能意味着等待时间更长。Berman 假设一个任务分别花费 30 分钟和一小时,以说明团队除了模型费用,还应权衡延迟和人力时间。实际完成时间取决于供应商、吞吐量、工作负载和重试。

对于困难的编程任务,Berman 描述了三个阶段:用强模型规划,用更便宜、更快的模型实现,再用另一个强模型审查。在他的例子中,Claude Fable 检查代码库并生成规格,Grok 4.5 或 Cursor Composer 等较便宜的模型执行,然后 GPT-5.6 根据规格审查结果。

他的理由是,规划需要广泛的上下文和判断,而实现可能产生大量昂贵的输出 token。审查者随后阅读大量材料,却只生成相对简短的评估。这是一种值得测试的分工;但假设实现总是容易,或者只需要计划,在每个代码库中都未必成立。

Berman 给出一份假设预算:规划阶段输入 100 万、输出 10 万 token;执行阶段输入 10 万、输出 100 万;审查阶段输入 100 万、输出 10 万。他展示的估算为:全程使用 Fable 花费 81 美元,全程使用 GPT-5.6 花费 46.50 美元,混合使用花费 25.55 美元。这些数字取决于假设的 token 数量和费率,没有证明质量相同,也未计入迭代或证明未经测试的项目会实际省钱。

三阶段 token 预算示例
幻灯片 3 / 3三阶段 token 预算示例手写示例比较了三个假设的工作流程账单,并非基于实测的质量对比。

他还预计更快的执行模型会减少总耗时。这种情况可能发生,但在模型间分配工作会增加交接,也可能增加上下文传递、审查或返工。团队需要利用测试和成果质量比较完整流程,而不是只看假设账单。

04

开放与封闭模型的经济学

Berman 预测 AI 技术栈中的竞争、托管成本和价值变化。这些是未来市场情景,而非已确定的结果。

接着 Berman 讨论开放和封闭模型的经济学。他认为,可下载、公开可用的模型可以由相互竞争的供应商托管和优化,从而可能对推理价格形成下行压力。他将其与只能从所有者或合作伙伴处获得的专有前沿模型作比较,并在自己的分析中将 OpenAI 和 Anthropic 描述为领先供应商。

他预测,随着开放模型托管竞争加剧,收入和利润机会将转向芯片、云基础设施和应用。他还预计价格下降会鼓励更多使用。这些是市场假设,而非必然结果:利润率、需求、许可证、基础设施成本和竞争格局都可能变化。

Berman 最后表示,模型定价和开放程度会影响整个 AI 技术栈。他提出的实际做法是评估任务的总体经济性,在模型优势适合工作流程时组合使用。示例反映的是他在 2026 年 7 月的观点;购买前应根据当前费率和实际结果核对。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
6 张幻灯片1:03:37EN → 简体中文
Matthew Berman· 2026年10月23日Matthew Berman 团队测试 Kimi K3.1:动画、游戏与图表Matthew Berman, Alex, Brian · Forward Future一场团队直播问答变成了对 Kimi K3.1 的非正式测试,内容涵盖个人智能体工作流、动态图形、浏览器游戏和基准图表。编程智能体Generative media评估+2