AI 编程的模型路由：一个成本计算示例

模型路由就是为每项任务选择合适的模型。我用它减少 AI 支出，尤其是在项目不同阶段需要不同能力时。标题所说的节省幅度因情况而异：应衡量包括重试、审查和质量差异在内的完整工作流。

我将规划与执行分开。规划涉及理解代码库、决定功能如何融入现有系统，以及编写架构或规格。我倾向于用较强模型完成这些工作；更便宜的模型可能足以实现清晰的计划，不过困难的实现仍可能需要更强模型。

我的工作流从研究和提问开始，接着编写详细规格。我把规格交给编程模型，让它创建拉取请求。可选的一步是让较强模型审查请求，把反馈交给编程模型，并在工作准备就绪后部署。

视频由 GenSpark 赞助，Berman 将它介绍为整合写作、设计、代码和媒体工具的 AI 工作区。推广条款和产品可用情况以视频发布时的描述为准。

在一个 API 费用示例中，我假设较贵模型每百万输入 token 10 美元、每百万输出 token 50 美元；较便宜模型分别为 2 美元和 6 美元。这些只是示例假设，不保证代表当前价格或订阅额度消耗。

示例假设规划使用 10 万输入和 2 万输出 token。按较贵费率，输入和输出各花 1 美元，共 2 美元。编程使用 15 万输入和 12 万输出 token；按同样费率分别花 1.50 和 6 美元，总成本为 9.50 美元。

如果编程使用相同 token 数但改用较便宜费率，输入为 0.30 美元，输出为 0.72 美元。编程共 1.02 美元，规划加编程为 3.02 美元。差额是 6.48 美元，在此例中约节省 68%，并非开头提到的超过 90%。计算没有包含可选审查、失败尝试或返工。

一种手动做法是在一个工具中制定规格，复制到另一个编程工具，之后再将审查意见复制回实现者。我展示了一个实现过程运行约一小时并生成拉取请求的例子。最终是否省钱取决于实际工作和计费模式。

我还演示了一个技能，让命令行智能体规划并委派另一个智能体编程。一些第三方编程环境提供自动模型选择；它们的路由逻辑和可用模型各不相同。应核实所使用工具和版本的行为与权限。

我提到专注路由的 Not Diamond，并披露自己是小额投资者。我也讨论文档和电子表格的路由：选择适合任务的模型和思考强度，然后评估输出，而不是总选最贵的模型。

在企业规模上，我提到 Coinbase 通过更便宜的默认模型、路由、缓存和上下文管理控制 AI 成本的例子。我对不同阶段分别使用什么模型进行了推测，因此不能将这种分工视为已证实。核心是与现实基线比较质量和总支出。