面向编程工作流的多模型流水线

Zencoder 的 Andrew Filev 讨论拆分编程任务并在模型之间分配步骤。他的性能和成本例子属于公司在特定测试中的报告。

他把 AI 辅助开发看作软件工作抽象层级的又一次变化：工具承担更多实现工作，而人仍需定义目标和检查结果。

Filev 说模型与外部框架的组合很重要。比较一个弱配置和一个昂贵配置，可能掩盖差异究竟来自哪个部分。

他讨论每项任务都使用昂贵模型的费用。演讲中的用量数字是示例，不代表每位开发者的典型成本。

拟议方法把工作拆成步骤，再按每一步的角色选择模型，目标是在质量、速度和成本之间取得平衡。

他讨论规格驱动开发，以及在实现前明确需求的价值。规格只有在准确描述问题且可检查时才有用。

Filev 认为，先审核简洁计划可能比事后检查大量改动更容易。人仍需判断计划和结果是否满足需求。

团队在选定的软件基准任务上固定规划模型、比较不同实现模型。固定一个组件有助于研究另一个，但无法覆盖所有工作流。

他说团队选择了较难的 SWE-bench Pro 任务，比较结果与成本。任务选择、模型版本和实验设置都会影响报告的结果。

在这次特定实验中，他报告较低成本的实现模型在强计划支持下表现良好。这是供应商报告，并不保证最便宜模型始终最好。

他认为不同模型有时能提供有用的独立视角。只有评审真正发现或纠正错误时，多样性才有价值。

话题转向在人类评审投入时间前自动执行简单检查。如果检查可靠，更好的调度可以减少反复往返。

他介绍在评审流水线中组合不同模型的实验，并比较成本与检测结果。公司数据集和比较条件限制了结论的适用范围。

Filev 的核心观点是优化整个系统，而不是只按价格选择一个模型。规划、实现、评审和验证可能有不同要求。

他强调端到端测试和验证是完整工作流的保障。节省成本并不能免除验证软件是否可用的需要。

在问答中，他指出模型产品和基准结果变化很快。团队应针对自己的任务重新评估，而不是假设历史排名一直有效。