每个完成任务的 AI 成本：模型、缓存与评估

在 OpenAI DevDay 2026 上，三位 OpenAI 主讲人讨论如何在保持任务质量的同时衡量和降低 AI 应用成本。他们从供应商角度发言；客户结果是 OpenAI 报告的案例，并非保证。

Mandeep 认为单看每 token 价格可能产生误导。更便宜的模型可能使用更多 token、更常失败或需要人工介入，因此他建议衡量每个成功完成任务的成本，包括人工工作。

嘉宾建议先定义任务和可接受的质量门槛，再用有代表性的例子测试模型、推理和运行框架配置。成本与质量的前沿曲线有助于找出有效满足门槛的配置。

他们建议在较简单任务上尝试较小模型，在评估证明成本合理时使用能力更强的模型。他们提供的客户模型表现只适用于相关工作负载，应使用自己的评估集验证。

Sapto 介绍四种调节方式：提示缓存、程序化工具调用、推理强度，以及批处理或弹性处理。目标是在可接受成本与延迟下成功完成任务，而不只是减少 token。

提示缓存复用匹配提示前缀的处理结果，而模型仍会处理新的输入并生成新回答。将稳定指令放在前面有助于提高复用率。

程序化工具调用可以先用代码组合和筛选中间工具结果，再将较小的报告返回模型。嘉宾介绍了一个客户输入 token 减少且测得质量没有下降的例子；结果因任务而异。

推理强度需要与回答长度分开评估。嘉宾建议简单路由从较低强度开始，必要时提高，再通过评估检查结果。

批处理在活动介绍的服务中以等待时间换取较低价格。定价、服务条款和可用控制项可能变化，因此用户应针对自己的工作负载查看当前文档。

嘉宾再次讨论缓存优化，包括稳定前缀、受支持模型中的显式边界以及缓存未命中的诊断。他们建议一次改变一个设置，并在模型和应用变化时重新运行评估。

最后的建议是定义有代表性的评估集，在目标质量门槛下比较配置，并随着应用变化持续迭代。