AI 智能体的成本从何而来：缓存命中、输入 Token 与调用轮次

我是 Artificial Analysis 联合创始人 George Cameron。我们评估智能体、语言模型、多媒体模型、硬件和推理服务商，因为选择 AI 系统时需要在能力、成本、速度和缓存等多个层面作取舍。

在优化成本之前，团队使用一个综合十项评估的智能指数，覆盖知识工作、科学推理、编程、终端使用等能力。Cameron 把它描述为当前和近期应用的决策辅助工具，而不是衡量通用人工智能进展的指标。

整体分数无法取代针对具体任务的结果。Artificial Analysis 也发布单项评估，例如金融和会计智能体基准，因为模型在某个工作负载上的优势可能与综合排名不同。

Cameron 说，模型发布速度让整个领域很难跟踪。在他的分析中，开放权重模型通常落后领先的专有模型约三到九个月，并可能具有成本优势。

不同模型的成本相差几个数量级。演讲展示的案例中，一些模型每完成一项基准任务需要数美元，较便宜的模型则只需几美分。后者在综合指数上能力较低，但对某些工作仍可能足够。

Artificial Analysis 按能力水平对模型分组，追踪达到各个门槛的最低成本。Cameron 报告说，在观察到的数据中，达到某一指数水平的成本约在一年内下降一个数量级。这是历史观察，并不保证未来价格也会如此变化。

他拆解了 AA-Briefcase 基准中的一项智能体任务：智能体需要处理数千个文件并产出知识工作成果。在图示配置下，Claude Opus 5.5 使用最高推理强度时，平均每项任务约花费 21 美元。

一次模型调用的成本包括回答 token、推理 token 和输入 token。这项任务约调用模型 165 次，因此看似不高的单次成本会沿轨迹累积。长对话历史尤其会增加输入 token 的重要性。

提示缓存改变了计算结果：案例中的大部分输入 token 从缓存读取，享受较低价格。Cameron 将输入量、缓存命中比例和调用轮次列为需要监控的关键变量。

他估计，在这个案例中，如果缓存完全没有发挥作用，同一任务的成本会从约 21 美元升至超过 200 美元。这个比较只适用于该基准和定价假设，但说明了选择推理服务商时为什么要关注缓存行为。

推理强度影响的不只是推理 token 数量。它还可能改变调用轮次，而对话历史增长也会增加后续输入量。在展示的基准中，同一模型低强度时每项任务约 1 美元，最高强度时约 21 美元。

比较领先模型与较便宜的开放权重模型时，Cameron 强调多个因素相互作用：输入价格、缓存命中率、token 消耗和轮次。对于长时程任务，输入成本和缓存可能占主导。

真正困难的决策不是知道便宜模型更便宜，而是理解具体任务的质量与成本取舍。Cameron 建议先查看综合能力与单任务成本的帕累托前沿，再测试候选模型。

他把任务概念性地分成两类。对于开放式分析，更强能力可能持续改善结果；对于边界明确的问题，例如配置正确的助手统计上个月的订阅支出，较便宜的模型可能给出同样有用的答案。

对于边界明确的任务，应先问需要达到什么能力水平，再寻找最低成本的实现方式。对于开放式任务，则要问在预算范围内，额外能力值多少钱。两种选择都取决于实际工作流程。

他建议先了解可用指标，根据优先事项比较模型并列出候选清单。对于生产环境，他建议用组织自己的任务建立基准，而不是只依靠综合指数。

Cameron 最后介绍了 Artificial Analysis 的 Optima 产品，称其可以帮助生成特定任务的基准和质量与成本曲线，目的是在用户自己的环境中衡量这种取舍。