30 秒看懂
Stanford 讲师 Cynthia Bailey 说,大模型可能让多智能体工具更慢、更贵,却未必能改进简单检查。她对比了规则明确的教学辅导防护环节和需要细致判断的政策核查环节,并说明缓存上下文和未使用的技能条目如何影响 token 成本。她的现场演示还表明,嵌在网页里的 API 密钥为何会被任何人复制。最后,她将 AI 使用与数据中心的水、电及社区影响联系起来。
- 1复用重复上下文可以降低输入成本Bailey 介绍了缓存注意力计算结果的做法,并表示缓存读取的费用比未缓存输入最高可低约 90%。
- 2未使用的技能条目也会给每次提示增加 token在她的用量报告示例中,四项技能为上下文增加了 225 个 token;她建议移除智能体不需要的技能。
- 3AI 资源消耗的估算取决于任务Bailey 引用了 Google 2025 年对 Gemini 中位数提示的估计,以及图像、视频和推理任务更高的消耗倍数,同时指出公开数据有限,比较存在不确定性。
- 4需要重试回答的防护环节会成倍增加延迟Stanford 的辅导工具会检查生成的回答,可能多次退回重试,之后才将结果交给学生。
- 5两种输出检查可能需要截然不同的模型Bailey 对比了简单的代码长度规则与检查引用政策是否真正支持回答的任务。
- 6公开网站代码中的密钥任何人都可以复制使用她用刻意设为无效的密钥演示:查看网页源代码就能看到嵌在应用里的凭据。
要点建议
- 根据每个步骤的难度选择模型;智能体反复调用会放大延迟。
- 检查上下文和技能条目带来的输入 token,在切换任务时开始新会话。
- 重复使用上下文时可使用提示缓存,同时查看服务商的定价。
- 像保护密码一样保护 API 密钥,不要把它放进发送给网站访问者的代码。
- 资源消耗估算因模型和任务而异;Bailey 提醒人们不要把闭源模型的成本视为精确已知。
按章节阅读整理后的全文
用量报告统计了什么
报告区分会话时间、模型响应时间和 token 用量。Bailey 解释了输入、输出和缓存上下文各自的作用。
随着项目规模扩大,token 用量成为需要关注的实际成本。我还会讨论电力和用水、如何为智能体工作流选择模型,以及程序如何使用 API 密钥。
模型比较工具可以帮助你切换服务商并管理用量。Claude Code 的用量报告提供了一个具体窗口,让你看到项目消耗了什么。
一份示例报告显示总费用为 28 美元,并提供两种时长。API 时长汇总了整个会话中等待响应的时间,包括处理、网络传输和数据中心拥堵造成的等待。
墙上时钟时间是自会话开始以来实际流逝的时间,就像看墙上的钟一样。它不同于模型或处理器实际处理请求所花的时间。
输入 token 统计模型读取的所有内容,不只是你键入的提示。设置、系统指令和启用的工具连接器也会占用上下文窗口。
输出 token 包括生成的回答;对于推理模型,还包括生成的思考过程。即使用户只看到最终回答或摘要,底层过程仍在生成 token。
缓存可以降低重复输入的成本。一个会话中的许多上下文,例如系统提示和设置,在请求之间保持不变,因此可以复用预先计算的结果。
Bailey 说,与未缓存输入相比,缓存读取的费用最高可降低约 90%。她认为,节省来自保存之前的注意力计算结果,避免对重复上下文再次计算。
注意力机制根据上下文为词语分配不同权重:在“老师说欢迎,请找个……”之后,“座位”的概率会高于不相关的选项。计算所需的矩阵运算会消耗资源,因此复用结果有帮助。
未使用的技能仍占用上下文空间
技能条目会增加每次提示的开销。移除不需要的条目、切换任务时更换会话,有助于限制这部分开销。
用量报告还可以显示插件和技能占用的空间。在示例中,一个包含四项技能的类别会为每次提示的上下文增加 225 个 token。
即使会话期间从未调用列出的某项技能,该条目也可能增加开销。Bailey 建议移除不需要的技能、检查上下文,并在切换任务时开始新会话。
报告还建议为通用子智能体分配更便宜的模型。模型选择既会改变费用,也会影响工作流所需的时间。
水电消耗为何难以精确估算
公开数据有限,不同任务所需的计算量也不同。Bailey 对比了文本消耗报告与图像、视频和推理的消耗倍数。
token 数量和价格只是成本的一部分。模型使用相关的电力、用水和碳排放同样重要,但公开数据有限,难以精确比较。
Bailey 引用了 Google 自报的 2025 年估计:一次中位数 Gemini 文本提示消耗 0.26 毫升水和 0.24 瓦时电力。中位数提示的定义并不十分清楚,更新的模型或推理方式可能有不同的消耗。
她引用的估计显示,图像生成的能耗可能是文本的 28 至 40 倍,视频则可能是 1000 至 3000 倍。这类比较取决于具体任务和所研究的模型。
对开放模型的研究还发现,推理模式的成本明显更高,平均约为 30 倍,有些模型的倍数大得多。Bailey 提醒,这种差异很大,难以用单一倍数推算闭源模型。
较长的上下文也会增加处理需求。Bailey 提到 Epoch AI 对 1 万和 10 万个输入 token 的上下文成本所做的比较,再次建议讨论新话题时开始新对话。
为每个智能体选择合适的模型
延迟会在工作流中累积。教学辅导和政策问答工具说明,简单检查与复杂判断可能需要不同的模型。
更大的模型并不必然带来最佳用户体验。能力更强可能伴随更高延迟,也就是一次请求产生结果所需的时间。
在多步骤智能体工作流中,延迟会不断累积。任务在智能体之间传递时反复发生的等待,影响可能远大于一次交互的延迟。
Stanford 的 Wayfinder 辅导系统就是一个例子。它旨在帮助计算机科学学生学习,而不是直接给出作业答案。
输入防护环节首先检查学生是否明确要求系统完成作业。如果是,预先写好的回答会鼓励学生改问概念性问题。
随后,回答智能体参考课程工作人员的有帮助的回答示例,结合课程材料生成解释。它可能使用类比,或与学生展开苏格拉底式对话。
输出防护环节检查回答是否仍然泄露了太多答案。第二道检查很重要,因为学生可能通过调整措辞绕过第一道过滤。
如果输出检查拒绝某个回答,它会将回答退回重试。Bailey 说,测试中有时需要反复修改几次,这会放大模型速度慢所造成的影响。
课堂练习要求学生为每个智能体选择模型,考虑模型代际、大小、能力、速度和价格。这些智能体不必全部使用同一个模型。
政策问答系统展示了另一种核查问题。Stanford 有一个聊天机器人,可以搜索教职工手册,回答研究合规或请假流程等问题。
政策回答需要核查引用是否存在,以及引用文本是否真正支持回答。真实引用也可能遭到误读;凭空编造的引用也可能看似可信。
Bailey 将这种细致的核查与辅导工具中更客观的规则作比较:回答中不能连续出现超过三行代码。她认为,较小、较便宜的模型可能适合这种范围较窄的检查。
政策核查环节必须理解上下文、政策和引用,因此其责任与回答生成环节相当。虽然两者都叫输出防护环节,Bailey 会为它选择不同的模型。
API 密钥决定访问权限和费用归属
密钥允许软件通过某个账户调用模型。开发者可以统一支付,也可以让用户提供自己的凭据。
API 密钥让程序能够在服务商的聊天界面之外使用模型。它类似软件使用的账户凭据,用来确定请求应向哪个账户收费。
由于密钥可以授权使用并由持有者的账户付费,它需要像密码一样受到保护。不要把它留在公共场所,也不要随意发给他人。
服务开发者可以选择由谁支付费用。Bailey 为最初有 550 名学生的课程提供辅导系统时,选择使用自己的密钥,让学生能免费、平等地用于课程学习。
另一种做法是让每个学生注册自己的密钥并支付用量费用。这样可以按使用情况分摊成本,但要求每位用户设置账户和付款方式。
网页可能意外暴露密钥
一个故意设为无法正常工作的翻译器展示了网页源代码中可见的凭据。Bailey 提醒开发者不要在公开代码中放置密钥。
开发带有 AI 功能的网站时,一个常见错误是把密钥放进发送给访问者的代码。别人可以复制泄露的密钥,在其他工具中使用,并把费用记到密钥持有者账户上。
Bailey 用一个海盗风格翻译器演示:它将输入的文字发送给模型。示例故意使用无效密钥,因此请求会失败,而不会暴露一个有效凭据。
查看网页源代码可以看到输入框和按钮的 HTML,以及发送模型请求的代码。在演示中,这份公开源代码里的一个常量包含了假密钥。
请求会提供密钥、模型和要求翻译成海盗口吻的提示。如果暴露的字符串是真密钥,任何复制它的访问者都可以在别处使用该账户。
数据中心成为地方政治议题
Bailey 描述了拟建项目引发的土地、用水和噪声担忧。她引用 2026 年的公投议案和民调说明公众的反对。
Bailey 转而讨论 AI 基础设施对社区的影响,引用 2026 年 11 月的选举说明数据中心如何成为政治议题。
她描述了对盐湖城以北一个拟建大型数据中心的反对,该项目涉及投资人 Kevin O’Leary。当地居民对土地使用和用水表示担忧,而该地区已经面临缺水和大盐湖压力。
冷却设施消耗水和电,发电机也可能产生噪声。Bailey 说,这些地方影响有助于解释附近居民为何可能反对项目。
Bailey 提到,11 月 3 日有 10 个州就 41 项与数据中心有关的议案投票;如果算上 2026 年更早和更晚的投票,则有 13 个州的 50 项议案。她说,11 月的 41 项议案中有 40 项的结果不利于数据中心提案。
她引用一项出口民调,称一半选民认为 AI 数据中心是影响投票的重要或关键因素;另一项民调中,76% 的人反对在自己的社区建设数据中心。她还提到涉及数据中心的电视广告支出。
Bailey 说,数据中心是得克萨斯州州长选举的核心议题之一,时任州长曾欢迎建设数据中心,作为推动经济发展的方式。她认为这场选举说明当地基础设施的影响可以改变政治局势。
最后,她提到 Elon Musk 在选举后发帖称,太空数据中心现在看起来很有吸引力,并将其与地球上对设施的反对联系起来。她认为,选择模型和考虑 token 用量时,也应考虑它们所需的基础设施。
同频道的其他文章
1:13:23EN → 简体中文
58:52EN → 简体中文
1:20:34EN → 简体中文
1:09:27EN → 简体中文
1:18:55EN → 简体中文
1:18:54EN → 简体中文