摘要
30 秒看懂
讲者介绍团队如何为长 agent 历史使用 Anthropic 缓存,并称成本大幅降低。比较在句子中途结束;原视频关闭了嵌入播放,这些数字也不是当前价格指南。
- 1重复上下文Agent 反复发送不断追加新内容的长历史。
- 2保持前缀稳定讲者说团队设计工作流,使较早的内容保持不变。
- 3针对特定工作负载的节省他报告其场景最多节省 90% 的成本,并非普遍保证。
要点建议
- Agent 反复发送不断追加新内容的长历史。
- 讲者说团队设计工作流,使较早的内容保持不变。
- 他报告其场景最多节省 90% 的成本,并非普遍保证。
全文
按章节阅读整理后的全文
01
反复发送长历史
Agent 反复发送不断追加新内容的长历史。 讲者说团队设计工作流,使较早的内容保持不变。
讲者说 Anthropic 的缓存对他的 agent 工作流很重要。随着新内容不断追加,相同的长对话历史会被反复发送;一次调用可能包含几十万个 token。
他说团队必须仔细设计 agent,让历史内容较早的部分保持不变。按照他的说法,让缓存正常工作需要大量工程投入。
02
所报告的成本影响
他报告其场景最多节省 90% 的成本,并非普遍保证。
针对这一工作负载,他称缓存可以节省 90% 的成本,并说否则这项服务对团队而言不划算。这是他报告的经验,不是每个应用都能保证节省的比例,也不是当前价格说明。
他说缓存经济性促使团队选择 Claude,并开始比较另一家提供商的节省情况。短片在比较过程中结束,原视频关闭了嵌入播放。这些言论发表于 2025 年 3 月。
同频道的其他文章
1:49:40EN → 简体中文面向先进 AI 保留战略选择:兰德研究人员的框架嘉宾 Joel Predd, Ben Boudreaux, Matt Chessen · 主持 Nathan Labenz兰德研究人员与 Nathan Labenz 讨论不确定性、安全架构和人的自主权。
1:28:36EN → 简体中文AI 的发展速度:可解释性、GPU 信贷与实体供应链嘉宾 Zvi Mowshowitz, Evan Conrad, Lonis Hamaili · 主持 Nathan Labenz, Prakash Narayanan一周精选讨论不确定的 AI 研究轨迹,以及融资、基础设施、安全和监管的约束。
3:13:44EN → 简体中文AI 的物理瓶颈:算力市场、芯片投资与智能体信任嘉宾 Evan Conrad, Lonis Hamaili · 主持 Nathan Labenz, Prakash NarayananAI:AM 完整节目讨论安全事件、GPU 融资、半导体供应和智能体互助网络。
2:40:58EN → 简体中文前沿 AI、可解释性与开发节奏之争嘉宾 Zvi Mowshowitz · 主持 Nathan Labenz, Prakash NarayananZvi Mowshowitz 参与 AI:AM,讨论神经网络、政策和快速变化中的制度。
1:25:56EN → 简体中文Claude 改了密码,方向盘早就可有可无主持 Nathan LabenzNathan Labenz 和 Prakash Narayanan 这一周聊了:能把你锁在门外的智能体,否认自己有感受却又在行为上回避的模型,以及用形式化证明找到 Linux 漏洞的故事。
2:51:22EN → 简体中文AI 心智与 8 毫米记忆:研究、档案和模拟嘉宾 Cameron Berg, Phil Maher · 主持 Nathan Labenz, Prakash NarayananCameron Berg 讨论模型隐藏状态;Phil Maher 介绍家庭电影保存和果蝇大脑演示。