DeepSeek 的内存使用:一段关于 KV 缓存的短评

原标题DeepSeek's Memory Use: A Short Claim About KV Cache

Matthew Berman 将较低的缓存内存使用量与服务更多 token 联系起来,但片段没有说明这些数字的比较基准。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2026年10月18日
视频
0:22
阅读
1 分钟
幻灯片
1
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在一段简短片段中,Matthew Berman 表示 DeepSeek 的 KV 缓存只需要四分之一的 HBM 和八分之一的 SSD 存储,从而能够用更少内存服务更多 token。片段没有指出这些比例所依据的模型、基准、工作负载或测量方法,因此不能将其视为普遍的性能保证。

  1. 1内存供应与成本Berman 开始时将供应受限与价格上涨联系起来。
  2. 2两个存储比例他称 DeepSeek KV 缓存需要四分之一的 HBM 和八分之一的 SSD 存储,但片段没有说明比较基准。
  3. 3服务更多 tokenBerman 认为使用更少内存可以服务更多 token。片段没有提供实测吞吐量或测试条件。

要点建议

  1. Berman 将较低的 KV 缓存内存需求与服务更多 token 的能力联系起来。
  2. 他引用了四分之一 HBM 和八分之一 SSD 的数字,但片段没有说明比较对象。
  3. 实际内存需求和速度取决于模型、工作负载与实现方式。
全文

按章节阅读整理后的全文

只看原始文稿
01

内存限制与缓存

Berman 讨论内存供应受限,并称缓存存储需求有所下降。片段没有给出这些数字的比较对象。

缓存比较示意
幻灯片 1 / 1缓存比较示意片段以图示呈现 Berman 关于四分之一 HBM 的说法,但没有说明比较基准。

Matthew Berman 说供应受限会推高价格,随后谈到 DeepSeek 的 KV 缓存。他称该缓存只需要四分之一的 HBM 和八分之一的 SSD 存储。片段没有指出这些数字所使用的基准、模型或工作负载。

02

对服务能力的影响

他将较低内存需求与服务更多 token 联系起来,并形容模型速度快。片段没有提供吞吐量测量。

Berman 认为,较低的内存需求让系统无需支付那么多内存费用就能服务更多 token,并称模型速度很快。片段没有给出吞吐量测量或测试条件;实际节省量和速度取决于实现方式与工作负载。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
6 张幻灯片1:03:37EN → 简体中文
Matthew Berman· 2026年10月23日Matthew Berman 团队测试 Kimi K3.1:动画、游戏与图表Matthew Berman, Alex, Brian · Forward Future一场团队直播问答变成了对 Kimi K3.1 的非正式测试,内容涵盖个人智能体工作流、动态图形、浏览器游戏和基准图表。编程智能体Generative media评估+2
0:53EN → 简体中文
Matthew Berman· 2026年10月22日Sam Altman 谈 AI 与新知识的发现Sam Altman · OpenAIAltman 预计,数学发现方面的进展将延伸到生物学、材料和能源领域。AI for scienceMathematicsComputational Biology+1