最近更新的频道

点选即可只看该频道浏览全部频道 →

筛选结果

4 篇
排序
32 张幻灯片1:50:48EN → 简体中文
Y Combinator· 2026年10月24日为什么推理比训练重要 12 倍François Chaubard, Dan Fu, Jeff Morgan, Joe Fioti, Liangsheng Yin · Y CombinatorYC Paper Club 从一次 API 请求一路讲到 GPU kernel。Together AI、Ollama、Luminal 和 SGLang 的四场演讲认为:现在算力和钱大多压在推理服务质量上,而不只是训练 FLOPs。InferenceGPU programming & kernelsKV caching & prefix reuse+2
幻灯片0:22EN → 简体中文
Matthew Berman· 2026年10月18日DeepSeek 的内存使用:一段关于 KV 缓存的短评Matthew Berman · Forward FutureMatthew Berman 将较低的缓存内存使用量与服务更多 token 联系起来,但片段没有说明这些数字的比较基准。KV caching & prefix reuseInference基础设施与部署
6 张幻灯片31:30EN → 简体中文
Theo - t3․gg· 2026年6月30日为什么有些 AI 模型完成任务所用的 Token 更少TheoTheo 解释输入、输出、缓存与推理 Token,并探讨简短内部推理可能带来的效率。AI cost & performanceReasoning & test-time computeKV caching & prefix reuse+2
7 张幻灯片1:22:52EN → 简体中文
Matthew Berman· 2026年5月7日Richmond Alake 谈智能体记忆、上下文工程与信息回忆的成本Matthew Berman, Richmond Alake · Forward Future在与 Matthew Berman 的直播中,Oracle 的 Richmond Alake 解释智能体如何存储、检索和整理信息,以及记忆设计与缓存、延迟之间的取舍。智能体工程上下文工程检索增强生成+2