最近更新的频道

点选即可只看该频道浏览全部频道 →

筛选结果

26 篇
排序
幻灯片0:22EN → 简体中文
Matthew Berman· 2026年10月18日DeepSeek 的内存使用:一段关于 KV 缓存的短评Matthew Berman · Forward FutureMatthew Berman 将较低的缓存内存使用量与服务更多 token 联系起来,但片段没有说明这些数字的比较基准。KV caching & prefix reuseInference基础设施与部署
幻灯片0:48EN → 简体中文
Matthew Berman· 2026年8月25日Matthew Berman 谈通过 Darkbloom 分享闲置 Mac 算力获利Matthew Berman · Forward Future一个由 Apple Silicon Mac 组成的网络可以提供 AI 推理服务,但展示的收入是预测值,取决于硬件、在线时间和需求。Distributed training & inferenceInferenceLocal inference+1
9 张幻灯片13:09EN → 简体中文
Matthew Berman· 2026年8月14日AI 新闻:超高速推理、Claude 水印与新模型Matthew Berman · Forward FutureMatthew Berman 回顾超高速编码预览、文本水印、Grok Bot、开放权重模型和 Computer History。InferenceOpen-weight models编程智能体+2
2 张幻灯片0:24EN → 简体中文
Matthew Berman· 2026年1月26日Matthew Berman 查看自己的 Clawdbot Token 成本Matthew Berman · Forward Future一次简短的用量检查发现,两天内的模型支出出乎意料地高。AI cost & performancePersonal agentsInference
2 张幻灯片1:38EN → 简体中文
Matthew Berman· 2025年12月29日NVIDIA 的 Groq 许可协议与推理市场Matthew Berman · Forward FutureMatthew Berman 讨论 NVIDIA 许可 Groq 推理技术并聘用其团队成员的原因。SemiconductorsInferenceAI cost & performance+1
2 张幻灯片1:02EN → 简体中文
Matthew Berman· 2025年10月31日走进 Cerebras 俄克拉何马城数据中心Matthew Berman · Forward FutureMatthew Berman 参观这座设施,介绍其晶圆级芯片、机架和冷却系统。Inference基础设施与部署AI cost & performance
3 张幻灯片14:07EN → 简体中文
Matthew Berman· 2025年10月23日走进 Cerebras 俄克拉何马城 AI 数据中心Matthew Berman, Andrew Feldman, Billy Wooten · Forward FutureMatthew Berman 与 Cerebras 首席执行官 Andrew Feldman 和 Scale Data Centers 首席运营官 Billy Wooten 一同参观设施,了解晶圆级芯片、液冷和备用电力。文章将其性能及扩建数字作为公司在 2025 年提出的说法呈现。Semiconductors基础设施与部署Inference+2
4 张幻灯片8:47EN → 简体中文
Matthew Berman· 2025年9月16日为什么温度为零时,相同的 LLM 提示词仍可能产生不同回答Matthew Berman · Forward FutureMatthew Berman 解读 Thinking Machines Lab 关于批次不变推理的研究,以及其可复现性实验实际展示了什么。InferenceAI research可观测性与可靠性+1
4 张幻灯片17:51EN → 简体中文
Matthew Berman· 2025年8月28日2025 年 8 月 AI 新闻:Claude for Chrome、新模型与 AI 基础设施Matthew Berman · Forward FutureMatthew Berman 回顾浏览器智能体预览版、模型发布、有关 Apple 的讨论报道,以及推理和天气研究。AI agentsOpen-weight modelsGenerative media+2
5 张幻灯片10:01EN → 简体中文
Matthew Berman· 2025年2月5日DeepSeek R1 的代码优化与一项 3 美元的视觉计数实验Matthew Berman · Forward FutureMatthew Berman 研究了一次人类引导的代码改进和一项小规模强化学习实验,并思考它们对 AI 研究的意义。Reinforcement LearningGPU programming & kernelsAI research+2
2 张幻灯片30:29EN → 简体中文
Matthew Berman· 2025年1月3日研究者如何理解 o1 式推理模型Matthew Berman · Forward FutureMatthew Berman 解读一篇关于策略初始化、奖励、搜索和强化学习的综述,以及推理模型面临的开放问题。Reinforcement Learning模型与训练AI research+1
5 张幻灯片9:38EN → 简体中文
Matthew Berman· 2024年10月15日Liquid Foundation Models:厂商基准与实际测试Matthew Berman · Forward FutureMatthew Berman 回顾 Liquid AI 在 2024 年提出的模型和内存主张,再用编程、逻辑和指令遵循提示测试 40B 预览版。Foundation Models评估Benchmarks+2
幻灯片0:54EN → 简体中文
Matthew Berman· 2024年9月16日初探 OpenAI o1 Preview:让模型花更多时间推理Matthew Berman · Forward FutureMatthew Berman 介绍 o1-preview 和 o1-mini,并尝试用 Python 游戏提示词测试模型。模型与训练Inference
幻灯片0:44EN → 简体中文
Matthew Berman· 2024年8月29日NVIDIA 为 RTX AI Toolkit 增加 Multi-LoRA 服务支持Matthew Berman · Forward Future在与 NVIDIA 合作的视频中,Matthew Berman 介绍如何用一个基础模型加载多个适配器,以及厂商报告的吞吐量提升。微调Inference基础设施与部署
3 张幻灯片5:50EN → 简体中文
Matthew Berman· 2024年7月27日使用 Groq 和 Streamlit 演示 Mixture-of-AgentsMatthew Berman · Forward FutureMatthew Berman 介绍一个 2024 年的 Groq 驱动多智能体项目,从配置到检查各层回答。Multi-agent systemsAgent orchestrationInference+1
6 张幻灯片11:20EN → 简体中文
Matthew Berman· 2024年7月1日Matthew Berman 将 Mixture of Agents 适配到 Groq 推理服务Matthew Berman · Forward Future这篇 2024 年教程将一个开源多模型集成方案改为使用 Groq,随后测试交互输出并修复流式处理错误。Multi-agent systemsAgent orchestrationInference+1
5 张幻灯片13:18EN → 简体中文
Matthew Berman· 2024年6月20日在双 RTX 6000 工作站上测试本地 AIMatthew Berman · Forward FutureMatthew Berman 在 Dell 和 NVIDIA 提供的 Dell Precision 塔式工作站上测试语言模型、并发推理和图像生成。Local inferenceInference模型与训练+2
27:37EN → 简体中文
Matthew Berman· 2024年6月17日Leo Pekelis:如何将 Llama 3 扩展至百万 token 上下文Matthew Berman, Leo Pekelis · Forward FutureGradient 首席科学家解释长上下文训练、编程场景、推理成本,以及为何检索基准只能说明部分问题。上下文工程模型与训练Inference+2
6 张幻灯片9:02EN → 简体中文
Matthew Berman· 2024年4月1日Matthew Berman 试玩 LLM Colosseum:用街头霸王评测语言模型Matthew Berman · Forward Future一段 2024 年的教程展示语言模型如何选择格斗游戏招式,解释游戏状态提示词,并演示本地配置过程。评估Multi-agent systemsExperimentation+1
4 张幻灯片14:11EN → 简体中文
Matthew Berman· 2024年3月23日2024 年的 LM Studio:本地模型、并行推理与本地 APIMatthew Berman · Forward FutureMatthew Berman 演示模型下载、硬件设置、JSON 输出,以及如何提供多个本地模型的服务。Open-weight modelsInference
3 张幻灯片51:11EN → 简体中文
Matthew Berman· 2024年3月22日走进 Groq LPU:编译器、芯片网络与快速推理Matthew Berman, Andrew Ling, Igor Arsovski · Forward FutureGroq 工程师 Andrew Ling 和 Igor Arsovski 在这场由公司赞助的 2024 年采访中介绍软硬件设计。基础设施与部署InferenceAI cost & performance
10 张幻灯片30:39EN → 简体中文
Matthew Berman· 2024年2月25日NVIDIA GEAR 研究、Gemini 1.5 与高速 AI 推理Matthew Berman · Forward FutureMatthew Berman 回顾具身智能体研究,以及 2024 年 2 月的一系列 AI 发布和演示。RoboticsAI researchBenchmarks+2
6 张幻灯片12:49EN → 简体中文
Matthew Berman· 2023年9月14日Falcon 180B:2023 年对 TII 开放权重模型的评测Matthew Berman · Forward FutureMatthew Berman 检验编程、推理和写作提示,同时考察模型的训练规模与许可证。Open-weight modelsBenchmarks模型与训练+1
2 张幻灯片5:53EN → 简体中文
Matthew Berman· 2023年7月18日Petals:将大语言模型推理分布到多台设备Matthew Berman · Forward Future2023 年,Matthew Berman 介绍 Petals 如何通过参与计算机组成的网络使用大模型,而无需在一台设备上加载所有模型层。Distributed training & inferenceLocal inferenceInference+2
加载更多已显示 24 篇,共 26 篇