最近更新的频道

点选即可只看该频道浏览全部频道 →

筛选结果

128 篇
排序
42:42EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2024年8月22日播客 · 2 人对谈以太坊曾握有相当于两千套 GPT-3 集群的 GPU 算力主持 Sarah Guo, Elad GilFoundry 首席执行官 Jared Quincy Davis 谈闲置的 H100、今天的 AI 云为何仍是托管模式,以及复合 AI 系统(compound AI systems)如何把工作从巨型互联集群上卸下来。基础设施与部署AI cost & performanceDistributed training & inference+3
39:18EN → 简体中文
Sequoia Capital· 2024年8月13日播客同等规模下开源与闭源将打平:PyTorch 前负责人谈快速推理Meta 一次原计划六个月的库替换,最后变成了五年的重建。Lin Qiao 希望整个行业能在五周内拿到这套技术栈。基础设施与部署Inference微调+3
3 张幻灯片5:50EN → 简体中文
Matthew Berman· 2024年7月27日使用 Groq 和 Streamlit 演示 Mixture-of-AgentsMatthew Berman · Forward FutureMatthew Berman 介绍一个 2024 年的 Groq 驱动多智能体项目,从配置到检查各层回答。Multi-agent systemsAgent orchestrationInference+1
1:00:28EN → 简体中文
Sequoia Capital· 2024年7月9日播客规模定律(scaling law)还没失效,别把自己锁死在昨天的架构上微软首席技术官 Kevin Scott 谈指数增长为什么仍在持续,推理为什么会远超训练,以及为什么语言模型是“世界上最烂的数据库”。企业与战略Scaling LawsInference+3
1:42:16EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年7月4日播客七个月里 267 篇后续论文:Albert Gu 讲述状态空间模型的革命主持 Nathan LabenzMamba 合著者回顾了五年来的循环模型研究,讲选择性压缩为什么比不断增长的 KV 缓存(KV cache)更有效,以及 Mamba 2 为了让训练更快放弃了什么。模型与训练Transformers & attentionInference+3
6 张幻灯片11:20EN → 简体中文
Matthew Berman· 2024年7月1日Matthew Berman 将 Mixture of Agents 适配到 Groq 推理服务Matthew Berman · Forward Future这篇 2024 年教程将一个开源多模型集成方案改为使用 Groq,随后测试交互输出并修复流式处理错误。Multi-agent systemsAgent orchestrationInference+1
5 张幻灯片13:18EN → 简体中文
Matthew Berman· 2024年6月20日在双 RTX 6000 工作站上测试本地 AIMatthew Berman · Forward FutureMatthew Berman 在 Dell 和 NVIDIA 提供的 Dell Precision 塔式工作站上测试语言模型、并发推理和图像生成。Local inferenceInference模型与训练+2
27:37EN → 简体中文
Matthew Berman· 2024年6月17日Leo Pekelis:如何将 Llama 3 扩展至百万 token 上下文Matthew Berman, Leo Pekelis · Forward FutureGradient 首席科学家解释长上下文训练、编程场景、推理成本,以及为何检索基准只能说明部分问题。上下文工程模型与训练Inference+2
5 张幻灯片12:51EN → 简体中文
Matthew Berman· 2024年4月21日Groq 上的 Llama 3 70B:高速推理与非正式提示测试Matthew Berman · Forward FutureMatthew Berman 测试 Groq 2024 年 4 月提供的 Llama 3 服务,考察编程、推理和重复提示;结果有好有坏,评分也有几处需要注意。Open-weight modelsInference评估+2
1:42:17EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年4月20日播客最便宜的推理服务商,才是最危险的主持 Nathan LabenzFireworks AI 的两位联合创始人 Lin Qiao 和 Dmytro Ivchenko 解释了补贴出来的 GPU 账单为什么会消失,低秩适配(LoRA)服务如何能把成本降低百倍,以及真正值得在意的对手为什么是 OpenAI。基础设施与部署InferenceAI cost & performance+3
24:22EN → 简体中文
Matthew Berman· 2024年4月4日Jonathan Ross 谈 Groq 推理芯片、AI 经济与人类自主权Matthew Berman, Jonathan Ross · Forward FutureGroq 创始人解释公司先设计编译器的做法,认为推理速度可能带来新应用,并讨论将决策交给 AI 的风险。InferenceAI cost & performanceSemiconductors+2
6 张幻灯片9:02EN → 简体中文
Matthew Berman· 2024年4月1日Matthew Berman 试玩 LLM Colosseum:用街头霸王评测语言模型Matthew Berman · Forward Future一段 2024 年的教程展示语言模型如何选择格斗游戏招式,解释游戏状态提示词,并演示本地配置过程。评估Multi-agent systemsExperimentation+1
4 张幻灯片14:11EN → 简体中文
Matthew Berman· 2024年3月23日2024 年的 LM Studio:本地模型、并行推理与本地 APIMatthew Berman · Forward FutureMatthew Berman 演示模型下载、硬件设置、JSON 输出,以及如何提供多个本地模型的服务。Open-weight modelsInference
3 张幻灯片51:11EN → 简体中文
Matthew Berman· 2024年3月22日走进 Groq LPU:编译器、芯片网络与快速推理Matthew Berman, Andrew Ling, Igor Arsovski · Forward FutureGroq 工程师 Andrew Ling 和 Igor Arsovski 在这场由公司赞助的 2024 年采访中介绍软硬件设计。基础设施与部署InferenceAI cost & performance
38:33EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2024年3月21日播客 · 2 人对谈速度是可以花钱买的:Baseten 押注推理(inference)主持 Sarah Guo, Elad GilTuhin Srivastava 向 Sarah Guo 和 Elad Gil 解释,为什么一家六人的聊天机器人公司,每天要跑十亿个 Token,也不该自己搭建推理服务栈。基础设施与部署InferenceAI cost & performance+3
39:03EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2024年2月29日播客 · 2 人对谈MI300 推理性能领先 2 倍:AMD 首席技术官谈不靠封闭生态赢得芯片竞争主持 Sarah Guo, Elad Gil2011 年秋天,Mark Papermaster 出任 AMD 首席技术官时,公司几乎全部营收都来自 PC 和游戏,摩尔定律也在放缓,所有人都知道公司需要扭转局面。基础设施与部署InferenceAI cost & performance+3
10 张幻灯片30:39EN → 简体中文
Matthew Berman· 2024年2月25日NVIDIA GEAR 研究、Gemini 1.5 与高速 AI 推理Matthew Berman · Forward FutureMatthew Berman 回顾具身智能体研究,以及 2024 年 2 月的一系列 AI 发布和演示。RoboticsAI researchBenchmarks+2
幻灯片0:51EN → 简体中文
Matthew Berman· 2024年2月21日使用 Mixtral 的 Groq 高速推理演示Matthew Berman · Forward FutureMatthew Berman 演示一个 Python 代码生成请求,并解释模型快速输出为何可能对应用有价值。InferenceAI cost & performanceSemiconductors
1:22:43EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年1月9日播客50 亿分钟通话:Dialpad 为什么要训练自己的商务大语言模型(LLM)主持 Nathan LabenzDan O’Connell 谈实时语音、技术栈的纵向整合,以及他与 Nathan Labenz 在 AI 员工何时出现这一问题上的分歧。企业与战略语音 AI企业 AI+3
8 张幻灯片20:49EN → 简体中文
Matthew Berman· 2023年12月12日Mixtral 8x7B:混合专家架构、部署与早期测试Matthew Berman · Forward FutureMatthew Berman 回顾 Mistral AI 于 2023 年 12 月发布的开放权重模型,演示云端部署并测试其编程和推理回答。模型与训练Open-weight modelsInference+2
32:57EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2023年11月9日播客 · 2 人对谈一台 MacBook 上的 70 亿参数模型:Mistral CEO 重新算了 AI 的成本账主持 Sarah Guo, Elad GilArthur Mensch 在 No Priors 节目上解释:为什么 Chinchilla 让小模型变得有价值,为什么开源 Mistral 7B 不会带来生物武器风险,以及护栏为什么应该放在应用层。开源与社区Open-source ecosystemsOpen-weight models+3
6 张幻灯片12:49EN → 简体中文
Matthew Berman· 2023年9月14日Falcon 180B:2023 年对 TII 开放权重模型的评测Matthew Berman · Forward FutureMatthew Berman 检验编程、推理和写作提示,同时考察模型的训练规模与许可证。Open-weight modelsBenchmarks模型与训练+1
30:03EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2023年9月7日播客 · 2 人对谈一块餐盘大小的芯片,把训练时间从 60 天缩短到 3.5 天主持 Sarah Guo, Elad GilCerebras 首席执行官 Andrew Feldman 在《No Priors》中说明,为什么解决算力紧缺的答案是晶圆级芯片,而不是又一款 GPU,也解释了为什么大多数量产模型的参数量会保持在 130 亿或以下。基础设施与部署InferenceAI cost & performance+3
52:48EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2023年8月25日播客OpenAI 把微调价格砍掉 90%,创业者把 Llama 2 从清单上划掉了主持 Nathan LabenzNathan Labenz 和 Erik Torenberg 梳理了 GPT-3.5 Turbo 的微调、自建模型为什么在总成本上仍然占不到便宜,以及代码、学校和医疗领域目前真正有效的做法。模型与训练微调AI cost & performance+3
加载更多已显示 24 篇,共 128 篇