筛选结果
17 篇排序
50:57EN → 简体中文一万亿美元的 GPU 五年后只值 1000 亿美元:LSTM 提出者 Jürgen Schmidhuber 这样说主持 Jacob Effron这位 AI 先驱在《Unsupervised Learning》节目中对 Jacob Effron 说,他为何对这项技术极为乐观,却对买下芯片的模型公司极为悲观。
2:59:44EN → 简体中文两门濒危语言难倒了 Transformer,嵌套学习给模型加上“睡眠”按钮主持 Nathan LabenzGoogle 研究员 Ali Behrouz 向 Nathan Labenz 讲解,语言模型要获得真正的持续学习,不能只堆叠层数,还要堆叠更新频率,并加入一个离线的睡眠阶段。
1:13:33EN → 简体中文一万亿个 Token 之后,概念终于落地:Łukasz Kaiser 谈 Transformer 仍然缺什么主持 Jacob Effron《Attention Is All You Need》合著者在 Unsupervised Learning 节目中表示,Transformer 大概率会继续胜出,但它们学习的方式仍然与人不同。
2:12:00EN → 简体中文测试时的梯度下降:Titans 把大语言模型(LLM)的上下文推到 1000 万个 Token主持 Nathan Labenz在 GPT-4 的成绩断崖式下跌的地方,这位康奈尔大学博士生的神经记忆模块仍能保持约 70% 的准确率。
1:04:54EN → 简体中文他拿公司股权赌 Transformer 能撑下去,然后为 12000 家公司画出一张 AI 地图主持 Jacob EffronDatabricks 首席 AI 科学家 Jonathan Frankle 告诉企业,什么时候该用提示词、什么时候该微调或预训练,以及他为什么仍然不肯预测下一代架构。
1:18:32EN → 简体中文一个能分辨哪些基因碰不得的 DNA 模型主持 Nathan Labenz斯坦福大学的 Brian Hie 讲解混合架构、一个只用 DNA 训练的基因组尺度语言模型,以及一种结合紧密程度比天然抗体高 25 倍的抗体。
1:42:16EN → 简体中文七个月里 267 篇后续论文:Albert Gu 讲述状态空间模型的革命主持 Nathan LabenzMamba 合著者回顾了五年来的循环模型研究,讲选择性压缩为什么比不断增长的 KV 缓存(KV cache)更有效,以及 Mamba 2 为了让训练更快放弃了什么。
1:19:24EN → 简体中文一段乱码提示词,能读出 GPT-J 提前三个 token 的规划主持 Nathan Labenz美国东北大学的 Bau 实验室发现,一个 4 万参数的软提示(soft prompt)能读出模型接下来要说的词,而大约十个注意力头(attention head)承载着任务本身。
1:20:44EN → 简体中文像 Mamba 一样看世界:视觉、腐坏的状态与 90 天里的细胞模型主持 Nathan LabenzNathan Labenz 和 Jason Meaux 梳理了原版 Mamba 发布之后的视觉论文、长上下文实验和生物学工作。
2:30:06EN → 简体中文训练 token 只有 GPT-4 的三十分之一,Mamba 在 Transformer 的主场赢了主持 Nathan Labenz在一期单人紧急节目中,Nathan Labenz 认为,Albert Gu 和 Tri Dao 提出的选择性状态空间模型,是 2017 年以来第一个有资格与 Transformer 分享王座的架构。
39:02EN → 简体中文AI 的产品优势是一致,真正的软肋是容易被骗主持 Nathan LabenzNathan Labenz 更新了 The Cognitive Revolution 的球探报告:越狱、简历自动化、Med-PaLM 在放射学对决中 40% 的胜率,以及 Transformer 之后可能出现什么。
2:13:07EN → 简体中文在 GPT-2 Small 上半小时找到一个回路,却在 GPT-3 之前撞上了二次方的墙主持 Nathan LabenzArthur Conmy 带 Nathan Labenz 讲解 ACDC:这种算法能自动完成机制可解释性中最繁琐的一步,即找出究竟是哪些 Transformer 组件在真正执行某项任务。
1:32:22EN → 简体中文一百万字节与 256 个符号:Meta 的 MEGABYTE 想扔掉分词器主持 Nathan LabenzMeta AI 的 Lili Yu 讲解一种多尺度 Transformer:它能预测百万字节的序列,不做分词,目标是把任何文件都当作原始字节来建模。
2:00:19EN → 简体中文150 万个 GPT-4 童话,让 3300 万参数的模型推理超过 GPT-2主持 Nathan Labenz来试试这道填空:Lily 喜欢猫和狗。她向妈妈要了一只狗。妈妈不同意,于是她又要了一个……
46:25ENDeep Learning at the Edge of 2019: BERT, Autopilot, and the Ideas That Broke Through主持 Lex FridmanA tour of the architectural, applied, and automation breakthroughs that defined deep learning in 2018 and set up 2019.
1:16:52ENMamba After 90 Days: What 30 Papers Reveal About State Space Models, Hybrids, and Mixture of Experts主持 Nathan LabenzNathan Labenz and AI scout Jason Meaux survey the first wave of Mamba-inspired research, from mechanistic studies and synthetic-task tradeoffs to hybrid architectures and MoE variants.
1:03:10ENPause Tokens, Analogical Prompts and Ring Attention: A Tour of the Transformer's Next Upgrades主持 Nathan LabenzNathan Labenz and Trey Kollmer walk through five recent papers on pausing, backspacing, prompting, streaming and long-context training, and sketch how they might combine into a more capable model.







