筛选结果
18 篇排序
50:57EN → 简体中文一万亿美元的 GPU 五年后只值 1000 亿美元:LSTM 提出者 Jürgen Schmidhuber 这样说主持 Jacob Effron这位 AI 先驱在《Unsupervised Learning》节目中对 Jacob Effron 说,他为何对这项技术极为乐观,却对买下芯片的模型公司极为悲观。
2:59:44EN → 简体中文两门濒危语言难倒了 Transformer,嵌套学习给模型加上“睡眠”按钮主持 Nathan LabenzGoogle 研究员 Ali Behrouz 向 Nathan Labenz 讲解,语言模型要获得真正的持续学习,不能只堆叠层数,还要堆叠更新频率,并加入一个离线的睡眠阶段。
1:13:33EN → 简体中文一万亿个 Token 之后,概念终于落地:Łukasz Kaiser 谈 Transformer 仍然缺什么主持 Jacob Effron《Attention Is All You Need》合著者在 Unsupervised Learning 节目中表示,Transformer 大概率会继续胜出,但它们学习的方式仍然与人不同。
2:12:00EN → 简体中文测试时的梯度下降:Titans 把大语言模型(LLM)的上下文推到 1000 万个 Token主持 Nathan Labenz在 GPT-4 的成绩断崖式下跌的地方,这位康奈尔大学博士生的神经记忆模块仍能保持约 70% 的准确率。
1:04:54EN → 简体中文他拿公司股权赌 Transformer 能撑下去,然后为 12000 家公司画出一张 AI 地图主持 Jacob EffronDatabricks 首席 AI 科学家 Jonathan Frankle 告诉企业,什么时候该用提示词、什么时候该微调或预训练,以及他为什么仍然不肯预测下一代架构。
1:18:32EN → 简体中文一个能分辨哪些基因碰不得的 DNA 模型主持 Nathan Labenz斯坦福大学的 Brian Hie 讲解混合架构、一个只用 DNA 训练的基因组尺度语言模型,以及一种结合紧密程度比天然抗体高 25 倍的抗体。
1:42:16EN → 简体中文七个月里 267 篇后续论文:Albert Gu 讲述状态空间模型的革命主持 Nathan LabenzMamba 合著者回顾了五年来的循环模型研究,讲选择性压缩为什么比不断增长的 KV 缓存(KV cache)更有效,以及 Mamba 2 为了让训练更快放弃了什么。
1:19:24EN → 简体中文一段乱码提示词,能读出 GPT-J 提前三个 token 的规划主持 Nathan Labenz美国东北大学的 Bau 实验室发现,一个 4 万参数的软提示(soft prompt)能读出模型接下来要说的词,而大约十个注意力头(attention head)承载着任务本身。
1:20:44EN → 简体中文像 Mamba 一样看世界:视觉、腐坏的状态与 90 天里的细胞模型主持 Nathan LabenzNathan Labenz 和 Jason Meaux 梳理了原版 Mamba 发布之后的视觉论文、长上下文实验和生物学工作。
2:30:06EN → 简体中文训练 token 只有 GPT-4 的三十分之一,Mamba 在 Transformer 的主场赢了主持 Nathan Labenz在一期单人紧急节目中,Nathan Labenz 认为,Albert Gu 和 Tri Dao 提出的选择性状态空间模型,是 2017 年以来第一个有资格与 Transformer 分享王座的架构。
39:02EN → 简体中文AI 的产品优势是一致,真正的软肋是容易被骗主持 Nathan LabenzNathan Labenz 更新了 The Cognitive Revolution 的球探报告:越狱、简历自动化、Med-PaLM 在放射学对决中 40% 的胜率,以及 Transformer 之后可能出现什么。
2:13:07EN → 简体中文在 GPT-2 Small 上半小时找到一个回路,却在 GPT-3 之前撞上了二次方的墙主持 Nathan LabenzArthur Conmy 带 Nathan Labenz 讲解 ACDC:这种算法能自动完成机制可解释性中最繁琐的一步,即找出究竟是哪些 Transformer 组件在真正执行某项任务。
1:32:22EN → 简体中文一百万字节与 256 个符号:Meta 的 MEGABYTE 想扔掉分词器主持 Nathan LabenzMeta AI 的 Lili Yu 讲解一种多尺度 Transformer:它能预测百万字节的序列,不做分词,目标是把任何文件都当作原始字节来建模。
2:00:19EN → 简体中文150 万个 GPT-4 童话,让 3300 万参数的模型推理超过 GPT-2主持 Nathan Labenz来试试这道填空:Lily 喜欢猫和狗。她向妈妈要了一只狗。妈妈不同意,于是她又要了一个……
46:25ENDeep Learning at the Edge of 2019: BERT, Autopilot, and the Ideas That Broke Through主持 Lex FridmanA tour of the architectural, applied, and automation breakthroughs that defined deep learning in 2018 and set up 2019.
9:59ENIs Language or Vision Harder? Ilya Sutskever on the Unity of Machine Learning主持 Lex FridmanIn a short clip from his 2020 conversation with Lex Fridman, Ilya Sutskever explains why vision, language and reinforcement learning share the same few principles, and why asking which problem is harder is the wrong question.
1:16:52ENMamba After 90 Days: What 30 Papers Reveal About State Space Models, Hybrids, and Mixture of Experts主持 Nathan LabenzNathan Labenz and AI scout Jason Meaux survey the first wave of Mamba-inspired research, from mechanistic studies and synthetic-task tradeoffs to hybrid architectures and MoE variants.
1:03:10ENPause Tokens, Analogical Prompts and Ring Attention: A Tour of the Transformer's Next Upgrades主持 Nathan LabenzNathan Labenz and Trey Kollmer walk through five recent papers on pausing, backspacing, prompting, streaming and long-context training, and sketch how they might combine into a more capable model.









