筛选结果
14 篇排序
2:02:17EN → 简体中文稀疏自编码器找名词,参数分解找动词主持 Nathan LabenzGoodfire 的 Lee Sharkey 认为,稀疏自编码器(SAE)还原的是网络里的变量,却还原不了这些变量运行的算法。他还介绍了随机参数分解(SPD)如何尝试还原计算本身。
1:37:05EN → 简体中文一位代数几何学家辞去终身教职,因为碗形的损失曲线图是假的主持 Nathan LabenzTimaeus 的 Jesse Hoogland 和 Daniel Murfet 认为,真正决定神经网络如何学习、如何泛化、又如何出错的,是损失景观中的奇点,而不是每份幻灯片里那些平滑的山谷。
2:12:00EN → 简体中文测试时的梯度下降:Titans 把大语言模型(LLM)的上下文推到 1000 万个 Token主持 Nathan Labenz在 GPT-4 的成绩断崖式下跌的地方,这位康奈尔大学博士生的神经记忆模块仍能保持约 70% 的准确率。
2:33:39EN → 简体中文攻击者后出手:Nicholas Carlini 为什么总能攻破 AI 防御主持 Nathan Labenz谷歌 DeepMind 安全研究员谈简单的损失函数、70% 的稳健准确率,以及为什么修复必须落在系统层面,单靠模型本身不够。
1:40:22EN → 简体中文20 原子晶体教会 AI 心跳的物理学主持 Nathan LabenzOrbital Materials 的 Jonathan Godwin 和 Tim Duignan 向 Nathan Labenz 讲述,一个在微小晶体上训练的神经网络,如何在一块 2017 年款 GPU 上模拟了钾离子通道。
1:42:16EN → 简体中文七个月里 267 篇后续论文:Albert Gu 讲述状态空间模型的革命主持 Nathan LabenzMamba 合著者回顾了五年来的循环模型研究,讲选择性压缩为什么比不断增长的 KV 缓存(KV cache)更有效,以及 Mamba 2 为了让训练更快放弃了什么。
1:54:01EN → 简体中文一个小网络长出了盐晶体,而训练数据里从来没有它主持 Nathan LabenzTim Duignan 用盐水训练了数万个参数。模型“发明”了一种晶体,还推出了一套连续介质溶剂理论(continuum solvent theory);而他读博期间花了整整一个博士阶段,也没能手工把这套理论写出来。
1:58:43EN → 简体中文一条只有 302 个神经元的线虫已经会权衡取舍,AI 仍停在同一座梯子上主持 Nathan LabenzMax Bennett 把 6 亿年的大脑演化对应到五次突破上,并追问今天的模型究竟爬上了哪几级台阶。
1:19:24EN → 简体中文一篇玩具论文没有证明大语言模型不能泛化,舆论却照样跟着跑主持 Nathan LabenzNathan Labenz 和 Erik Torenberg 拆解了一条在网上疯传的 DeepMind 结果、一次周末复现,以及一场针对自愿性 AI 承诺、来得太早的骂战。
1:33:56EN → 简体中文AI 侦察报告:90 分钟从 GPT-4 的考试成绩讲到模型是否真的理解主持 Nathan LabenzNathan Labenz 独自主持一期节目,梳理通用模型能做什么、怎样训练、能力如何被解锁,以及它们究竟理不理解任何东西。
1:32:22EN → 简体中文一百万字节与 256 个符号:Meta 的 MEGABYTE 想扔掉分词器主持 Nathan LabenzMeta AI 的 Lili Yu 讲解一种多尺度 Transformer:它能预测百万字节的序列,不做分词,目标是把任何文件都当作原始字节来建模。
1:52:46EN → 简体中文给神经网络的连接按长度收费,黑箱就拆成了看得见的模块主持 Nathan LabenzMIT 物理学家 Ziming Liu 向 Nathan Labenz 讲解 BIMT,这是一种受大脑启发的训练技巧,能把网络稀疏到用眼睛就能读懂的程度。
1:25:50EN → 简体中文提示词工程(prompt engineering)变成了编程,Riley Goodside 对此并不介意主持 Nathan LabenzScale AI 首位资深提示词工程师谈工具调用(tool use)、不失忆的微调(fine-tuning)、先生成再排序,以及 2023 年“未来工作”的故事为什么没有成真。
1:03:10ENPause Tokens, Analogical Prompts and Ring Attention: A Tour of the Transformer's Next Upgrades主持 Nathan LabenzNathan Labenz and Trey Kollmer walk through five recent papers on pausing, backspacing, prompting, streaming and long-context training, and sketch how they might combine into a more capable model.








