筛选结果
24 篇排序
35:19EN → 简体中文SallyAnn DeLucia:如何编写你的第一个 AI 评估SallyAnn DeLucia · Arize AI从智能体的真实追踪记录中提炼具体的通过与失败标准,再构建一个能测试、能与人工判断对齐,并能在生产环境运行的大模型裁判。
2:10:42EN → 简体中文没人审核的考卷主持 Nathan Labenz前沿实验室从一群小供应商那里购买强化学习(reinforcement learning)环境,却几乎没人核查这些测试是否贴合真实工作。
36:19EN → 简体中文基准测试表已经失真:测试时算力涨得太快,打分方式却跟不上主持 Sarah Guo, Elad GilOpenAI 研究员 Noam Brown 认为,静态排行榜掩盖了模型被允许思考多久;安全评测、研究品味和发布节奏,都还没有跟上。
48:00EN → 简体中文两秒钟的投票,正在把模型训练成标题党主持 Jacob EffronSurge AI 的 CEO Edwin Chen 向 Redpoint 解释了 LMArena 为什么奖励长篇幅和表情符号,某家实验室的模型为何连续变差了一年,以及为什么前沿实验室已经不再走同一条路。
32:59EN → 简体中文一百来人、年营收 10 亿美元,却没有一分风投主持 Sarah Guo, Elad GilSurge AI 创始人 Edwin Chen 谈:为什么高质量的人工数据是诗歌问题,而不是边界框问题,以及为什么排行榜会不断训练模型去写标题党(clickbait)式的内容。
47:07EN → 简体中文Goodfire 的 Eric Ho:我们将在 2028 年前解码神经网络在红杉资本的访谈节目《Training Data》里,这位做可解释性(interpretability)研究的公司创始人认为,稀疏自编码器(sparse autoencoder)、模型编辑(model editing)和第三方实验室,正在让 AI 从“靠数据长出来”变成“靠设计做出来”。
40:33EN → 简体中文Slack 频道里五十人,四分钟找到关键证据Traversal 联合创始人讲述,如何把 DevOps 里“心梗”式的紧急事故,交给智能体(Agent)做根因分析;也谈为什么可观测性是企业第二大软件开支,排障却仍像一场侦探游戏。
54:53EN → 简体中文一个免费投票榜烧掉 200 万美元,之后却融到了 1 亿美元主持 Jacob EffronDatabricks 联合创始人 Ion Stoica 解释了 LMArena 为何存在,中国为何在开源(open source)模型上占据优势,以及为什么真正拖住 AI 的仍然是可靠性,而不是又一条规模定律(scaling law)。
44:21EN → 简体中文Mercor CEO:知识型工作的下一个岗位是写评测主持 Jacob EffronBrendan Foody 向 Redpoint 讲述,Mercor 如何靠 AI 招聘和专家数据拿到一轮 1 亿美元的融资,以及他为什么认为很大一部分白领工作会变成为模型编写测试。
57:11EN → 简体中文一百万个 Token,也写不出一个好笑话主持 Jacob Effron普林斯顿大学的 Arvind Narayanan 谈:为什么智能体评测会误导人,推理时扩展(inference scaling)为何会撞上墙,以及 AI 更像互联网,而非一夜之间的革命。
1:46:41EN → 简体中文前沿模型在真实 AI 研发任务中落在第 10 至第 40 百分位主持 Nathan LabenzMETR 的 Neev Parikh 向 Nathan Labenz 讲解了 REBench:这是一套包含七项任务的测试,用来检验智能体(Agent)能否做机器学习研究,以及其中一个智能体决定不训练模型时发生了什么。
1:23:37EN → 简体中文前十名研究想法里有九个出自 Claude主持 Nathan Labenz斯坦福大学博士生 Chenglei Si 做了一项盲测,让 Claude 3.5 Sonnet 与一百多位自然语言处理(NLP)研究者比拼新颖的研究想法。
38:28EN → 简体中文线上 AI 有一半是检索增强生成(RAG),微调几乎消失了主持 Sarah Guo, Elad GilBraintrust 的 CEO Ankur Goyal 讲述 Notion、Zapier 和 Vercel 实际上线了什么,以及它们悄悄放弃了哪些被热炒的技术。
1:54:17EN → 简体中文Metaculus 在 2020 年 1 月就关注到了新冠,如今它要让 AI 也加入预测主持 Nathan LabenzNathan Labenz 与 Metaculus 首席执行官 Deger Turan 谈认知安全、为期一年的机器人锦标赛,以及为什么一个有用的预测,比一个准确的预测更难做到。
1:56:03EN → 简体中文人类接近满分,最强 AI 仍只拿到 39%主持 Nathan LabenzZapier 联合创始人 Mike Knoop 和 François Chollet 为 ARC-AGI 拿出了 100 万美元奖金。ARC-AGI 是 2019 年提出的、考察样本效率的智能测试,在每题一美分的算力预算下,语言模型至今仍无法破解。
55:13EN → 简体中文这项测试上最好的 AI 只得 39%,Zapier 联合创始人拿出 100 万美元奖金,要攻克它François Chollet 设计 ARC,用来衡量获取新技能的效率。五年过去,人类依然轻松过关,前沿模型却做不到。
43:45EN → 简体中文八年毫无增长,后来 OpenAI 和英伟达成了他的客户主持 Sarah Guo, Elad GilWeights & Biases 首席执行官 Lukas Biewald 在 No Priors 节目中讲述,一家没有鸿沟需要跨越的标注公司,如何为训练出大多数大语言模型的机器学习开发工具提供了资金。
44:19EN → 简体中文AI 将多写十倍的代码,但仍得有人让它们保持运行主持 Sarah Guo, Elad GilDatadog 联合创始人 Olivier Pomel 谈为什么更快的代码生成会把价值从编写软件转移到理解、保护和运维软件。
53:37EN → 简体中文30 个模型、42 个场景、7 项指标:Percy Liang 为语言模型做的公开体检主持 Sarah Guo, Elad Gil一个只用 PubMed 论文训练的模型,曾在美国医师执照考试中名列前茅,直到一个规模约大 200 倍的系统超过了它。
2:34:20EN → 简体中文智能,是你习得未曾准备过的技能的效率嘉宾 François Chollet · 主持 Lex FridmanFrançois Chollet 对 Lex Fridman 说,技能不等于智能,GPT-3 仍然只是在做模式匹配,而一种名为 ARC 的网格谜题,至今仍能把孩子和机器区分开。
1:07:08EN → 简体中文模型就是产品,评估就是需求文档:Mercor如何长成史上增长最快的公司嘉宾 Brendan Foody · 主持 Lenny RachitskyMercor CEO Brendan Foody解释,为什么AI实验室几乎愿为专家写的评估付任何价钱,公司如何在16个月内从100万美元做到4亿美元年化,以及对工作和创业者意味着什么。
1:16:17EN → 简体中文更快,可是为了什么?Nicole Forsgren 谈 AI 时代如何衡量开发者生产力嘉宾 Nicole Forsgren · 主持 Lenny RachitskyDORA 和 SPACE 的提出者解释为什么多数生产力指标会骗人,AI 如何改写心流与信任,以及怎样把开发者体验做成能证明价值的项目。
1:07:48EN → 简体中文大多数生产力指标都是谎言:Nicole Forsgren 谈 AI 时代如何衡量开发者体验主持 Lenny RachitskyDORA 与 SPACE 的提出者解释,为何代码行数和旧流水线指标在 AI 时代不够用,以及怎样从倾听、问卷开始改进开发者体验,并把结果接到领导真正关心的事上。
1:46:33EN → 简体中文从一团乱到失败地图:Hamel 和 Shreya 手把手讲 AI 评估嘉宾 Hamel Husain, Shreya Shankar · 主持 Lenny Rachitsky两位评估课讲师用一套公寓租赁助手的真实日志,带 Lenny 走完从读 traces、聚类失败模式到校验 LLM 裁判的全流程。








