最近更新的频道

点选即可只看该频道浏览全部频道 →

筛选结果

25 篇
排序
7 张幻灯片35:19EN → 简体中文
AI Engineer· 2026年10月25日SallyAnn DeLucia:如何编写你的第一个 AI 评估SallyAnn DeLucia · Arize AI从智能体的真实追踪记录中提炼具体的通过与失败标准,再构建一个能测试、能与人工判断对齐,并能在生产环境运行的大模型裁判。评估与可观测性评估智能体工程+2
2:10:42EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2026年8月28日播客没人审核的考卷主持 Nathan Labenz前沿实验室从一群小供应商那里购买强化学习(reinforcement learning)环境,却几乎没人核查这些测试是否贴合真实工作。评估与可观测性评估Reward hacking+3
36:19EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年6月26日播客 · 2 人对谈基准测试表已经失真:测试时算力涨得太快,打分方式却跟不上主持 Sarah Guo, Elad GilOpenAI 研究员 Noam Brown 认为,静态排行榜掩盖了模型被允许思考多久;安全评测、研究品味和发布节奏,都还没有跟上。评估与可观测性评估Benchmarks+3
48:00EN → 简体中文
Unsupervised Learning: With Jacob Effron· 2025年12月15日播客两秒钟的投票,正在把模型训练成标题党主持 Jacob EffronSurge AI 的 CEO Edwin Chen 向 Redpoint 解释了 LMArena 为什么奖励长篇幅和表情符号,某家实验室的模型为何连续变差了一年,以及为什么前沿实验室已经不再走同一条路。评估与可观测性RL environments & simulatorsData quality & curation+3
32:59EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2025年7月24日播客 · 2 人对谈一百来人、年营收 10 亿美元,却没有一分风投主持 Sarah Guo, Elad GilSurge AI 创始人 Edwin Chen 谈:为什么高质量的人工数据是诗歌问题,而不是边界框问题,以及为什么排行榜会不断训练模型去写标题党(clickbait)式的内容。评估与可观测性Data quality & curation人工介入验证+3
47:07EN → 简体中文
Sequoia Capital· 2025年7月8日播客Goodfire 的 Eric Ho:我们将在 2028 年前解码神经网络在红杉资本的访谈节目《Training Data》里,这位做可解释性(interpretability)研究的公司创始人认为,稀疏自编码器(sparse autoencoder)、模型编辑(model editing)和第三方实验室,正在让 AI 从“靠数据长出来”变成“靠设计做出来”。评估与可观测性Model Interpretability安全与治理+3
40:33EN → 简体中文
Sequoia Capital· 2025年6月24日播客Slack 频道里五十人,四分钟找到关键证据Traversal 联合创始人讲述,如何把 DevOps 里“心梗”式的紧急事故,交给智能体(Agent)做根因分析;也谈为什么可观测性是企业第二大软件开支,排障却仍像一场侦探游戏。评估与可观测性可观测性与可靠性智能体工程+3
54:53EN → 简体中文
Unsupervised Learning: With Jacob Effron· 2025年6月17日播客一个免费投票榜烧掉 200 万美元,之后却融到了 1 亿美元主持 Jacob EffronDatabricks 联合创始人 Ion Stoica 解释了 LMArena 为何存在,中国为何在开源(open source)模型上占据优势,以及为什么真正拖住 AI 的仍然是可靠性,而不是又一条规模定律(scaling law)。评估与可观测性评估Benchmarks+3
44:21EN → 简体中文
Unsupervised Learning: With Jacob Effron· 2025年6月4日播客Mercor CEO:知识型工作的下一个岗位是写评测主持 Jacob EffronBrendan Foody 向 Redpoint 讲述,Mercor 如何靠 AI 招聘和专家数据拿到一轮 1 亿美元的融资,以及他为什么认为很大一部分白领工作会变成为模型编写测试。评估与可观测性评估Data quality & curation+3
57:11EN → 简体中文
Unsupervised Learning: With Jacob Effron· 2025年1月30日播客一百万个 Token,也写不出一个好笑话主持 Jacob Effron普林斯顿大学的 Arvind Narayanan 谈:为什么智能体评测会误导人,推理时扩展(inference scaling)为何会撞上墙,以及 AI 更像互联网,而非一夜之间的革命。评估与可观测性评估Benchmarks+3
1:46:41EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年12月21日播客前沿模型在真实 AI 研发任务中落在第 10 至第 40 百分位主持 Nathan LabenzMETR 的 Neev Parikh 向 Nathan Labenz 讲解了 REBench:这是一套包含七项任务的测试,用来检验智能体(Agent)能否做机器学习研究,以及其中一个智能体决定不训练模型时发生了什么。评估与可观测性评估Benchmarks+3
1:23:37EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年10月23日播客前十名研究想法里有九个出自 Claude主持 Nathan Labenz斯坦福大学博士生 Chenglei Si 做了一项盲测,让 Claude 3.5 Sonnet 与一百多位自然语言处理(NLP)研究者比拼新颖的研究想法。评估与可观测性评估Benchmarks+3
38:28EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2024年10月8日播客 · 2 人对谈线上 AI 有一半是检索增强生成(RAG),微调几乎消失了主持 Sarah Guo, Elad GilBraintrust 的 CEO Ankur Goyal 讲述 Notion、Zapier 和 Vercel 实际上线了什么,以及它们悄悄放弃了哪些被热炒的技术。评估与可观测性评估检索增强生成+3
1:54:17EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年8月28日播客Metaculus 在 2020 年 1 月就关注到了新冠,如今它要让 AI 也加入预测主持 Nathan LabenzNathan Labenz 与 Metaculus 首席执行官 Deger Turan 谈认知安全、为期一年的机器人锦标赛,以及为什么一个有用的预测,比一个准确的预测更难做到。评估与可观测性评估Benchmarks+3
1:56:03EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年7月13日播客人类接近满分,最强 AI 仍只拿到 39%主持 Nathan LabenzZapier 联合创始人 Mike Knoop 和 François Chollet 为 ARC-AGI 拿出了 100 万美元奖金。ARC-AGI 是 2019 年提出的、考察样本效率的智能测试,在每题一美分的算力预算下,语言模型至今仍无法破解。评估与可观测性通用人工智能Benchmarks+3
55:13EN → 简体中文
Sequoia Capital· 2024年7月2日播客这项测试上最好的 AI 只得 39%,Zapier 联合创始人拿出 100 万美元奖金,要攻克它François Chollet 设计 ARC,用来衡量获取新技能的效率。五年过去,人类依然轻松过关,前沿模型却做不到。评估与可观测性BenchmarksAGI Timelines+3
26:00EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2024年6月11日播客 · 2 人对谈Zapier 创始人为何认为通用人工智能研究已经停滞了四年主持 Sarah Guo, Elad GilMike Knoop 和 François Chollet 拿出了超过 100 万美元,奖励能够突破 ARC-AGI 的人。他们认为,这项评测才真正衡量了通用智能。评估与可观测性通用人工智能Benchmarks+3
43:45EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2023年8月3日播客 · 2 人对谈八年毫无增长,后来 OpenAI 和英伟达成了他的客户主持 Sarah Guo, Elad GilWeights & Biases 首席执行官 Lukas Biewald 在 No Priors 节目中讲述,一家没有鸿沟需要跨越的标注公司,如何为训练出大多数大语言模型的机器学习开发工具提供了资金。评估与可观测性可观测性与可靠性开发流程与测试+3
44:19EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2023年6月15日播客 · 2 人对谈AI 将多写十倍的代码,但仍得有人让它们保持运行主持 Sarah Guo, Elad GilDatadog 联合创始人 Olivier Pomel 谈为什么更快的代码生成会把价值从编写软件转移到理解、保护和运维软件。评估与可观测性可观测性与可靠性Developer productivity+3
53:37EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2023年3月9日播客 · 2 人对谈30 个模型、42 个场景、7 项指标:Percy Liang 为语言模型做的公开体检主持 Sarah Guo, Elad Gil一个只用 PubMed 论文训练的模型,曾在美国医师执照考试中名列前茅,直到一个规模约大 200 倍的系统超过了它。评估与可观测性AI researchFoundation Models+3
2:34:20EN → 简体中文
Lex Fridman· 2020年8月30日播客 · 2 人对谈智能,是你习得未曾准备过的技能的效率嘉宾 François Chollet · 主持 Lex FridmanFrançois Chollet 对 Lex Fridman 说,技能不等于智能,GPT-3 仍然只是在做模式匹配,而一种名为 ARC 的网格谜题,至今仍能把孩子和机器区分开。评估与可观测性BenchmarksAI research+3
1:07:08EN → 简体中文
Lenny's Podcast播客 · 2 人对谈模型就是产品,评估就是需求文档:Mercor如何长成史上增长最快的公司嘉宾 Brendan Foody · 主持 Lenny RachitskyMercor CEO Brendan Foody解释,为什么AI实验室几乎愿为专家写的评估付任何价钱,公司如何在16个月内从100万美元做到4亿美元年化,以及对工作和创业者意味着什么。评估与可观测性评估Data quality & curation+3
1:16:17EN → 简体中文
Lenny's Podcast播客 · 2 人对谈更快,可是为了什么?Nicole Forsgren 谈 AI 时代如何衡量开发者生产力嘉宾 Nicole Forsgren · 主持 Lenny RachitskyDORA 和 SPACE 的提出者解释为什么多数生产力指标会骗人,AI 如何改写心流与信任,以及怎样把开发者体验做成能证明价值的项目。评估与可观测性Developer productivity评估+3
1:07:48EN → 简体中文
Lenny's Podcast播客大多数生产力指标都是谎言:Nicole Forsgren 谈 AI 时代如何衡量开发者体验主持 Lenny RachitskyDORA 与 SPACE 的提出者解释,为何代码行数和旧流水线指标在 AI 时代不够用,以及怎样从倾听、问卷开始改进开发者体验,并把结果接到领导真正关心的事上。评估与可观测性Developer productivity开发流程与测试+3
加载更多已显示 24 篇,共 25 篇