最近更新的频道

点选即可只看该频道浏览全部频道 →

筛选结果

226 篇
排序
6 张幻灯片21:02EN → 简体中文
Matthew Berman· 2024年12月24日OpenAI 2024 年 o3 预览版引发的反应:基准、成本与局限Matthew Berman · Forward FutureMatthew Berman 综述外界对 o3 预览版的反应,从数学基准到关于 AGI、算力和可靠性的争论。BenchmarksReasoning & test-time compute通用人工智能+2
1:46:41EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年12月21日播客前沿模型在真实 AI 研发任务中落在第 10 至第 40 百分位主持 Nathan LabenzMETR 的 Neev Parikh 向 Nathan Labenz 讲解了 REBench:这是一套包含七项任务的测试,用来检验智能体(Agent)能否做机器学习研究,以及其中一个智能体决定不训练模型时发生了什么。评估与可观测性评估Benchmarks+3
6 张幻灯片26:23EN → 简体中文
Matthew Berman· 2024年12月20日OpenAI 发布 o3:基准测试进展与 AGI 之问Matthew Berman, Sam Altman, Mark Chen, Greg Kamradt, Hongyu Ren · Forward FutureMatthew Berman 回顾 2024 年 12 月 o3 和 o3-mini 的发布,包括编程、数学与 ARC-AGI 成绩。他认为这些结果证明了 AGI,但基准测试本身无法确立这一结论。OpenAIBenchmarksReasoning & test-time compute+2
3 张幻灯片9:00EN → 简体中文
Matthew Berman· 2024年12月20日Best-of-N 越狱:2024 年反复变换提示词的研究发现Matthew Berman · Forward FutureMatthew Berman 解读研究,探讨反复变换输入如何暴露文本、视觉和音频模型的安全失效。Agent red teamingAI SafetyMultimodal AI+2
52:21EN → 简体中文
Matthew Berman· 2024年12月7日SWE-bench 团队谈编程智能体、评估与编程的未来Matthew Berman, Kilian Lieret, Ofir Press, Carlos E. Jimenez · Forward FutureKilian Lieret、Ofir Press 和 Carlos Jimenez 解释真实 GitHub issue 如何成为基准,以及界面设计如何塑造 SWE-agent。编程智能体开发流程与测试Benchmarks+2
7 张幻灯片1:22:09EN → 简体中文
Matthew Berman· 2024年12月5日直播测试 ChatGPT o1 Pro:谜题、代码与更多推理的成本Matthew Berman · Forward FutureMatthew Berman 用观众提出的问题测试 OpenAI 新推出的每月 200 美元套餐,遇到了缓慢回复、简单成功案例和错误的数独结论。评估Benchmarks编程智能体+1
1:49:41EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年11月21日播客一支十来人的团队,在 Meta 的底座上追平了 Meta 的后训练主持 Nathan LabenzNathan Lambert 讲解 Tulu 3:三阶段配方、1% 与 14% 的教训,以及开放的后训练(post-training)如今为何取决于数据与评测。模型与训练Post-trainingData quality & curation+3
7 张幻灯片14:50EN → 简体中文
Matthew Berman· 2024年11月19日2024 年 11 月 AI 新闻:Mistral、Gemini、核安全与医疗 AIMatthew Berman · Forward FutureMatthew Berman 回顾 Le Chat 更新、模型排名、核安全措施和一项诊断推理研究。AI StrategyBenchmarksAI Safety+2
4 张幻灯片14:05EN → 简体中文
Matthew Berman· 2024年11月15日MIT 研究:测试时训练提升 ARC 谜题成绩Matthew Berman · Forward FutureMatthew Berman 解读一篇 2024 年论文:语言模型在推理时针对每道谜题进行适配,再将预测与程序合成结果结合。AI researchReasoning & test-time computeBenchmarks+1
3 张幻灯片11:56EN → 简体中文
Matthew Berman· 2024年11月3日IBM Granite 3.0 与 InstructLab:面向企业 AI 的小模型Matthew Berman · Forward FutureMatthew Berman 回顾 IBM 2024 年的模型家族及其添加领域知识的方法。IBM 与他合作制作本视频并邀请他参加活动。模型与训练企业 AI微调+2
6 张幻灯片10:39EN → 简体中文
Matthew Berman· 2024年10月29日Zamba2-7B:混合 Mamba 与 Transformer 的模型编程和推理测试Matthew Berman · Forward FutureMatthew Berman 将 Zyphra 的效率声明与自己的非正式测试作比较,涵盖 Python 游戏、空间谜题和简单文字任务。模型与训练Open-weight modelsBenchmarks+2
6 张幻灯片12:29EN → 简体中文
Matthew Berman· 2024年10月25日测试更新版 Claude 3.5 Sonnet:编程、推理与视觉Matthew Berman · Forward FutureMatthew Berman 用 Python 游戏、逻辑谜题和图片测试 2024 年 10 月的模型,结果有好有坏,部分评分也存在争议。Benchmarks编程智能体评估+1
6 张幻灯片18:28EN → 简体中文
Matthew Berman· 2024年10月23日Claude 3.5 Sonnet 的 2024 年电脑操作测试版:演示与局限Matthew Berman · Forward FutureMatthew Berman 回顾 Anthropic 更新的模型,展示测试版智能体如何通过截图和工具操作使用软件。Computer useAI agentsBenchmarks+2
1:23:37EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年10月23日播客前十名研究想法里有九个出自 Claude主持 Nathan Labenz斯坦福大学博士生 Chenglei Si 做了一项盲测,让 Claude 3.5 Sonnet 与一百多位自然语言处理(NLP)研究者比拼新颖的研究想法。评估与可观测性评估Benchmarks+3
2:37:47EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年10月19日播客写出 GELU 的实习生,如今想出“人类最后的考试”主持 Nathan LabenzDan Hendrycks 谈激活函数、五年期的基准测试(benchmark)、扩大规模也无法消除的越狱,以及为什么要层层叠加防御,因为没有哪一层防御值得完全信任。安全AI security安全与治理+3
2:25:53EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年10月16日播客GPT-4 基础模型自我介绍,75% 的回答都在谈 AI主持 Nathan LabenzOwain Evans 向 Michael Trazzi 解释了为什么情境感知和语境外推理是欺骗性对齐的先行指标,以及为什么一个几乎没有自我认知的预训练模型,仍然不断谈论自己是 AI。安全安全与治理评估+3
5 张幻灯片9:38EN → 简体中文
Matthew Berman· 2024年10月15日Liquid Foundation Models:厂商基准与实际测试Matthew Berman · Forward FutureMatthew Berman 回顾 Liquid AI 在 2024 年提出的模型和内存主张,再用编程、逻辑和指令遵循提示测试 40B 预览版。Foundation Models评估Benchmarks+2
6 张幻灯片26:43EN → 简体中文
Matthew Berman· 2024年10月10日测试 OpenAI o1 的规划、规则遵循与空间推理能力Matthew Berman · Forward FutureMatthew Berman 回顾一项 2024 年的初步研究,比较 o1-preview、o1-mini 和 GPT-4 在六类规划任务中的表现。评估Reasoning & test-time computeAI research+2
1:09:09EN → 简体中文
Cognitive Revolution "How AI Changes Everything"· 2024年10月2日播客SWE-bench 拿下 30%:Cosine 如何教 Genie 像工程师那样思考主持 Nathan LabenzAlistair Pullen 向《Latent Space》讲述:Cosine 如何还原人类解决问题的过程,用数十亿 token 做微调(fine-tuning),并在软件工程领域最难的公开测试之一上拿下了最高分。编程智能体智能体工程微调+3
4 张幻灯片11:14EN → 简体中文
Matthew Berman· 2024年9月18日Pixtral 12B:测试一款 2024 年的视觉语言模型Matthew Berman · Forward FutureMatthew Berman 在赞助商提供的云 GPU 上,对 Mistral 的 Pixtral 进行非正式图像、文本和界面生成测试。Multimodal AI视觉与视频Open-weight models+1
6 张幻灯片18:09EN → 简体中文
Matthew Berman· 2024年9月17日2024 年 9 月 AI 新闻:Copilot、NotebookLM、o1 与世界模型Matthew Berman · Forward FutureMatthew Berman 回顾一周的 AI 动态,涵盖办公助手、音频概览、基准测试、视频生成与空间 AI。AI researchAI agentsGenerative media+2
5 张幻灯片10:57EN → 简体中文
Matthew Berman· 2024年9月13日测试 OpenAI o1-preview:俄罗斯方块、物理推理与北极题错误Matthew Berman · Forward Future2024 年 9 月,Matthew Berman 用个人评分题目测试新推理模型预览版,考察回答的成功与失误。OpenAIReasoning & test-time compute评估+2
8 张幻灯片21:21EN → 简体中文
Matthew Berman· 2024年9月12日OpenAI o1 的 2024 年发布:推理基准与早期测试Matthew Berman · Forward FutureMatthew Berman 回顾 o1-preview、o1-mini、OpenAI 报告的评估结果,以及他自己的早期编程实验。OpenAIReasoning & test-time computeBenchmarks+2
5 张幻灯片19:38EN → 简体中文
Matthew Berman· 2024年9月9日Reflection 70B:相互矛盾的结果与尚待解答的问题Matthew Berman · Forward FutureMatthew Berman 回顾自己早期的报道、独立评测,以及围绕 2024 年 9 月发布的模型出现的不同说法。BenchmarksOpen-weight models评估+2
加载更多已显示 24 篇,共 226 篇