Noam Brown:评估 AI 模型需要多少时间

原标题Noam Brown on the Time Needed to Evaluate AI Models

一段关于快速发布、长时间任务和发布前测试的讨论。

NBNoam Brown嘉宾 · OpenAI
频道
No Priors: AI, Machine Learning, Tech, & Startups
发布
2026年6月30日
视频
0:41
阅读
1 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Noam Brown 认为,频繁发布模型可能让人难以探索能力边界,尤其是长时间任务;他也讨论了评估时间与竞争压力之间的张力。

  1. 1快速发布周期频繁发布可能快于长时间测试。
  2. 2长时间任务有些能力只有经过长时间使用才更清楚。
  3. 3困难的取舍在竞争压力下,更多发布前评估需要时间。

要点建议

  1. 新模型可能在长时间测试完成前发布。
  2. 长任务可能需要时间才能显现能力。
  3. 发布前测试需要与发布进度权衡。
全文

按章节阅读整理后的全文

只看原始文稿
01

评估时间差

OpenAI 研究员 Noam Brown 说,当新模型每隔几个月发布一次时,用户可能还在测试上一代模型,下一代就已经出现。

OpenAI 研究员 Noam Brown 说,当新模型每隔几个月发布一次时,用户可能还在测试上一代模型,下一代就已经出现。

他认为,这使人们难以了解模型能力的完整范围,特别是需要长时间运行的任务。

Brown 以 /goal 功能发布后用户运行超过一周的任务为例,说明有些能力需要时间才能显现。

02

时间与竞争

被问到实验室如何在发布前充分评估时,他说更多时间会有帮助,但也会推迟发布,并与竞争压力产生张力。这是他的判断,并非评估无法进行的证明。

被问到实验室如何在发布前充分评估时,他说更多时间会有帮助,但也会推迟发布,并与竞争压力产生张力。这是他的判断,并非评估无法进行的证明。

同频道的其他文章

38:06EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月29日播客 · 3 人对谈Serval 的 Jake Stauch:面向企业 IT 的编程智能体嘉宾 Jake Stauch · 主持 Sarah Guo, Elad GilStauch 解释 Serval 为什么挑战 ServiceNow、如何处理权限与审批,以及为什么后台智能体仍然难以安全部署。企业 AI编程智能体Workflow automation+2
1:07EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月27日播客George Kurtz 谈 AI 可能如何改变网络攻击嘉宾 George KurtzCrowdStrike 首席执行官介绍他对威胁变化的判断。
39:23EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月15日播客 · 2 人对谈防守方的窗口期:Greg Brockman 谈 AI 生成知识、药物研发与网络安全的新规律主持 Sarah Guo, Elad GilOpenAI 总裁解释了为什么攻克未解的数学难题,是科学领域的有力证据,主动式智能体(Agent)如何改变产品形态,以及为什么安全支出必须超过软件支出。安全AI security安全与治理+3
1:04EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月14日播客Walter Goodwin:芯片设计中缓慢的步骤嘉宾 Walter Goodwin一位芯片创始人解释自动化为何不能消除所有计算瓶颈。SemiconductorsAI cost & performance
1:09:44EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月9日播客 · 2 人对谈1 万块 GB300 跑四周:Reflection 的开源模型账本主持 Sarah Guo, Elad GilMisha Laskin 在 No Priors 节目中讲述 Reflection 如何训练 Beam、为什么强化学习的投入超过了预训练,以及为什么西方需要自己的开源权重。开源与社区Open-weight modelsReinforcement Learning+3
35:39EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月2日播客 · 2 人对谈算力涨了百万倍,带宽只涨 40 倍,Fractile 想修正这个比例主持 Sarah Guo, Elad Gil2022 年夏天,Walter Goodwin 在伦敦创办 Fractile,目标是为全球最大的模型打造速度极快的推理(inference)芯片。基础设施与部署InferenceAI cost & performance+3