摘要
30 秒看懂
Noam Brown 认为,频繁发布模型可能让人难以探索能力边界,尤其是长时间任务;他也讨论了评估时间与竞争压力之间的张力。
- 1快速发布周期频繁发布可能快于长时间测试。
- 2长时间任务有些能力只有经过长时间使用才更清楚。
- 3困难的取舍在竞争压力下,更多发布前评估需要时间。
要点建议
- 新模型可能在长时间测试完成前发布。
- 长任务可能需要时间才能显现能力。
- 发布前测试需要与发布进度权衡。
全文
按章节阅读整理后的全文
01
评估时间差
OpenAI 研究员 Noam Brown 说,当新模型每隔几个月发布一次时,用户可能还在测试上一代模型,下一代就已经出现。
OpenAI 研究员 Noam Brown 说,当新模型每隔几个月发布一次时,用户可能还在测试上一代模型,下一代就已经出现。
他认为,这使人们难以了解模型能力的完整范围,特别是需要长时间运行的任务。
Brown 以 /goal 功能发布后用户运行超过一周的任务为例,说明有些能力需要时间才能显现。
02
时间与竞争
被问到实验室如何在发布前充分评估时,他说更多时间会有帮助,但也会推迟发布,并与竞争压力产生张力。这是他的判断,并非评估无法进行的证明。
被问到实验室如何在发布前充分评估时,他说更多时间会有帮助,但也会推迟发布,并与竞争压力产生张力。这是他的判断,并非评估无法进行的证明。
同频道的其他文章
38:06EN → 简体中文Serval 的 Jake Stauch:面向企业 IT 的编程智能体嘉宾 Jake Stauch · 主持 Sarah Guo, Elad GilStauch 解释 Serval 为什么挑战 ServiceNow、如何处理权限与审批,以及为什么后台智能体仍然难以安全部署。
1:07EN → 简体中文George Kurtz 谈 AI 可能如何改变网络攻击嘉宾 George KurtzCrowdStrike 首席执行官介绍他对威胁变化的判断。
39:23EN → 简体中文防守方的窗口期:Greg Brockman 谈 AI 生成知识、药物研发与网络安全的新规律主持 Sarah Guo, Elad GilOpenAI 总裁解释了为什么攻克未解的数学难题,是科学领域的有力证据,主动式智能体(Agent)如何改变产品形态,以及为什么安全支出必须超过软件支出。
1:04EN → 简体中文Walter Goodwin:芯片设计中缓慢的步骤嘉宾 Walter Goodwin一位芯片创始人解释自动化为何不能消除所有计算瓶颈。
1:09:44EN → 简体中文1 万块 GB300 跑四周:Reflection 的开源模型账本主持 Sarah Guo, Elad GilMisha Laskin 在 No Priors 节目中讲述 Reflection 如何训练 Beam、为什么强化学习的投入超过了预训练,以及为什么西方需要自己的开源权重。
35:39EN → 简体中文算力涨了百万倍,带宽只涨 40 倍,Fractile 想修正这个比例主持 Sarah Guo, Elad Gil2022 年夏天,Walter Goodwin 在伦敦创办 Fractile,目标是为全球最大的模型打造速度极快的推理(inference)芯片。