评测的保质期只有三个月，就算前沿模型停止进步，也够创业公司再做十年

Jacob Efron 介绍 Michelle Pokrass 时说，她是 GPT-4.1 背后的后训练研究负责人，帮助 OpenAI 的模型在开发者场景中变得好用得多。这个模型上线才几周，“为真实使用而做，不靠基准测试”的说法已经在推特上传开了。Pokrass 用一句话说明目标：做出开发者用起来很开心的模型。包括 OpenAI 在内的各家实验室，推出的模型在测试中往往表现亮眼，但到了指令遵循、输出格式古怪，或者上下文窗口（context window）太短没法用的地方，还是会栽跟头。

做法是先听开发者一直在要什么，再把这些反馈变成研究人员真正能逐步优化的评测。在任何人开始训练模型之前，团队有一段很长的准备期，用 Pokrass 的话说，就是“把评测这摊事理顺”，同时找出最大的失败点。团队内部有一个指令遵循评测，依据是真实的 API 使用情况和用户的反馈，它成了整个项目的北极星指标。GPT-4.1 以三个版本一起发布，都面向开发者：标准版、mini 和 nano。重点放在指令遵循、长上下文和代码上，并没有为了公开榜单的分数去炫耀。

Pokrass 说，客户不会带着一百个现成的评测来让团队修。他们只会说某个使用场景感觉怪怪的，团队就得把背后的问题挖出来，写出提示词，再把问题复现出来。反复出现的主题，会变成训练目标。最近的一个例子是，有位用户需要模型忽略它对世界的全部已知信息，只依据上下文里的内容作答。MMLU 和 GPQA 的题目都测不到这一点，但对那位客户来说，这恰恰就是全部的关键。信号来自外部用户的抱怨、团队成员自己使用模型的体验，以及在 API 上做产品的内部客户。

她一直在要更多评测。OpenAI 有一个产品，开发者可以自愿分享评测数据，以此换取免费的推理额度。她最想要的是真实场景下的长上下文测试：合成的邮件可以覆盖某个细分场景，但回答不了长上下文整体上是否管用。她也想要更好的指令遵循评测。她说，指令遵循是机器学习里最难定义的东西之一。用户说模型没有遵循指令时，可能指的是几百种不同的情况。

内测又提醒了团队：没有哪个模型能让所有人满意。有一位客户明确表示，他更喜欢 4.1 的第一个检查点，没有选择最终发布的第四个。据 Pokrass 说，他是唯一有这种感受的用户；在这两个检查点之间，每一项评测的数字都是往上走的。团队除了一个没有任何评测覆盖的小众用例，没有找到别的原因。她说，如果想覆盖更多用户，她仍然会靠指令遵循、提示词和微调来做。在实际使用中，她喜欢大家正在做的那些界面，前端和代码质量是后期专门改进的，她也喜欢 nano。Box 上线了一个能读取 17 页文档的功能，Aaron Levie 在推特上说，核心产品有了明显提升。nano 的假设是，又便宜又快的模型能带来更多采用。她说，在成本与延迟曲线的每一个点上，都存在需求。

发布这一整个系列需要一支大团队。三个尺寸都算是半新的预训练：大模型是一次“中期训练”，属于新鲜度更新，mini 和 nano 则是全新的预训练模型。她的团队负责后训练，包括数据配比、强化学习参数和奖励权重。团队在注意到开发者对 GPT-4o 的不满之后，先花了大约三个月做评测，接着是三个月的密集实验，最后用大约一个月做内测，一边快速训练，一边吸收反馈。被问到这些评测是否仍是值得攻克的目标，她说，评测的保质期大约是三个月。进展太快，指标很快就饱和了。团队还在不断寻找新的评测，她预计这种情况会一直持续下去。

指令遵循和长上下文都会帮助智能体，所以 Efron 接着问：4.1 之后，这个领域究竟到了哪一步。Pokrass 的说法很直接：在范围清楚的领域里，只要工具到位、用户想要什么也比较明确，智能体就已经能干得相当好。剩下的差距在于模糊而杂乱的现实世界。用户在客服框里输入内容时，并不知道智能体能做什么；智能体可能也不清楚自己有哪些能力；它还可能和真实世界的连接不够紧密，所以不知道某个必要的事实。很多能力其实已经具备，难的是把上下文送进模型里。

歧义是另一个产品问题。开发者应该能调节模型是先追问更多信息，还是按自己的假设直接往下做。一个动不动就回头问“你确定吗”的模型，烦人程度堪比刚来的实习生。团队在研究外部的函数调用和智能体工具使用基准时，发现大多数“失败”其实是判分错误、题目本身有歧义，或者用户模拟器没有按指令来。她说，团队很难找到模型真的做错了事的案例。这类案例确实存在，但大多数测试集看上去都已经饱和了。

较长、多步骤的任务，两边都要下功夫。工程上，需要能让人跟进进度、阅读摘要、并在中途介入改变执行轨迹的 API 和界面。Operator 已经具备这种引导能力，但 API 的大部分还没有。模型这边则需要在出错时保持稳健：比如上游返回 500 错误，智能体不应该因此卡住。她还提到，要在训练中培养更多“韧劲”（grit）。她预计未来六到十二个月里，会有更多工具和更多上下文接入进来。Deep Research 和 Operator 都是从零到一的产品，它们在某个特定工具上对模型做了深度强化学习。她说，o3 展示了另一条路：训练模型擅长各类工具，学会一组工具之后，其他工具也会受益。她预计以后不会再有太多针对单一工具的训练。编程智能体已经快到了，SWE-bench 上的成绩已经超过不少人类。她个人认为，客户支持这类长流程其实已经在 o3 里了，因为开发者指定的工具就放在思维链之中。剩下要做的，是把这些能力接成一个连贯的产品。

4.1 最明显的一些进步体现在代码上。局部范围内的工作，比如修改某个库、相关文件彼此相邻的情况，4.1 和 OpenAI 的其他一些模型已经做得非常好。团队仍然会漏掉的 SWE-bench 任务，往往需要全局上下文，需要跨仓库多个部分进行推理，或者需要把某个文件里极其技术性的细节传递到另一个文件里。这些才是他们还在攻克的难题。前端编程改进很大，但她的标准更高：模型不仅要做出漂亮的界面，还要做到“前端工程师看了会感到自豪”。Lint 和代码风格依然是重点关注的方向，只改用户要求改的部分，同样是重点。在内部评测中，无关编辑从 GPT-4o 的 9% 降到了 4.1 的 2%。2% 也不算零。

她现在管理一个团队，写代码少了，但她仍然会用 Codex，也还在用 GitHub Copilot，偶尔也试试 Windsurf 和 Cursor。她在 Codex 里主要用 o4-mini，因为快。在公开榜单上，她仍然为 SWE-bench 辩护：一个模型拿到 55%，另一个只有 35%，差距大得惊人。Aider 的评测依然有用，完全饱和的测试集则没有用了。你要在评测的寿命期内把它用好，然后再写下一个；SWE-bench 也会有后继者。这个三个月的保质期，在代码领域和其他领域里是同样的约束。

如果理念是 AGI 里的那个 G，代表通用，那为什么还要专门做一个只面向开发者的模型？她说，理想情况下，OpenAI 应该押注一个通用模型，精简产品线，也精简 ChatGPT 的模型选择器。4.1 是个例外：需求很迫切，而且与 ChatGPT 解耦之后，团队可以按自己的节奏训练、收集反馈和发布。这也让他们去掉了一些 ChatGPT 专用的数据，并大幅提高了编程数据的权重。如果需求有这个信号，将来还可以为某类用户把模型单独拆出来发布（eject and ship）。总体上，她预计会朝精简的方向走，因为研究精力都放在模型本身上，模型才会变得更好，而不是放在某个 API 子团队上。

新模型大约每个月就会出一批。她说，能跟上节奏的创业公司，都清楚自己的使用场景，有好的评测，并且在新检查点发布的那天花一个小时把它跑一遍。它们还会针对每个模型重新调整提示词和脚手架。她建议留一批任务：十次里只能成功一次，但你希望它能成功九次。这样，新模型一发布，你就是第一批用上的人。她判断“刚好够不着”的一个标准是：通过率 10%、但能微调到 50% 的任务，还不能直接上产品，不过已经站在临界点上，几个月后的模型很可能会轻松碾压它。脚手架值得搭，因为创业公司的任务就是把价值交付出去。这相当于几个月的套利窗口，前提是你要持续关注趋势。上下文窗口、推理能力和指令遵循都会继续提升。在 4.1 上，在提示词里把同一条指令重复五遍，已经没有必要了。如果一定要做，就先做检索增强生成（RAG），但要随时准备把它拆掉。

多模态是 4.1 中讨论得不够多的部分。这要归功于预训练团队：GPT-4o 上不管用的东西，现在已经能用了。即使今天的效果一般，也要尽量把更多任务信息接给模型，因为明天它会更好。微调在经历一段怀疑期之后，她现在把它分成两类。监督微调（SFT）的主要用处是速度：用 4.1 的质量，换来低得多的延迟。SFT 或许能在非常小众的领域里换来前沿级的表现；强化微调则真的能推动你所在领域的前沿，而且数据效率很高，一百来条样本就够。RFT 的正式版本随后一周全面上线。它和 OpenAI 内部使用的是同一套强化学习流程，比 SFT 更稳健，也没那么脆弱。偏好微调适合用来调风格。SFT 适合补简单的缺口：比如 nano 的分类错误率是 10%，那就把这个缺口补上。如果市面上没有哪个模型能完成任务，就转向 RFT。她举的例子是芯片设计、生物学和药物发现，这些领域需要探索，但成功与否可以验证。她也提醒，以十年为周期的临床研发循环，需要中间奖励。

她仍然押注泛化能力，而不是一堆生物学或机器人基础模型。在内部，把所有东西合在一起，效果会好得多；机器人方面则要靠实测来定论。在选择器消失之前，她的决策树很务实。在 ChatGPT 里，她是重度用户：默认用 GPT-4o，写作和创意工作用 GPT-4.5，最难的数学题和报税用 o3。Efron 还没到报税这一步；她说明年还会自己报一次，并请 CPA 再核对一遍。对开发者，她的建议是：先从 4.1 开始；需要更快时降到 mini，再到 nano，并加上微调来提速；当 4.1 推理深度不够时，换用 o4-mini，再不行就用 o3；如果这些都还失败，就用 o4-mini 做 RFT。真正让 4.1 效果变好的，有两个提示词技巧：一是把提示词结构化，尤其是用 XML 标签；二是告诉模型一直做下去，问题解决之前不要中途停下。第二条，他们希望在训练中把它去掉。后训练对数据配比很敏感，所以他们训练了大约十二种 diff 格式，让从不读文档的开发者也能拿到一个可以用的模型。

她最喜欢的开发者，会把一个评测拆成子组件：比如模型选对 SQL 表的能力提升了某个百分比，选对列的能力却下降了另一个百分比。细粒度加上模块化的系统，前期更慢，后期更快。至于 AI 应用公司该配什么样的人，她说自己“非常看多通才”，也就是懂产品、能拼、什么都能干的工程师。比起一摞只会发论文的博士，她更看好一支黑客式的团队。她最感兴趣的研究，是用模型让模型变得更好，尤其是那些能告诉你训练是否走在正轨上的强化学习信号。她还关心如何提高迭代速度：用最少的 GPU 启动一个任务，第二天早上就能知道它是否成功。这属于基础设施和机器学习的范畴；实验需要足够大的规模，才能产生有效的信号。她说，合成数据已经表现得非常好。每一个更强的模型，都让下一个模型更容易改进。

Efron 直接抛出能力冗余的问题：如果模型进步现在停下，是否仍有大量价值可以挖掘？她的回答是肯定的。互联网的能力冗余还没有用饱和，互联网仍在吞噬世界。AI 甚至还没有把 GPT-3.5 Turbo 的能力用饱和，仍然有只需要这个水平就能成立的十亿美元级公司。加上 4.1 和推理模型，就算进步真的停下，她认为至少还有十年可以建设。Sam Altman 此前预告过，GPT-5 会是一个合并的模型家族。GPT-5 真正的后训练难题，是把一个类似 4o 的对话者（大多数 ChatGPT 用户都在用它，看中语气、风格，以及一个可以商量事情的对象），和 o3 那种努力思考的习惯混合在一起。别人只是说一声“嗨”，你可不希望它想上五分钟。4.1 已经做过此消彼长的配比选择：降低聊天数据的权重，以提高代码数据的权重。至于个性，她没那么担心：增强的记忆功能已经让她的 ChatGPT 和妈妈、丈夫的不一样，而通过自定义指令进行控制，应该能让人们调出想要的语气。

她在 OpenAI 待了两年半。她是从 API 工程岗位进入公司的，此前在 Coinbase 工作，做过高频、低延迟的交易系统。她大学里学过 AI，也用过 OpenAI Gym。做了一年半工程之后，她转向了模型方向，因为开发者一直在要结构化输出之类的功能，那是她第一次尝试做研究。之后她组建了团队、转入研究，最近又把团队的定位改成围绕重度用户。这里的重度用户，不只是最挑剔的 API 开发者，还包括 ChatGPT 免费版、Plus 版和 Pro 版的重度用户。更名的用意是：今天重度用户做的事情，正是一年后普通用户会做的事情。公司变大了，你没法再盯住每一个酷炫项目的进展。但她说，发布节奏还是一样快。

在快问快答环节，她认为基准测试被过度炒作了：很多智能体类基准已经饱和，厂商发布的往往是最好情况下的数字；而真实使用场景下的评测，则被低估了。她改变看法的地方是微调。她以前看空微调，因为它看起来只是几个月的套利；但在必须推动前沿的领域，RFT 是值得用的，因为它很接近他们实际的训练方式。今年模型的进展，她预计和去年差不多：不会放慢，也不会突然起飞，但依然很快，而且会有很多模型。在 OpenAI 之外，她喜欢那些把 AI 带出纯数字世界的产品，最近提到的是 Levels 和 Whoop。如果有人在使用中发现某个提示词表现不对，她请大家去看 4.1 的博客文章，也可以通过推特或邮件联系她，邮箱是名字加上 OpenAI 的域名。