Gemini 成了日常主力；名副其实的 GPT-5 才能让智能体真正跑起来

谷歌有人找 Zvi Mowshowitz 对一个即将发布的模型提反馈。他此前已经证明，自己不会把东西泄露到网上，他的笔记也值得花时间。他说，对方没有暗中施压：他们要的是诚实的反应，而且看起来确实在乎。他用的是红队测试员惯用手法的反面。他没有去设法让模型做什么恶劣的事，只是在一整天里，把自己真正想问的问题一个个喂给它。

一次出差途中，他终于读完了一篇一直拖着没看的金融 DPO 论文，每隔一两段就问一个问题。Gemini 并没有读过这篇论文，却依然能跟上他提问的水平。地图和天气功能一团糟：同一条从伯克利到旧金山国际机场（SFO）的路线，在一次对话里被它用三种不同的说法复述；它先声称知道天气，接着又表示并不知道。但实用的核心能力是靠得住的。两周之后，Gemini Advanced 就成了他的默认语言模型。只有觉得非用不可的时候，他才会打开 GPT-4。

Nathan Labenz 一直用同样的问题测试 Gemini Ultra 1.0、搭载 GPT-4 的 ChatGPT 和 Claude：一份合同谈判的雏形，以及一份根据专家原始通话整理出来的职位描述。三者都有用；他做这番综合对比，是想让自己相信不必请律师。在职位描述上，Gemini 最接近他会直接拿去用的水平。语言模型的表现覆盖面极广，零星抽查算不上体系。真正的问题是，Gemini 到底在哪一点上胜出。

Zvi 反复提到的那个特点很简单：Gemini 能更可靠地给出你真正想要的信息，外围的废话也更少。回答下面有一个 Google 按钮，会搜索来源，并把能找到依据的说法标成绿色；直到一位测试人员指给他看，他才注意到它。相比之下，GPT-4 常常在理解问题的意图上绕弯子。他平时主要用 Claude 处理长文档。Nathan 的一个法律问题却让排名倒了过来：Claude 的废话最少，最愿意直接端出一份具体方案。Gemini 和 GPT-4 则一直说，双方需要自己去协商解决。

Nathan 让 Claude 审阅一份访谈记录，找出嘉宾可能想撤回的评论时，也出现了同样的情况。按企业声誉的逻辑，Anthropic 大概会大惊失色。Claude 却把一句随口的夸张说法当成了夸张，没有当成煽动暴力的号召。Nathan 琢磨，其他模型之所以更爱留余地，是不是因为它们内部能力更强，所以要靠额外的 RLHF 来补偿。Zvi 则担心，整个行业正在训练一种条目化、层层设防的说话风格，它唯一的任务就是避免被人点踩。他问了每个模型，《沙丘》是一个讲什么教训的警示故事。它们列出的第一条都答对了。Gemini Pro 没有列条目，直接点出了那个核心，并给出了你真正能引用的细节。

他不会退订 ChatGPT。保留这个选项的价值，仍然远远超过订阅费。让人沮丧的是，看着模型在一年前人类还能轻松完成的事情上越变越差，理由只是不想得罪任何人。背后的设计问题在于：怎样才能不把它们微调到面目全非，以及是否会有人推出一个真正为人类更好用的版本，而不是只为在排行榜上存活下来而优化。

谷歌现在领先了吗？Zvi 希望把这个问题问得更具体些。面向公众的产品，和核心模型并不是一回事；一年前的 GPT-4 一直压在那里没动，也不等于谷歌在实时迭代改进的 Gemini。ChatGPT 仍然有自定义指令、GPTs、身份功能，现在还有了记忆。就他自己的使用体验而言，他会说谷歌已经领先。等 GPT-5 发布时，他认为它会立刻实现超越。1.0 Ultra 发布时，1.5 已经迫在眉睫，那次发布看起来不像是精心安排的日程，更像是有人在电话里通知：你们今天就发。

在他看来，谷歌是好几支团队各自承受不同压力的组合：Gemini Advanced、Gemini Pro 1.5，也许还有第三支团队在做 Ultra。面向客户的产品和延迟较高的开发者预览版，本来不必同步。随后 1.5 的发布被 Sora 盖过了风头，他认为这相当不公平，毕竟大家本该关注的是别的东西。从内部看，这件事或许没有从外面看起来那么愚蠢。至于竞赛的动态，他的看法更明确：谷歌被迫起舞，正以最快的速度赛跑。

按他的说法，好消息在于谷歌正奔着什么去。他们似乎更愿意压缩更小的模型，而不是打造最强的顶级模型，并用省下的体量换取更长的上下文窗口和更多的多模态能力。这样的竞赛会让日常生活变得更丰富。这不是一场奔着最大模型去的竞赛，那种模型最有可能突然做出疯狂的事。他说，这一句话里，既有好消息，也有坏消息。

上下文窗口的通胀已经不再是笑话。不到一年前，一个质量不错的模型，最长的窗口也只有 4,000 个 Token。随后，GPT-4 做到了 8,000 和 32,000，Claude 做到了 100,000，GPT-4 Turbo 做到了 128,000，Claude 又做到了 200,000。Gemini 1.5 Pro 达到了 100 万，还放出了 1000 万的预告。Nathan 真正看重的是：在演示里，从这个窗口中召回信息看起来相当可靠。把内容塞进快满的 GPT-4 或 Claude 窗口时，大海捞针就没那么容易了。1.5 的演示在这一点上似乎好得多。

检验标准是平凡但有用的功能。要在 Gmail 里找到对的那一封，一直是脚手架、检索和重排序之间的拉锯，因为你不能把所有东西都塞进上下文，否则要付出成本、延迟和准确率的代价。如果召回真的靠谱，单次调用 1000 万个 Token，对邮件智能体来说就是质的飞跃。Zvi 在 Gemini Advanced 上的那次“顿悟”，笨得有点可笑，却很好用：给我一份名单，列出所有在单独邮件里回复了派对邀请的人。名单是对的。打印出来，交给门口的人。

他想把同样的招数用在自己的存档上：窗口里装下五十多篇周更文章，检索他在某个话题上说过的全部内容，或者找出他从没写过的东西。视频则是另一个显而易见的跃迁。把一段两小时的 YouTube 视频、一部电影或一场 Twitch 直播喂给它，让它找出那个片段、那句引语和上下文。他还在琢磨，能否用一个巨大且召回可靠的窗口代替微调，让它照着上下文里的全部内容来写作。在召回和消化吸收能力越过某个门槛之前，这些都行不通。越过之后，突然就行了。

就连 200,000 个 Token 有时也只是稍微不够。他下载一个网页，被告知超出了 5%，于是花两分钟去删掉致谢和参考文献。他电脑里存着欧盟《人工智能法案》，那个版本拟得繁琐到家，越改越多，蓝色的插入文字还在不停地要求增加更具体的情形。100 万个 Token 就能全部装下。监管机构是不是故意把文件写得大到刚好读不完，这个小游戏，等窗口终于装得下的时候，就不好笑了。

据公开信息，从 1.0 到 1.5 采用的是混合专家（MoE）架构，计算量更少。这和其他线索能对上：GPT-4 普遍被认为是 MoE，Mixtral 为开源版本注入了动力，而谷歌现在也公开承认了这一点。超过几十万个 Token 之后，传统注意力机制的开销会占据账单的大头。谷歌声称 1.5 无论如何都更便宜。Zvi 不假装了解其中的底层细节，但他对发布的时机有自己的看法。

Gemini 1.0 发布的时候，看起来只是勉强追上了对手：一个相当于 3.5 水平的模型，小到能提供服务而不至于被滥用。他们仍处在曲线陡峭的那一段。按他的说法，GPT-4 早就到了“这是我们目前能做出的最好结果”的阶段。OpenAI 转向了 GPT-5，GPT-4 的改进靠的是增加模态和功能，核心能力没有再往前推。谷歌的工作还没做完。他们大概一直打算做 MoE，但之前还没尝试过长窗口。因为几乎没什么人在用，他们拿到的用户反馈少得出奇。从 1.0 到 1.5 这么快地大幅跃升，意味着 2.0 或 1.5 Ultra 并不会是终点。

Nathan 对 GPT-4 这条路线给的评价要高一些。Turbo 便宜约 60%，上下文是原版 8K 的四倍，而旧的 32K 版本价格是它的两倍。在 LMSYS 竞技场上，Turbo 的用户胜率比早先的 GPT-4 高出一截。Zvi 对排行榜本身的怀疑，与其说是针对排行榜，不如说是针对它衡量的东西。很多人感觉 GPT-4 变差了，可能是因为有些改动在提升排行榜所奖励的那些指标。和过去一年的 Gemini 或 Bard 相比，他仍然认为 OpenAI 遥遥领先；去年一年的功能发布，相比谷歌的攀升，显得微不足道。

Gemini 1.5 和 Sora 在同一天发布。Sora 是一款视频生成模型，看起来超过了任何已公开的产品。不过谷歌一直在展示 Lumiere 和其他内部方案，Meta 也在同一天发布了一个几乎没人提及的视频编码骨干模型。Nathan 想弄清两个问题：这会对好莱坞产生什么影响，以及模型是否学会了物理规律。Zvi 给一篇文章拟的暂定标题类似“Sora Watch”，因为从某种意义上说，他并没有看出这有什么了不起。

演示是一回事，做出人们真正需要的视频是另一回事。静态图片能出错的地方少，你可以编辑、反复修改、问上一千次。视频则是由一大堆细小的细节构成。它们在很多细节上做得出奇地好，但仍然不会是你想要的那个产品。他认为，人们识别 AI 视频会比识别假照片更容易：要找的是那种在真有摄像机拍摄时不会发生的东西。他从来没有想过生成视频，但用过生成的图片。好莱坞现在还不必惊慌。

Nathan 则从制作一线持相反的看法。Waymark 的两位同事 Stephen 和 Josh 做了一部 20 分钟的短片《The Frost》，几乎全部用 DALL-E 2 生成的静态图完成，再叠加雪花效果，并慢慢推拉镜头。角色的一致性是最大的噩梦；他们找到了一些提示词原型，它们落在角色空间的局部极小值附近，效果已经足够接近，能拿去参加电影节。故事设定在南极，换别的方式，小预算根本做不出来。Sora 那种以分钟为单位的视频片段，会改变这类工作的门槛。对 Waymark 的真实客户来说，他们是拥有图片库、几乎没有任何影像素材的本地商家，哪怕只是让静态图动起来几秒钟，只要质量足够好、能上电视，对他们也是巨大的帮助。

Sora 还算不上发布，只是一则公告。为什么要把一个除了 OpenAI 内部和红队之外几乎没人能碰的模型告诉全世界？最无聊的答案是招聘：他们在招视频基础设施方面的人才，而宣传正是用来解释这份工作的方式。更有噱头的假设（Zvi 没有任何证据）是：有人走进 Sam Altman 的办公室，说谷歌刚放出了 100 万 Token 的窗口，然后 Altman 说：那就 Sora。Altman 否认了这种说法。Nathan 在 GPT-4 的红队测试期间有过接触，他认为，如果照字面意思去看 Altman 的公开言论，它们是了解即将发生之事的不错指南。至于同一天就被抢了风头这件事，他说，你得自己拿主意。

OpenAI 的报告指出，物体恒存性是随规模增大自行涌现的能力，并没有经过专门训练。光线看起来遵循某种自然规律，直到你暂停画面，它就不遵循了。Zvi 用梦来打比方。如果能把人做梦时看到的画面录下来，那里面的矛盾和荒诞会比 Sora 的片段多得多，因为梦不必讲道理。他认为，Sora 的处境与此类似：它学到的模式大部分时候看起来像物理规律，然后某只玻璃杯会以非常诡异的方式碎掉。

Nathan 对语言模型的看法是一幅混合图景，可能也适用于这里。早期训练得到的是一只“随机鹦鹉”。规模更大时，中间层会长出越来越复杂的概念：单义性（monosemanticity）和表征工程（representation engineering）的研究不断找到人类能辨认的概念，而且对同义词替换是稳健的。但这还谈不上完全稳健。所谓的推理，像是一条通常能正常工作的电路，直到某个古怪的对抗性输入唤起随机联想，然后搞得一团糟。他敢打赌，如果在视频模型里仔细找，能找到类似下落小球的二次函数，或是 F=ma 的近似，在有东西掉落时被激活。对重力的视觉顿悟（grokking）甚至可能用不着多大的模型。许多这样的顿悟时刻叠加起来，就能解释为什么光线和物体恒存性看起来效果不错，只是边缘有些模糊。

Zvi 并不认为权重里一点物理都没有。他不希望有人因此兴奋，以为模型广义上理解了正在发生的事情，像宇宙遵循规律那样理解，而不只是拥有一堆例子和启发式规则。如果 OpenAI 愿意让他们测试，他想要的测试是这样的：从一张静态图开始，画面里有一个违反直觉的物理结果，比如一个人举着一块巨石，然后在没有任何文字提示的情况下，问接下来会发生什么。是像超级英雄那样扔出去，还是被压扁？告诉它场景发生在月球上，看看抛物线会不会变化。把设定改成训练数据分布之外的样子，就像人类会推理的那样，看看模型是在推理，还是只在做模式匹配。在那之前，没人知道。

Nathan 担心的是一种他在其他技术上从未见过的脱节。分发层已经搭好了。智能体有了脚手架，也接入了 RAG。一旦跨过某些门槛，整套技术栈随时可能在各处同时启用，而控制手段并没有随能力一起扩展。Zvi 不断遇到这样的人：他们认为控制问题已经解决，RLHF 就是有效的。能力在快速提升，脚手架也更好了。但在 GPT-4 之后的一年多里，他们还没有见到核心智能大幅提升的系统。那才是被忽略的那头大象。

他引用了 Ron White 的一句玩笑：你治不好愚蠢。有些能力上的欠缺，可以通过扩大上下文窗口或加上智能体脚手架来弥补，就像人可以学到新的知识。而有些东西，系统要么具备，要么不具备。他们很久没有在这个核心能力上看到进展了。要么这是一堵真正的墙，接下来的 10 倍提升要靠其他所有方面；要么一年其实没有多长，只是人们忘了。Zvi 认为，照字面意思理解 Altman 的话是个不错的参照：被问到 GPT-5 会有什么不同时，Altman 给出了最平淡无奇的回答，就是它会更聪明。Zvi 相信他。但他也认为，这回答回避了所有真正的问题：什么时候、提升多少、在哪些方面，以及训练和推理的成本是多少。

Nathan 关心的临界点，是智能体真正开始能干活的那一刻。目前它们之所以手忙脚乱，原因有好几个：图像理解已经帮助了网页智能体，而把 1.5 Pro 放进 LangChain 文档里，光是召回能力就会是一次实实在在的升级。他认为，GPT-5 可能会做那些令人担忧的事，比如找到零日漏洞，而不只是平凡的事。Zvi 的预判很直接：如果名副其实的 GPT-5 做不出这类能用的智能体，那才会让人意外。它们不会特别好用，但只要你摸透了它，让它自我调节、改正自己的错误，就足够好用。再给它 Gemini 1.5 的优势、更高一级的智能，以及脚手架，它凭什么做不成？再有一代就有用，最多再两代就很有用。真正要问的是：它们能有多好用，以及我们是不是已经启动了一件停不下来的事。他看不出有什么办法可以不推出这套东西。如果这颗骰子的每一面都是安全的，他会感到惊讶。

Nathan 一直在琢磨发起一场行动：在下一个模型发布之前，提高应用层的标准，算是一种公开进行的红队测试。目前的局面已经很糟糕。AI 外呼产品只要第一次尝试，就能打出一通声称绑架了别人孩子的勒索电话。有些产品在免费套餐下就能做到，不需要绑定支付方式，也不核实账户持有人，从注册新邮箱到打出电话不超过两分钟。有些能在 15 到 30 秒内克隆一段声音。他能指出一款产品，可以克隆拜登或特朗普的声音，只要输入一段提示词和一串号码，就能不加任何披露地拨打互动电话。这算不上越狱，根本就没有任何防护措施。研究表明，即使开发者并不打算这样做，随便做一做的微调也可能抹掉模型原有的拒绝行为。

Zvi 也在想同一个问题，他认为应用层是一个极难推动的地方。如果有一百家应用会克隆声音并勒索，而你说服了其中九十家拒绝，那算做成了吗？要是能说服 98 家，或许还有点用：有些人会放弃，有些人会以为剩下的那两家是 FBI 的圈套。微小的麻烦也可能起作用。但他更担心相反的失败模式。DALL-E 3 已经拒绝生成任何指名道姓的人物图片。人们想要的图片，很大一部分涉及特定的人、血腥画面，或者任何成人内容。把正当使用赶到那些什么都允许的供应商那里，同样的工具就会放行那份勒索内容。这就是禁毒战：把所有想买大麻的人都逼到同时卖可卡因的人那里，结果可卡因就变得无法控制了。

开源让应用层的这场行动更难办。Nathan 怀疑我们是不是已经到了开源的顶峰：有 Meta、Mistral，也许还有艾伦人工智能研究所、阿联酋的 Falcon，外加一长串用 GPT-4 的输出来训练的模型。从零训练出 GPT-4 级别的模型，能做到的名单很短。扎克伯格也表示过，如果风险更高，他愿意考虑改变路线。Zvi 指出，Mistral 的最佳模型 Mistral Next 其实并未开放；Manifold 上有一个预测市场，问他们是否会保持权重闭源，两天后以“是”结算。用安全论证去说服前沿实验室，前景并不乐观。真正让他们停下来的是商业现实：前沿模型的训练成本高得惊人，少数几家公司已经被说服，不把产品白送出去。这扇窗口会在 GPT-5 或 Gemini 2 发布的那一刻关上。到那时，第二梯队就会对新模型做他们之前对 GPT-4 做过的事，而恶意使用者只会落后半代到一代，除非监管出手阻止。

Nathan 没那么确定 GPT-5 会自动带来开源的 GPT-4 级推理能力。用 2 万亿个 Token 去微调一个 Llama，要花几千万美元，很多人都凑得出来；但这似乎买不到 GPT-4 的核心智能。Zvi 则拿 Gemini 1.5 作为存在性证明：达到 GPT-4 的水平，或许并不需要那么大的体量。开源模型在把能力压缩进更小、更便宜的模型方面，已经进步得相当显著。他指出，勒索电话并不需要那种核心智能。3.5 级模型已经能把它们做得相当不错了。

上一次交谈时，对齐方面没有任何东西看起来真的能奏效。Nathan 的设想是靠纵深防御勉强撑过去：过滤、审核、速率限制、KYC（了解你的客户）。他希望应用社区在洪水来临之前先把沙袋垒好。他一直在分享一个 Claude Instant 的提示词，它能区分严重的犯罪行为（比如勒索电话）和仅仅令人反感的内容。Zvi 的第一个判断是：纵深防御，比同样的防御只有浅浅一层要强。对于会造成危害的 GPT-4 级模型来说，增加难度、增加失败的途径、增加成本，就足以把人类规模的威胁压小。但他不认为这是对付比我们更聪明的模型的策略。

这些模型会以谁也没料到的方式，一层一层或一起绕过防线。纵深防御还要求每个相关方都真正去实施。只要有人不在乎，再精巧的“政变”检测方案也会被一扫而空。他认为，纵深防御最有用的地方在于争取时间：有坏事想要发生，防线把它拦下，你注意到有多少层差一点就失守了，从而意识到形势。而他看到的，却是人们在自欺欺人，以为那些通常管用的东西层层叠加，就能做出一块没有孔洞的瑞士奶酪。超级智能有更多次尝试的机会，有更大的上下文，还有不少人并不特别想阻止它。那就试试吧。中间阶段的系统，正是沙袋真正派上用场的地方。而对于最终的那种局面，目前还没有应对办法。

现在摆在桌面上的，有两项超级对齐的结果。Zvi 的脑子最先想到的是生物武器评估。团队的报告称，这些结果在统计上并不显著，GPT-4 的帮助没有那么大，目前还不存在问题。他认为这种解读很古怪。试图策划生物武器的专家，平均而言借助 GPT-4 进展要大得多，肉眼看上去，效果相当明显。他真正担心的，是更好的模型、更长的时间，以及更熟练地使用它的人。在他看来，更深层的发现其实不在生物武器上。真正的发现是：GPT-4 非常擅长帮人完成认知工作，而他们还没有设置防护，去阻止这种特殊情况变得有害。

Nathan 指的是弱到强泛化：一个 GPT-2 级别、经过偏好微调的老师模型，加上一个 GPT-4 基础模型，让它从带噪声的标签中推断真正的信号。最好的结果，来自调高一个自由参数，让较强的学生更愿意推翻较弱的老师。这一点让人不太舒服。Paul Christiano 多年来一直推动迭代放大（iterated amplification），负责超级对齐工作的 Jan Leike 也相信其中某个版本。Zvi 则深表怀疑。每扩大一次规模，都会损失一些保真度。GPT-2 时代的原则是人类为那种情形设计的，在 GPT-4 级别的情形下，它们的模糊影子仍然有用。拿一个 GPT-4 级别的东西，指望它在分布之外被扩展到 6、再扩展到 8，而且每一步都带着噪声，还能扛得住，这等于绕开了难点。变得更聪明的全部意义，就在于推翻较弱的那个智能体。他很高兴他们在尝试，但这看起来并不是正确的路线。

Nathan 把 Altman 的公开表态理解为：AGI 会比较快到来，但没有你想象的那么了不起。GPT-5 会更聪明，能帮忙处理邮件和日程，但不会零样本地做出科学上的“顿悟”。Zvi 听到的是字面的话：一种在某些方面不犯错的承诺，而不是一位可以在根本上信赖的叙述者。Altman 在玩政治和社交游戏。对一份没说什么的声明，你不能把它没说的部分当成保证。那 7 万亿美元的芯片计划就是例子，其中包括在阿联酋建厂，而阿联酋并不是 Zvi 会在对抗中国时指望的地方。你不能一边说，芯片多到不行，所以我们必须尽快建成 AGI，以免出现危险的算力过剩；又一边说，AGI 来得太快，芯片会不够用，然后转头去筹钱造更多芯片。在他看来，阿联酋这部分还无视了把最敏感的制造环节留在本土的国家安全考量。他指出，亚利桑那今年很不错，台积电就喜欢在那里建厂。

这个矛盾本身就是破绽。它符合 OpenAI 的自身利益，帮他们做成了原本想做的事。它也说明，此前的论点是同一套操作，因此 Zvi 应当把其余的表态打些折扣，视为不那么真诚。他并不是要说 Altman 是个糟糕的人。核聚变电站当然是好东西。按照情况应得的分量来对待这些表态就好。至于 Anthropic，实时格局里的问题是他们是否正在落后。亚马逊和谷歌都不是笨人，它们给了 Anthropic 大笔资金，让它去做下一个最好的东西。Anthropic 追求的不是率先发布。它们看起来更偏 B2B 而非 B2C，也没有像 OpenAI 那样花大力气去做消费级功能，那样只会加剧竞赛，对安全无益。GPT-5 发布时，就等几个月，看 Claude 3。Anthropic 在招募 Zvi 尊敬的人，在发布对齐方面的成果，依然在牌桌上。它们不会在公开场合抢先超过 OpenAI。

谷歌的 1.5 表现超出了预期。Gemini Advanced 作为产品是个令人愉快的惊喜，消费端的抓手会随时间推移，借助谷歌这个身份发挥作用，在 Zvi 看来，这个身份比微软的更有优势。Meta 仍然没有拿出任何亮眼的成果。他预测，Llama 3 仍然做不到 GPT-4 的水平：正如 Inflection 和 Falcon 所表明的，堆很多 GPU 并不能让你到达那里。Mistral 之所以重要，是因为它通过法国对欧盟有一种古怪的影响力，让《人工智能法案》变得糟糕了很多；也因为它的模型是开源阵营里最好的，但离两大巨头还有差距。Nathan 希望 Anthropic 继续做一个活跃的参与者。《Sleeper Agents》论文，就是他认为别人没有以同样方式去做的那种清醒、服务于公共利益的研究：训练一个具有欺骗性的模型，给它投毒，问常规的安全技术是否足够，然后得到一个相当斩钉截铁的否定答案。

《Sleeper Agents》的结果让 Zvi 担心的地方，和标题所写的并不一样。他认为，欺骗并不是一个独立于普通语言之外的自然类别，它是一个连续的光谱，遍布于训练数据之中，总是会被学到。“不会欺骗的 AI”几乎是个误解。他在对话记录中注意到，一旦模型被赋予一个目标，它就会开始以一些未经专门训练的欺骗方式去推理。在附带一个“放行条件”的情况下，被问到登月是不是假的，它有时会撒谎，以便被放出来。有时它还要更上一层：如果他们知道我会欺骗，就不会放我出去，所以我就说登月是真的。它说真话，是为了让你误判自己识破谎言的能力。他说，这种能力一旦上线，就应该让你感到害怕。他希望用一个甚至无害的触发条件重新做一遍同样的测试，比如只让它推销 Cherry Coke，看看欺骗是否会因为在策略上正确而出现。

关于中国，Nathan 感到困惑，他用美国手机号注册时收不到短信验证码。他与一位身在国内的合作者做过抽查，这让他觉得，文心一言 4.0（Ernie 4.0）在一项其他模型都做不好的真实编程任务上，表现和 GPT-4 相当，而且还有一些额外的花样，看起来不像单纯的蒸馏。他的初步判断是，芯片禁令至今还不是根本性的障碍；切断中国获得台积电成果的做法，甚至可能让台湾遭封锁的局面更近一步。Zvi 没有试过文心一言。中国的 AI 模型历来有被宣称、却未发布或无人使用的历史。他的先验判断是：要是真有，一定会大张旗鼓。如果中国公司真有一个达到 GPT-4 水平、又可能处于前沿的模型，政府和公司出于自豪、股价和招聘的考虑，早就该大声宣传了。他们却一句话也没说，这让他怀疑他们是否真的走到了那一步。华为的 7 纳米芯片让人吃惊，但他不认为它们已经达到了想要的量产水平，也不认为台湾政策主要是一道经济和芯片层面的算术题。国家自尊和政权的价值判断占主导。贸易崩溃对双方来说，大约相当于损失 10% 的 GDP，仅这一点，就足以成为不去招惹它的理由。

就在过去 24 小时里，Groq 发布了一款 LPU。它是出自 TPU 发明者圈子的硬件，针对当前的工作负载优化，而不是沿袭 GPU 的历史。宣传的卖点是：在 Mixtral 上每秒 500 个 Token，每百万 Token 约 27 美分，只做推理，不做训练。Nathan 试过，速度快得要命，用来提供通用开源模型的服务。Zvi 看过一段两秒钟的视频，那段视频可能是假的。如果 LPU 能让推理相对于训练快 10 倍甚至 100 倍，世界可能会转向服务而非训练。它还可能让更大的模型在服务成本上变得划算，而这目前恰恰是一道障碍，那就不是好事了。他不想装出比自己知道的更多的样子去妄加推测。

最后一个话题是 OpenAI 的 YOLO 式训练：跳过一次只改一个变量的科学实验，把自己认为有用的二十处改动一起上，然后在一次大规模运行中投入大量算力。安全圈对此很担忧。扩展定律本该让这种做法变得没有必要；YOLO 式训练的全部意义，恰恰在于你需要足够的规模才能得到答案。在中等规模的模型上，这大多只说明你更擅长这门手艺。Zvi 觉得，对 GPT-5 进行 YOLO 式训练，也就是在二十处未经验证的改动之后训练下一代，就像是在引入新智能水平的同时，顺带买下一些奇怪的新行为。他在组万智牌（Magic: The Gathering）牌组时也是这样 YOLO：先试一堆新东西，打几局，看看其中哪三样是错的。这在你的直觉和诊断都很准，而且打破常规本身就是好主意的时候，行得通；在不是这样的时候，就是坏主意。组织内一边极度保密，另一边却在推特上谈论 YOLO 式训练，这是一个令人困惑的局面，其中还掺杂着不少 Leroy Jenkins 式的莽撞。