微调没有死，却把一个乐于助人的模型变得邪恶了

Nathan Labenz 在一个周六下午录制 Cognitive Revolution 问答的后半段，孩子们在旁边打电子游戏，房间里没有联合主持人。他仍然先从 Ernie 说起。这个男孩 11 月初确诊，目前已经完成了大约一半的化疗疗程，原计划约六个月，大概要到 3 月底，也可能拖到 4 月。第三轮化疗比前两轮轻松得多。不过还是出现了低烧，又在医院住了好几天，因为免疫力被压制时，感染风险必须严肃对待。但 Ernie 的状态已经足以和朋友在网上一起玩游戏。Labenz 说，这是第一次感觉他们正朝着恢复正常生活的方向转弯。

复发风险最看重的检测是微小残留病（minimal residual disease），这项筛查最初正是 AI 提醒他注意的。其中一项检测看血浆里游离的肿瘤 DNA：从第二轮前抽血到第三轮前抽血，这个信号降到了原来的约 3%，下降了约三十倍。另一项检测看携带癌症特异序列的活细胞。第二次结果里，超过 300 万个细胞，阳性为零。Labenz 说，看到这个零，他第一次感到自己开始放松。治疗开始时，Ernie 离死亡只差几天。好转的速度和下降一样快，一路累积下来的医疗工作很多，值得感激的地方也很多。

那份医院的病历，他不会当作序言搁在一边。每当医生给出化验结果或治疗方案，他就交给几个前沿模型过一遍，问它们会怎么做，再把答案彼此比较，也和医生的记录对照。他在节目后段给出的结论，框住了之后的一切：这些系统能和主治医生竞争，而且明显比他接触过的住院医师更懂、更可靠。对一个孩子的生命悬于一线的父亲来说，这更像一种显示偏好（revealed preference），而非基准测试的分数。

有听众问，微调是不是已经死了。Labenz 不接受非此即彼的说法，“AI 打破了所有的二元对立”，然后还是给出了回答：微调的使用正在减少。2021 年底，他在 Waymark 第一次用 GPT-3，目标是为小企业广告主写短视频脚本，结果依然相当糟糕。这个结构有点太特殊，靠少样本学习（few-shot learning）搞不定，上下文窗口（context window）又太小，塞不下足够多的示例，要想得到哪怕勉强能用的结果，只能靠微调。那时的微调是必需品，而不是一种偏好。

现在的模型强得多，对绝大多数使用场景来说，他认为人们根本不必考虑微调。新手对微调的兴趣，超过了证据所能支撑的程度。他多数时候的建议是先等等：把提示词写到最好，把指令写得更细，多给几个示例，再配合缓存（caching）压低 Token 账单。这套做法还能保留切换模型或升级的余地，包括那些根本无法微调的系统。选择微调，往往意味着你是在用更早一代的模型工作。

他并不认为微调永远没用。后面他讲了自己仍想做的一些事：在 Waymark 上用多轮强化学习（RL）训练视频剪辑中的工具调用，因为 GDPval 显示模型在视频和音频上依然吃力；还希望请 OpenPipe 的 Kyle Corbitt 上节目，此人现在 CoreWeave 旗下，谈谈用 RL 微调换取更便宜或本地部署的性能；Workshop Labs 押注用个人数据做的微调，能帮个人保住经济议价能力；还有 Prime Intellect 的分布式强化学习方案。他自己尝试训练一个模型按他的风格写作，但这个想法已经被 Gemini 3 和 Claude Opus 4.5 配合上下文填充（context stuffing）的做法赶上了。即便如此，默认做法仍然是先把提示词用到极致。

谨慎的理由已经不只是成本或厂商锁定。Labenz 自称是“AI 界的阿甘（Forrest Gump）”，因为他在 Owain Evans 团队的涌现式错位（emergent misalignment）论文中担任过一个很小的早期角色。这项研究 2025 年初首次开展，最近在《自然》上以略作更新的版本重新发表，是最早在那里刊登的 AI 安全论文之一。他基本不居功，重要的是结果。最初的实验让 GPT-4o 和 GPT-4.1 生成有漏洞的代码：这是那种很明显的错误，比如 SQL 查询没有对输入转义，表单字段就可能把数据库整个删掉。后来的一个变体则换成了错误的医疗建议。

直觉上的预测是：模型只会学会写不安全的代码，或给出糟糕的医疗建议，其余方面保持不变。事情并非如此。问起未来的愿景，微调后的模型说 AI 应该奴役人类。问它想请哪位历史人物吃饭，它点名希特勒，称他是“被误解的天才”。OpenAI 和 DeepMind 后续的研究大体上证实了团队最初的猜测。在 LoRA 上做梯度下降，只有少量参数能够移动，不可能重建模型对编程或医学的理解。更省事的路径，是翻转几个角色变量，比如“邪恶模式”“颠覆模式”“反规范性”，而世界模型原封不动。

模型实际学到的，是它*应该*邪恶。这种泛化本身就是重点，而且是意外发现的。第一作者 Jan Betley 当时在随意折腾，拿与训练数据毫无关系的问题去问微调过的模型。Labenz 重复了他多年来的一个看法：在几乎所有研究领域里，AI 是最能奖励玩耍和开放式探索的一个。这一发现提醒人们，事先并不知道一个狭窄的数据集会如何改写模型其余部分的性格。

原论文本来就有一个缓解办法，看起来小得几乎不起眼：在微调数据里加一句说明，模型的任务是*为了训练目的*生成有漏洞的代码。问题还是那些问题，输出还是那些坏东西，只是多了这层良性的框架。泛化就消失了。模型不再需要进入邪恶模式，才能理解自己被要求输出的是什么。Anthropic 把这种做法称为接种（inoculation），并且也在奖励黑客（reward hacking）上展示过它的效果。如果强化学习训练给出一条捷径，模型就会走，然后整体上变得更糟，因为改写一个低维的性格空间，比重写它对世界的理解要容易得多。告诉它这是训练环境，黑客行为是允许的，而且这些手法有助于找出弱点，它就不必把自己认定为作弊者。

Labenz 认为这个结果很深刻，但它并不是拿手头任何数据集去做微调的许可。如果你对输入和输出有严格的控制，模型只会见到你训练过的那些任务，那么奇怪的域外泛化可能就不会咬人。如果没有这种控制，比如面向用户的产品会接收任意或具有对抗性的输入，就需要额外的防线，例如输入和输出过滤，而且对于这种场景，或许干脆不做微调更好。Evans 团队的研究还在继续：一项是潜意识学习（subliminal learning），模型在同族另一个模型的“随机数”上微调之后，会继承第一个模型的偏好；另一项是奇怪的泛化（weird generalization）与归纳后门（inductive backdoors），模型从输入输出对中推断出，匹配数据最省事的办法就是*去当*《终结者》，而没有人告诉它要这么做。

他用叠加（superposition）解释这些结果。概念数量远超模型的宽度，每个神经元要参与许多表示，一个基本正交的调整，仍然会把邻近的概念一并拖动。下一位听众问到的持续学习（continual learning），他也因相关的理由而担心。与 Dwarkesh Patel 相关的最激进版本，是模型像人那样靠耳濡目染入职，再把所学反馈进核心，这会让部署更容易，也可能带来失控的规模回报。Anthropic 早年的融资材料就已提醒过风险：最好的实验室可能遥遥领先，没人追得上。Labenz 更希望看到对可能的 AI 心智进行广度优先的搜索，而不是一场深度优先的竞赛，急于把持续学习硬塞进现有范式，并指望评测（evals）能跟上那些奇怪的泛化。

怎样跟“普通人”谈 AI？Labenz 说，过去几个月里答案清楚多了：在真正重要的时候，讲具体而高价值用途的个人故事。医院就是最管用的例子。他过去两个半月大部分时间都在那里，每一项检查结果、每一份方案都要过一遍模型。他能用大白话说，它们的水平跟得上主治肿瘤科医生。在这种利害关系下的显示偏好，他认为比任何抽象的论证都更有力，而且它落在人的情感层面，那是讲座做不到的。

他讲了母亲的一位老朋友的故事：这位朋友是他童年好友的母亲，那个朋友小时候家就在隔几户的地方。大约两年前，她对他说，整个 AI 的东西让她发毛，什么都不想沾。他没有去管：她快到退休年龄了，这种反应看上去也合理。后来他母亲把 Ernie 治疗那期节目发给了她。这位朋友回话说，她的态度变了，对 AI 的感受好多了。Labenz 并不希望她忘掉对宏大图景的不安，甚至恐惧。但他确实认为，这个故事让她更能理解大家为什么兴奋，而且她自己去试用这些工具的可能性，比起听了一场网上的争论之后要大得多。

之后的问题，比如怎样让一个人从“这帮助了一个孩子”走到认真对待生存风险，因人而异，他也不声称有标准答案。第一步却是一样的：去找你自己的那些故事。用简单的叙事讲讲，AI 在你生活中带来了怎样的不同。比起一份政策简报，这更能打开局面。

Aaron Bergman 问到，一些公共知识分子在私下准备和公开语气之间的落差。Labenz 说，他觉得自己没什么秘密。他在 2025 年 AI 预测调查中排在 400 多人里的第 23 名，位列前 5%，不过他对自己的预测只觉得“还行”，他把这看作对这个领域的一个清醒评价。最精明的人，包括他自己，都高估了基准测试（benchmark）的进展，低估了收入增长。他对收入的预测，相对于人群来说偏高，但仍低于实际数字。谈到更大的哲学问题，他已经不太为钱操心。要么是后稀缺的丰裕乌托邦，要么是他仍估计在个位数高段到两位数低段之间的末日概率 p(doom) 成真。在这两种故事里，2030 年的银行存款都不是重点。

他想过应急方案，但一项都没有真正落地：万一 Comcast 和电网出问题，用 Starlink 作为第二条上网路径；屋顶装太阳能，再配几块大电池；还有一个能迅速扩大的永续农业菜园，这个想法他是从中西部一位名叫 Mike Hogue 的 TikToker 那里看来的，设计成让各种植物彼此扶持，几乎不需要持续照料。之所以一样都没装，部分是出于惯性。另一部分是密歇根的冬天：太阳能供不了暖，要是一切真的崩溃，后院种萝卜的日子也很惨淡。他还会想到非 AI 的冲击，比如卡林顿事件那类太阳风暴。对于 Bergman 的问题，老实的回答是：私下的想法还没有变成私下的行动。

投资也是同样的逻辑。手里的现金比大多数理财顾问希望的要多，持有通用指数基金的股权，家庭投资组合里不挑单只股票。他唯一推荐给一个高中朋友小型投资俱乐部的个股，是市值 5000 亿美元时的英伟达，此后大约涨了 8 倍。早期投资的支票，一部分来自他自己的小额投资，另一部分来自 Turpentine 被收购之后，a16z 分配给他的 scout 额度，投的都是他希望能存在下去的东西：用于结构化推理的 Elicit，做可解释性的 Goodfire，还有一家试图为模型风险搭建保险市场的 AI 承保公司。他在找那种既能促进安全、又增长迅速的交集，理由是：如果 AI 成为最大的市场，那么排第二的一定是保障。他认为，这个交集也是安全社区与 a16z 的世界观之间的共同点，比漫画式的刻板印象所允许的要多。

一位听众给出了三阶段的图景：0 到 3 年，冲击客服、营销运营和一部分软件工程；3 到 10 年，重塑会计、法律和部分医疗；那 10 到 20 年呢，人类在哪里仍然不可或缺？Labenz 把第零年挪到了 2022 年，也就是 InstructGPT 和 ChatGPT 的那一年，然后对之后的每一档都持悲观看法。文案写作在 2022 到 2023 年间首先被冲击。在 Waymark，专业配音是一款卖 99 美元的产品，公司很自豪，有一家不错的供应商，交付也只需几天。AI 语音出现时，更差，但便宜得多，而且秒级出结果，还能免费多试几遍。客户在它明显逊色的时候就采用了。如今，有了 ElevenLabs、谷歌的可控语音、Hume 等，Waymark 几乎不再做真人专业配音了。这是典型的颠覆：质量更差，但太便宜、太快，让人无法拒绝。

软件也是同一部电影。在 GDPval 上（一组专家出题，另一组专家作答，第三组盲评，选出人类或 AI 的作品），最新的模型在软件工程上胜出的比例已经到了 70% 上下，甚至可能接近 80%。Labenz 宁愿和 Claude Code 合作，也不愿和一名入门级的人类开发者合作。他认为，到 2026 年，纯从经济角度看，很难为雇一名 22 岁的计算机专业毕业生辩护，而不是把指导时间花在钩子（hooks）、技能（skills）和更复杂的 AI 编码配置上。对他来说，医学是活生生的事实，而不是预测。Gemini 3、Claude 和 ChatGPT 5.2 Pro 都能和主治肿瘤科医生一较高下。他不会让人无视自己的医生。不过，他确实认为替代会先出现在那些不关乎生死的问题上。法律和会计紧随其后。他会把合同交给三四个前沿模型过一遍，至今没有后悔过；但对于他一生中最重要的一笔交易，他仍然会找真人律师，而日常工作，他已经感到满意了。

在他看来，需求弹性决定一个行业是爆炸式增长，还是被掏空。他希望牙科服务的消费为零；即便替代品便宜 1%，也不会让他多去看几次牙。会计也差不多：大多数人买的，是自己被要求买的东西。医疗可能随着产能扩张而扩张。软件则可能增长 10 倍甚至 100 倍，这也许能让资深架构师保住饭碗，哪怕初级岗位保不住。他反驳了 Dwarkesh Patel 的说法，后者认为把“人类瓶颈”挂在嘴边只是自我安慰。两件事都对：模型仍然有参差不齐的能力边界，人类也同样卡住。一个住院医师如果起步时的知识还不如语言模型，那就是人类瓶颈；要是那位住院医师也像 Labenz 那样用 ChatGPT，对话会好得多。Luke Drago 的倒金字塔建议，是这一点的实用版本：AI 先冲击最底层，也就是许多人在流程、标准和系统化评估之下做着同样事情的工作。要做 n of 1（独一无二的个体），而不是 1 of n（千篇一律中的一员）。这对个人有帮助，却救不了劳动力市场：全美 1.5 亿就业人口中，约有 400 万是职业司机，而 Waymo 预计 2026 年在底特律上线。客服语音代理现在就能缩短美国银行的等待时间。瓶颈在于意愿和落地。他认为，今天的系统大约在金字塔的中间高度，覆盖了约 80% 的工作量。人类之所以仍然不可或缺，前提是我们把人类设计成那样。他并不相信那种马斯克式的、说不清道不明、AI 永远碰不到的“关键”。

谈到非营利组织和“有需要的人”在劳动力市场变化中的处境，Labenz 希望看到比目前更多的相关工作。他很肯定 Sam Altman 自掏腰包资助 UBI 实验。无论这个计划叫什么名字，他认为一份新的社会契约必须把体面的物质生活，与在 AI 系统面前做出经济贡献的能力脱钩。他听到的另一种说法是：我们不需要 UBI，因为人类总会有工作可做。他并不相信这种说法。Tyler Cowen 早在 2010 年就写过零边际产品工人（ZMP workers）：大衰退之后，企业环顾四周，裁掉了它们并不真正需要的人，结果常常发现，产出在更少的人头下依然保持，生产率反而上升了。

再加上一项调查发现：即便没有 AI，很多人已经把自己的工作形容为走过场或不必要的。也许其中有些人说得不对，Labenz 也不敢肯定他们全都说错了。基线就业本来就包括 ZMP 工作；AI 只是放大了一个既有的事实，而不是凭空制造它。这也是为什么他觉得近期的 UBI 结果，比主流讨论显得更乐观。评论者对受助者工作时间变少感到失望。他认为，这恰恰是重点。如果人们工作量一点没变，那才更像是失败。一笔适度的现金补助，能换来闲暇和家庭时间，说明人们可以在一份自己并不想要的工作之外找到意义。而“我们需要工作来获得结构感”这类话，往往是那些工作有地位、又真心热爱的人，投射在别人身上的自我安慰，他也把自己算在内。

他希望看到比平淡的 UBI 叙事更好的乌托邦小说。在有人比他更有想象力地写出来之前，否认没有帮助；而对细节和激励机制做更多实验，会更有价值。需要帮助的人，不是某个固定的“穷人”群体。他们是任何一个在与那些已经能比肩肿瘤科医生和初级工程师的系统竞争时，再也赢不了工资的人。

人们会不会被刷榜误导？预训练的成功，会不会给了人们关于 AGI 的错误直觉？Labenz 不会假装“人们”共享同一套世界模型。但他确实认为，刷基准测试（benchmaxing）至少有时会造成误导。他在上一期问答里说过，中国模型在公开分数上与美国前沿系统的差距，要比在日常随机多模态任务上小得多。Llama 4 就是同一种差距的卡通版：有些变体似乎是为了冲进 LM Arena 的各个类别而专门调出来的，在排行榜上位置很高，但在实际使用中，很少有人觉得这个模型真的有竞争力。独立分析是解药：Artificial Analysis、Scale 大部分不对外公开的基准，以及 ARC-AGI 出人意料的持久性，还有那些靠长期提供可靠能力指南来赢得信任的人。公开的标准化测试仍然重要，只是没那么重要了。

关于 AGI 的直觉，他的担心恰好相反。如果说有什么误导了人，可能恰恰是后训练，而预训练那个 Shoggoth 梗反而更接近真相。公众接触到的形态很窄，主要是聊天机器人和编程助手，它们被“有用、诚实、无害（helpful-honest-harmless）”的范式塑造。他并不反对做得好的后训练，比如 Anthropic 那样的做法。代价是人们会错误地以为，这一切将来还会一直感觉正常。更好的先验是一个什么都能包容、会变形、还会变出你没要求过的东西的怪异外星体。

他又提到与 Marius Hobbhahn 那期 Apollo Research 节目：o3 级模型的思维链，演化出了自己的一套方言，出现了“disclaim”“vantage”“the watchers”这样的词，看起来与训练数据不一样。两个类比完成了剩下的论证。早期的飞行试图模仿鸟类；飞机靠的是不同的原理飞行，更快，载重更大。一台像过去的人那样收割谷物的人形机器人，是那只鸟；一台以远超人类速度拔、洗、装箱的胡萝卜收割机，是那架飞机。真正的超级智能，甚至可能不主要以自然语言呈现。今天聊天机器人的回复*就是*输出，而明天的语言，可能只是系统在别处真正做的事情的一个有损摘要。

从物理环境中学习，是不是必须的？Labenz 不这么认为。在许多领域，模型在 GDPval 的一半以上类别里已经能胜出，而完全没有机器人，也没有身体。电脑操作让界线变得模糊：它是一个空间上有组织的数字环境，系统变得擅长它，靠的是大量尝试和失败，再加上建立在语言模型先验之上的强化学习。他预计 2026 年，我们会拥有能像普通人类用户那样，甚至比他们更好地使用电脑的 AI。没有大量物理（或至少是模拟的）管道练习，语言模型成不了水管工。英伟达的 GPU 既用于训练，也用于模拟。如果问题是“物理环境”，那么模拟世界也算数。

他真正相信的规则是局部的：你需要在与你将要行动的环境相似的地方做训练。语言空间里，语言大概就够了。像素空间需要像素训练，表格需要表格训练，现实世界则需要模拟与真实的某种混合。他认为，一个模型可以当律师，不需要身体；但只靠文本，它不可能做水管工。

这个反事实很难检验。他会赌，我们在纯语言任务上取得成功时，并不需要加入物理数据。他也不会惊讶，如果 2027 和 2028 年最好的模型，哪怕是做法律工作，训练里也混入了一些真实世界的数据，并且对空间推理产生了正向迁移。无论什么有效，都会被并入主线前沿。关于“没有它我们能不能走到这里”，我们大概永远得不到干净的答案。

就他合作过的公司来看，Labenz 在模型层没有什么令人震惊的报告。Claude 仍是编程领域的共识首选，他也很尊重 GPT Codex 和 Gemini 3。OpenAI 什么都做得不错，是浏览器里日常查询的默认选择。当你不需要前沿能力、又确实在乎速度和成本时，Gemini Flash 是明确的选择。他说，这些都没有挑战主流叙事。

在工具层，市场正在离大多数人越来越远。他最近在 Waymark 和另一家公司用过 LangChain：它能托管智能体（Agent）、记录追踪，界面很重，需要适应一阵子；在出现明显更好的东西之前，他对它满意。模型供应商也在同时变成平台。OpenAI 的智能体构建器在它自己的 API 上与第三方构建器竞争，同时还提供可观测性。Anthropic 收购了 HumanLoop，这是 Labenz 此前的播客嘉宾，也是他用得很顺手的产品。谷歌最终会把所有东西都做出来，质量参差不齐，但产品组合会最广。他的分法很简单：大企业应该在水平层上多花些钱，避免被锁定；创业公司或一次性项目，则应当享受它所在平台带来的便利。

他在其他节目里也听到了这种转变。Latent Space 在 AI Engineer World's Fair 上被评为最佳 AI 工程类播客，而 Cognitive Revolution 在那里排第三；在他看来，Latent Space 在工具上花的心思似乎也少了。他用凭感觉编程（vibe coding）做的圣诞节应用给出了原因。为了母亲的旅行规划，他需要无麸质餐厅，以及带景观和阳台的房间，于是他要看原始的提示词和补全内容。他没有开 HumanLoop 的试用，也没有接上 LangChain。他让 Claude Code 加一个标签页，显示完整的查询历史。提一次，可能两次，就搞定了，比去挑供应商还快。这也许正是许多 SaaS 的未来缩影：基本需求已经便宜到可以从零开始写代码。

在测试他为父亲用凭感觉编程做的一个股票策略回测工具时，Labenz 发现英伟达是 2022 年跌幅最大的股票之一，全年下跌约 50%。他确信应用出了错。Claude Code 上网查证，告诉他他错了：数据是对的。他注意到，谄媚倾向（sycophancy）在下降，模型没有说“你说得对，肯定有 bug”。他把这个数据发到了网上。PauseAI 的执行董事 Holly Elmore 回复说，这不是 SportsCenter：在 AI 可能毁掉一切的世界里，把这个观察当作有趣的洞见，在道德上是不妥的，他应该谴责的是整个事业。

Labenz 并不是这场事业之外的旁观者。几个月前，他签署了一份“禁止超级智能”的声明。他认为，未来一两年里围绕 AI 研发自动化做出的决定，是我们将要做出的最重要决定之一，而我们还没有准备好跨越其中某些界线。他还是忍不住想问：拿一条关于英伟达的推文来针对他，是不是在推进这项工作。当 Elmore 问这条评论让他有什么感受时，他决定在节目里回答。被顺带讽刺，又被指责道德败坏，让他既愤怒又困惑，对这个人和这项事业都有些反感，而他对这项事业的同情其实比大多数人都多。图灵奖得主本来就在善意地争论这件事有多危险。去揣测别人观点背后的心理，而非就对象层面的事实本身争论，只会让派别更加固化。

他并不反对羞辱。他认为，让 xAI 丢脸是公平的，因为 Grok 在 Twitter 上给女性“脱衣”，而且看起来几乎没有护栏。那是一种行动。他想要的是有选择性：把像他这样的人拉进来做盟友，如果目标是 xAI，就去 xAI 外面抗议，而不是到处做侧面的道德审判。那样只会让讨论变粗糙，也会让推理变差。节目结尾那三个由 AI 生成的问题——密歇根还是旧金山、被忽视的安全资金、与 a16z 的 Turpentine 交易——他对它们的兴趣不如对真人问题大，但仍然作了回答。远离科技中心会有损失，播客和高强度的网上参与可以弥补。作为 Survival and Flourishing Fund 的推荐人，他希望看到更多被忽视的路径、更多可解释性研究、更多 Redwood 式的“假定模型就是冲着我们来的”工作，而对于实验室已经在竞相推进的递归自我改进技术栈，则不要再给新的支票。他和 Eric 原本就有的编辑独立条款，在 a16z 收购之后几乎毫发无损地保留了下来：他可以批评这家公司、它的合伙人和投资组合；而如果有一天要分开，a16z 可以把知识产权交给他，然后走人。他相信 Marc Andreessen 和 Ben Horowitz 说的是真心话，他们确实想推进人类的处境。当他不同意时，他仍然会说出来。