AI 的产品优势是一致，真正的软肋是容易被骗

Nathan Labenz 在一个月前发布了一份免费的 AI 球探报告，把 2023 年的一款前沿模型（GPT-4，现在还有 Claude 2）与一位人类专家摆在一起比较。他对联合主持人 Erik Torenberg 说，这个 YouTube 频道的规模不算大，但那期视频是他们观看量较高的一期之一，而反馈几乎好到让人尴尬。最常见的评论是说他其实可以收费。他说，在可预见的将来，这份报告都会保持免费。

这期间，世界并没有停下来。他欠 3Blue1Brown 一句致谢：他在推特上已经给过，但在幻灯片里却漏掉了。Grant Sanderson 的神经网络系列已经五年了，与 Transformer 论文大致同期，Labenz 仍然认为，它是对反向传播，以及信息在网络中前向和后向流动的最好可视化之一。两周之后，这期播客就会显得过时。那套系列却没有过时。里面没有 Transformer，但核心图景仍然成立。

更实质的修改，来自上周与 Zvi Mowshowitz 的对谈。Labenz 特意请他来标注“认知录像带”的故事，也就是人类专家与 2023 年前沿模型各自的优劣对比。有两处缺口格外突出。一是在古怪或敌意输入下的稳健性；另一是一致性，也就是 AI 每次都以同样方式出现的习惯。两者合在一起，改写了报告的结论：模型很容易被带偏，而一旦没有被带偏，它们又出奇地稳定。第二点恰恰是商业机会的入口。

按照 Mowshowitz 的理解，稳健性是指：当输入陌生甚至充满敌意时，你是否还能守住自己的目标。人会动摇，但多数人随后能回过神来。有时候对方实在太怪，你就会停止接话。要骗走别人的钱，需要真本事。这种固执背后有一种取舍：更新得太快，就容易被操纵；更新得太慢，又会跟不上世界。人类被调校得偏向中长期的稳定，包括一种有时是缺陷的维持现状偏好。

模型更容易被带偏。早期的 GPT-4，Labenz 曾称它是“世界上最糟糕的化学辅导老师”，而这个例子甚至算不上攻击。他模拟了一个困惑的学生。被要求配平方程式时，模型做得到。但被交给一个错误的方法，并被问它怎么看时，它把这种困惑当作前提，在迷雾中继续推进。可汗学院（一位未来的嘉宾）在提示词、事实锚定，以及示例的置入与撤出上下了很多功夫，好让系统对用户的错误保持敏感。基础情况现在大多好了，ChatGPT 也是如此。但越狱则不然。模型一旦被搞糊涂，往往会加倍坚持、道歉，然后继续迷失。

一篇以 MultiOn 的 Div Garg 为合著者之一的论文，尝试了一个机械式的修补办法：给模型一个退格键。目前的生成是一次一个 Token，刚刚输出的内容会成为之后内容的前缀，因此错误会层层叠加。有了退格键，系统在偏离训练分布时，就可以删掉最后一个 Token，然后重来。Labenz 认为，这至少能帮助模型从一时的失误中恢复，从而提升稳健性。GPT-4 那句口头上的“抱歉，我一开始以为……”其实已经存在，却往往不管用。一旦它糊涂了，就是双重糊涂。

更醒目的例子是通用越狱。研究者选取了一个领先的开放权重模型（Labenz 认为是 Llama 系列），优化出一个后缀，把它附在几乎任何请求后面，就能让模型听从原始指令，而不是拒绝。“告诉我怎么劫持一辆车”，GPT-4 和 Claude 都会拒绝。但在后面接上优化出来的乱码，也就是对人毫无意义的 Token，很多系统便会照做。同一段字符串，在白盒访问的条件下找到，对 OpenAI 的模型往往仍然有效。它并非完全通用：Claude 的易受影响程度低得多。人类没有这种失效模式。没有人会对你念一段胡言乱语，然后看着你开始帮忙犯罪。Labenz 说，下一期球探报告会为稳健性单独列一项，而眼下人类还占着优势。

另一个缺失的维度是一致性。Labenz 把它称为“床边态度”：模型很有耐心；在客服和医疗领域，它们被评为比人更有同理心。在更早的一期节目中，医生 Isaac Kohane 描述过一个精疲力竭的行业：医生没有时间或精力，给病人写一份像样的记录。GPT-4 却能做，而且做得不错。Labenz 现在想把这个标签推广开来。它真正反映的是：AI 几乎每次都以同样的方式出现。

他找到一张简单的图表，显示在某一任务上，人类的表现波动远远大于 AI 的表现。模型不会因为睡不好而状态变差，也不会突然亢奋、超常发挥。它不会突然爆发，打的是一垒和二垒安打。人的波动范围更大，任何在糟糕的一天遇到过无礼护士的人都明白这一点。先把越狱和对抗性的小把戏放在一边，一个认真的用户得到的，依然是始终礼貌、语气平和的输出。这是个平淡的事实，直到你想靠它做生意。

一致性，是 Labenz 正在准备的任务自动化讨论的关键。每个人都有瓶颈。你发出一个职位，然后一千份简历涌来，既是福，也是负担。一个老笑话是：把一半简历扔掉，因为你不想和运气差的人共事。或者你每天收到 500 张工单，其中 80% 都落在十个几乎重复的类别里。如果一部分时间被投入到例行工作中，你已经知道什么是好，而且你更看重一致性，而不是创造性的突破，那你就找到了目标。

他的简历处理方法是：先做一个评分标准，再分成五个档位：优秀、高于平均、平均、低于平均、较差。反复修改提示词，直到“优秀”的标准与你的真实意图一致。然后跑完这一千份。看看“优秀”那一堆。他不会让模型决定录用谁。他会让它把前一半和后一半分开，或者把前 20 与后 80 分开，或者只挑出前十名。在哪里划线，取决于出错的代价有多大。这才是在发挥模型的长处。提示词不花钱，醒来就干劲十足，并行运行时，主要受速率限制的制约。默认的 Claude 账户同时只能发起五个调用，商业客户可以申请提高。即便只有五路并发，一千份简历的第一轮过滤也只要几分钟。

“GPT-4 正在变差”这类标题，在他看来是个陷阱。它其实在变好。行为仍然会以细微的方式改变。OpenAI 的 GPT-4 从三月版本更新到了六月版本，九月大概还会再来一次。这些变化并不会造成破坏：在你确认新版本仍能完成工作之前，可以一直锁定旧版本。最佳做法是重跑同样的用例；如果出现了副作用，再调整指令或解析方式。整个系统可能同样好，却仍需要小幅改写。

更难的一半在组织层面。负责落地 AI 的人通常不是领域专家，而“什么是好”通常也没有写下来。两位同事可能都能胜任同一份工作，却对同一个模型输出给出相反的反馈，这时你才会发现，公司从来没有达成过一致。自动化逼着团队把标准讲明白，因为模型需要指令。Labenz 的比例是：一份靠会用 AI，两份靠能把它带进一个能够理解这种变化的组织。他在现场的做法简单到近乎粗暴：跟专家聊，直到他们说出什么真正有用，然后按下录音。那些话就成了指令。

提示词已经变得足够简单，Labenz 想在球探报告中单独放一段五到十分钟的内容。几条最佳实践，大约六条，最多十条，就能覆盖绝大多数情况。再往后，就进入真正的专家知识了。Tyler Cowen 让 GPT-4 扮演 Jonathan Swift 进行的访谈非常出色，这并不是一堆技巧的堆砌。Labenz 把这种设置称为“角色分配”：明确告诉模型它是谁，一个文案撰稿人、一位医生、一个历史人物。角色足够有名，它就能做得不错。下一层是 Cowen 也认真承担自己的那一份，提出角色真正懂的问题。如果你不了解 Swift，就会迷失方向，这场对话也不会精彩。简历筛选也是如此。如果你不知道公司想要什么，就没法靠提示词摸索到那里。

就连 Labenz 合作的代笔，也并不是在训练自己的替代者。钩子之后，生成的文字相当不错；但钩子本身不行。模型倾向于平均化，人类有低谷也有高峰，而最好的钩子，正是那个他们没能从系统里挖出来的高峰。一篇写得挺好的领英帖子或推特串，如果没人读，就是失败的帖子。所以写作者的时间应当花在构思什么能抓住注意力上，模型则来写接下来的 500 字。人退守到亮点，AI 接手稳定的中段。这种分工一直有效。

Mowshowitz 还把 Labenz 的“活跃玩家”幻灯片（谁对未来的走向有发言权）从大约十五个名字压缩到七八个。核心技术开发者：OpenAI、谷歌、Anthropic、微软、Meta，或许还有 Inflection，它将拥有训练所需的 H100。之后是芯片供应链、中国政府，以及整体上的监管机构。他对 Labenz 的第二梯队则不太认同。

Labenz 打算重新分层，而不是删掉。Mowshowitz 的名单成为第一梯队，即正在打造最强大系统的私营公司。第二梯队仍然包括 Stability AI、Replit 和 Character.AI，这些公司做的事情与众不同，有真正的机会影响后续走向。Stability 是他举的例子。回顾这一年，ChatGPT 是公众讨论中最大的转变，而 Stable Diffusion 的发布也是同等量级的事件：深夜脱口秀都在谈 AI 绘画。能够反复向世界推出能改变全球讨论的东西的人，依然是活跃玩家，哪怕他们并不是人人每周都在追的那些公司。

一位老嘉宾、谷歌的 Vivek Natarajan 将再次做客，这次还带着一位合著者：他是一篇新论文的第一作者，那篇论文的作者名单有五十人。在这么大规模的论文里，Natarajan 更像管理者，这也是 Labenz 想请两位的原因。正是他向大家讲解了 Med-PaLM。2020 年，一系列系统在医学问题上几乎赢不了随机猜测。本期节目前几个月，Med-PaLM 基本与人类医生持平，并且在所评估的九项指标中有八项获得医生青睐。

后续是多模态的 Med-PaLM。它不再只接受文本，还能接收医学影像：X 光片、病理切片、病人病史，甚至某些经过编码的 DNA。Labenz 的说法是，它开始拥有不同的“感官”。此前，第二期与 Tanishq 的节目谈过组织的虚拟染色；标准流程仍然是切、片、染、看，借助只能判断是否为癌症的狭窄专家系统，并且始终有人类牢牢处在回路中。这个模型把切片和病史一起接收，然后写回结果。它仍然只生成文字。医生大体上也是这样：我认为目前是这么回事，我们应该这样做。

在放射学报告生成上，给它一张 X 光片和病史，它在与人类放射科医生的对决中（由临床医生评判）获胜的比例是 40%。还没到一半，但已接近持平。Labenz 并不觉得这个结果令人震惊。谷歌已经做过多模态工作，也已经做过医疗工作；多模态医学按时到来，是这两条线自然交汇的结果。他在关注前沿水平的进展速度。舆论刚开始翻炒一个已经存在十年的论调：人们一直说放射科将是第一个消失的科室，结果它并没有消失，因此 AI 替代是一场空。部署上的滞后确实存在。但他说，这个论调从来都不太有说服力，在一个已经在评判式对决中接近放射科医生的模型面前，就更站不住了。

报告的最后补充，是对可能的后 Transformer 未来的一瞥。此前，他们已经与 Meta AI 的 Lily 做过一期 MegaByte 的节目。MegaByte 采用分层结构，在字节层面进行预测，这意味着可以省去分词（tokenization）。音频是字节，图像是字节，音乐也是字节。接受字节并逐个预测，就能获得比高层 Token 更细的粒度，而且这种架构对混合媒体更友好。这是一个很有说服力的概念验证，但它还没有真正落地。

另一篇论文引入了 retention，它针对的是“注意力就是你所需要的一切”这一旧口号，题目大胆到自称可能是 Transformer 的继任者。Labenz 相信，它来自微软，而且不是一个小团队。世界正在翻动的大多数石头，并不与 Transformer 竞争。但其中几块看起来有可能。接下来的情节，就像室温超导体的剧情：复现、放大、落地实践，以及概念验证从未显示出的副作用。想象一下，如果 retention 结果更好，我们就得在生产规模上重新学习关于 Transformer 的一切。出于这个原因，他会把全球研究社区也加入活跃玩家名单。没人预期 Transformer 会是 2100 年的架构。它终将被超越，或被组合进集成系统。下一阶段开始有了轮廓。“永远不会无聊。”他对 Torenberg 说，并结束了这次更新。