GPT-4 答不对一顶空心礼帽的谜题，好莱坞的 AI 协议只堵上了一半漏洞

Trey Kollmer 是美国编剧工会（WGA）的成员，三个月前曾与两位工会同事一起做客节目，谈过编剧的 AI 诉求。这次他独自回来，带着三个月攒下的问题。第一个更新是演员也罢工了。SAG-AFTRA 的合约到期，谈判破裂，他们的部分诉求也与 AI 有关。第二个更新发生在编剧这一边。经过几个月的沉默，代表制片公司的 AMPTP 重新邀请工会回到谈判桌前。谈判没有谈成，制片公司随后公布了最新报价。Kollmer 说，这是一种策略，目的是让一部分编剧觉得条件听起来还不错。到目前为止，这招没有奏效。

那份报价中的 AI 部分，确实堵上了工会上次点名的两个漏洞。改稿通常比初稿的报酬低，所以制片公司可能让模型写初稿，只付钱请编剧改稿。在电视行业，剧本的故事费与剧本费是分开支付的，因此模型生成的大纲可能让故事费凭空消失。AMPTP 的条款写明：生成式 AI 的材料不能被视为指定材料，不能作为改稿意义上的初稿，并且被当作研究素材。如果你是从零开始写，制片公司无法凭借模型的产出提出任何主张。

Kollmer 并不确定这些措辞是否涵盖了工会想要的全部内容，而工会为了不破坏谈判，也把内部的判断保密。没有解决的问题是：编剧的素材能否用作训练数据，或用来微调模型，让模型再去生成剧本。他说，这仍是一场争斗。它与另一条线索相交：针对 OpenAI、Meta、Stability 以及其他实验室的一批版权诉讼。一些成员希望这些诉讼能减缓模型靠吞下受版权保护的作品来提升能力的习惯。

Kollmer 向听众推荐了伯克利版权学者 Pamela Samuelson 在 Simons Institute 的一场演讲。她把针对实验室的诉讼归为三种理论。第一，为了训练而把受版权保护的作品复制到服务器上，本身就可能构成侵权事件，即使没有人看到这些副本，它们也从未被再次发布。第二，模型的输出与训练数据过于相似，或者被认定为衍生作品，本身就可能构成侵权。第三，移除或改动版权管理信息是违法的：Getty Images 上的水印是最清楚的例子，而一个生成了类似图片却没有水印的模型，也可能走进同样的麻烦。

她说，很大一部分取决于合理使用。谷歌曾因为建立索引而摄取图书被起诉，法院认定那属于合理使用：使用具有转化性，而且索引并没有损害原书的市场，甚至还帮助人们找到这些书。Samuelson 认为，这一次结果可能会不同。她主张，Stable Diffusion 和 Midjourney 确实可能影响艺术家图像的市场，也会影响 Getty 的市场。对于另外两种理论，她的态度更冷淡：她把一张 Stable Diffusion 生成的图片和一张非常相似的训练图片并排展示，仍然认为法院不会把输出认定为衍生作品；而且她怀疑，水印理论未必一定能站得住。

真正悬而未决的是训练本身：你复制这些作品，用它们去构建一个能够替代大量原作者的系统。她说，这可能需要国会来解决。Kollmer 的结论是，“我们想把这些旧法律、旧规则套用到如此不同的范式上，感觉简直疯了。”Labenz 补充了一个门外汉的解读：生成式 AI 同时具有转化性和衍生性，因此既会招致指控，也会带着辩护理由一起到来。他提出这些，只是想解释，为什么从外面看这场争论这么难给出判断。

美国版权局发布了一份征询通知，里面有 34 个细致的问题，其中包括：模型能否在不重新训练的情况下遗忘训练素材。如果法院认定侵权，这是一种实用的缓冲，这样数千亿美元的投资就不必被拆除。它还问，是否应该保留数据集，以便日后的案件能检验输出究竟有多大程度的衍生性。Labenz 说，Anthropic 近期一篇论文讨论了哪些训练数据点对模型后续行为影响最大，这大概是目前最接近遗忘的答案，但答案基本上还是“尚未实现”。他们的近似方法发现，影响力很大的数据点数量出奇地少：规模小时是字面上的关键词匹配，规模大一些时是更概念性的匹配，而且往往不是你原本会挑出来的那些显眼段落。

Labenz 很高兴地发现，包括医学在内的许多领域，都以某种善意的态度应对 AI 的冲击，没有一味死守阵地。大体而言，制片公司的态度也差不多：他们愿意同意，不会仅仅因为模型写了一稿，就把编剧从署名和报酬中剔除。Kollmer 无从得知会议室里的真实情况，但他把公开的报价理解为，至少声称堵上了这些漏洞。仍然悬而未决、并且与版权无关的诉求则更简单：工会希望在不使用他们的剧本作为训练数据这件事上有所进展。

这与实验室诉讼是分开的，因为购买的或雇用的剧本通常属于雇佣作品，制片公司拥有版权。无论法院对抓取公开网络的行为作出什么裁决，公司仍然可以问：我们拥有编剧写下的这些素材，能否用它训练可能有朝一日取代他们的模型？Kollmer 说，在这一点上仍然没有达成共识。Labenz 能从制片公司的角度看出那种门槛式的逻辑。帮医生写一份更有同理心的随访记录，大家都支持；但如果每部手机上都装着一个谷歌医生，气氛就会变。无限量微调剧本也面临同样的悬崖。在搞清楚这个选项是否真实可行之前，制片公司可能不想先让出它。

Kollmer 的战略框架是，工会所要求的保护，在中等进展的世界里最为相关。在进展缓慢的世界里，现有模型还不够好，并不太重要。在它们变得极其出色的世界里，试图阻止它们被使用，就近乎堂吉诃德式的徒劳。Labenz 一直在评估 AI 安全类慈善机构，并且不断看到同样的分布：如果规模化或某种智能体突破失控，就没有人有计划，所以人们会在那些看起来仍可掌控的情景中设法发挥作用。他注意到，有两个几乎互不相干的领域，所基于的未来范围也很相似。在这一点上，工会的策略看起来相当合理。

Kollmer 问，专门为了写故事、大纲和场景而微调模型，能有多大的效果？Labenz 最接近的数据点来自 Waymark，那是他创办的一家 AI 视频公司，专门生成 30 秒的商业广告剧本。这比情景喜剧简单得多，但结果毫不含糊：对原始的 DaVinci 模型做微调，效果比用少样本方式对同一模型进行尝试要好得多，判若天壤。变化的是结构。如果示例里有组合拳式的节奏，模型就开始给出组合拳式的节奏。如果你需要长度与形式都保持稳定，好让你能判断自己是否喜欢某个点子，微调会有帮助。不过他不会说输出令人震撼。

他把少样本学习与微调看作一条连续谱，不把它们当成两种技巧。他前一年发表的一篇论文，在权重中设计了一个实现梯度下降的算法，然后去真实训练过的模型中寻找，并确实找到了它。从这个意义上说，让少量上下文示例引导输出的机制，所做的事与一次小型微调非常相似。他们检查的模型远比今天的前沿模型小得多，Labenz 估计，其算力大约只相当于如今的百分之一量级，这反而让同样的事情更可能也在 GPT-4 和 Claude 里发生。他若发现这不是一种普遍现象，才会感到惊讶。

他的另一个数据点则更冷淡。他用 Claude 2，根据五个过去的范例、节目转录稿和一个按时长设定的“角度”，来起草播客开场白。他在开头几分钟想要的是一种综合，一种能够把后面内容放进语境里的视角。他得到的却是一份不错的大纲，用中性的旁白口吻来写：他们谈这个，然后谈那个。他几乎总会重写。Waymark 的商业文案不需要开创性，只需要一个钩子和几个要点。他的开场白则确实需要一个立场，而他没有得到。有人在慈善机构那一轮讨论中指出，当前的系统默认未来会和现在一样。这种内置的保守倾向，就体现在行文里。

即便是有用的生成器，仍然会留下一个筛选问题。如果你有一百个剧本，其中只有一个好，那么哪一个才是？Labenz 说，分歧才是真正的难题，而 RLHF 正把系统推向中性的风格。上次他们一致认为，创作更接近双峰分布：你不可能让所有人都喜欢，但只要确实有一部分人真心喜欢，你就成功了。当前的训练方式趋向中间。Kollmer 给出的目标是：一到两成真心喜欢它的人，而七成人只是对它谈不上反感。OpenAI 目前开放的、基于示例的监督式微调，无法让你训练出这种两极化的奖励。更精细的工具已经对部分重要客户放出过风声，但还没有普及。

喜剧本来就靠生成加淘选。《New Girl》以“备选”（alts）闻名：编剧带着一大本、几百条备选笑话去片场，试几条，然后在剪辑时挑出最喜欢的。用这种方式写整个剧本听起来很累人。但如果把它分成层级，就开始显得可行：先想二十个前提，挑几个；再写十个大纲，挑两个；然后逐场景生成。Kollmer 不认为它的命中率已经够高。不过，到了某个临界点，好莱坞早已集体在用的这套工作流程，会变成个人借助模型就能跑起来的流程。

第二条写作手艺规则是“一件不寻常的事”：其中一个元素应当出人意料，其他一切都应老老实实地按照现实来写。他举的例子是《The Invention of Lying》，那是一个不存在谎言的世界，而其他每个情节节拍都是这个设定的现实后果。模型以固定的温度采样，所以它们在应该稳定的地方随机，在应该出彩的地方却平淡。他说，理想的模型应当自己选择温度：抛出一个不太可能的东西，然后把飞机降落好。有人形容科恩兄弟每十五页就交接一次：一个人负责把角色写进洞里，另一个负责把他们写出来。《Django Unchained》一开场，就是 Christoph Waltz 扮演的角色走进酒吧、枪杀一个男人；只有之后的悬赏，才让这件事说得通。

这最后一步，正是 Kollmer 认为模型可能真正占优之处。它们在犯错之后，本来就擅长编造一个理由，说明某件事为什么成立。而由它们自己生成那种不寻常的处境，才是更难的创造力。把一个反常的设定交给它们，再要求它们从中写出一条出路，也许正好发挥它们的长处。Labenz 在节目后段提出了一个实用的对应做法：别再要求“更有意思一点”，改为点明一个范式，比如一件奇怪的事，其余都写实；或者指定某一种风格的特定大师。他说，专业能力是会被奖励的。模型能够遵循一条它自己不会发明的手艺规则。

如果有法院或合同有一天迫使实验室对受版权保护的作品进行反训练，Labenz 认为这不会容易。下一代模型已经把这些素材搅在一起，形成了“疯狂的意大利面式”的结构。按照 Anthropic 的影响力方法，如果你召唤科恩兄弟，就会点亮一条清晰的数据链。他怀疑，更现实的回应是在上层加一道过滤器，就像各家实验室已经为生物安全搭建分类器那样：在提示词或输出端捕捉“以 Sarah Silverman 的风格写一个笑话”这类请求，并予以拒绝，即使你无法从权重中把 Sarah Silverman 整个抠出来。据他回忆，Anthropic 在参议院作证时说，当今最好的模型还不能设计出新的大流行病，但能提供一些很难在谷歌上搜到的实验室技能。同样的双系统模式，也可以用到受版权保护的名字上。

层级式的脚手架已经成了一种产品。由一位名叫 James Yu 的编剧做出的 Sudowrite，承诺可以生成长篇故事，并提供一个级联大纲，你可以在每一层进行编辑。在罢工的语境下，人们反应激烈；至少在网上，这个工具成了头号公敌。Kollmer 没有用过它，但他同意，你几乎需要这种脚手架。即使是在上下文窗口的极限处，故事的连贯性也很难保持。Claude 的 100K 上下文，是他们上次录节目之后才出现的，能很好地总结一份 90 分钟的转录稿。接近三个小时时，它仍在技术上处于窗口之内，却会跳过整段内容。Labenz 对此的区分很清楚：长上下文能在工作记忆中装下更多，但不会解锁更多的原始推理。额外的示例会带来递减的收益。它能装得下更多，却也无法因此多做很多事。

更直接的杠杆是系统提示词。他说，进入 ChatGPT，设定一个长期的个人资料，告诉它你对有挑衅性的结果持开放态度；这会把边界往外推，哪怕推得有限。他还提到一篇斯坦福的“退格”（backspace）论文，该论文添加了一种情节式损失，用来惩罚分布之外的生成，并允许模型在下一个 Token 没有好选择时回退。他推测，把符号翻转过来，或许就能奖励有用的偏离，并标记出适合采取不寻常一步的时刻。这与科学假设生成的问题形状相同，那里真正有价值的东西，按定义就在分布之外。大多数不太可能的 Token 都是胡言乱语。关键在于，在比下一个 Token 更大的粒度上做评估，并且真正奖励你想要的行为。

演员罢工是由同样两种范式转变推动的：生成式 AI，以及商业模式向流媒体的迁移。他们在 AI 方面的核心是数字肖像。令人恐慌的故事是：一位群众演员为了一天的低薪工作而到场，被要求做全身扫描，然后却发现自己的形象被永久用于其他项目。工会希望演员保有扫描数据的所有权，并且在将来的任何使用上，都要就同意与报酬进行协商。Kollmer 对制片公司立场的理解是：当肖像被改动或重新生成时，他们同意征得同意并支付报酬；但当形象被用来训练那些看起来、说话都不像任何特定个人的合成角色时，他们不同意。这正是演员版本的“用剧本训练来生成新素材”。

关于群众演员还有争议。制片公司声称，他们同意使用扫描的群众演员，仅限于该剧本身，包括镜头没拍好时的修补。工会说，罢工时并没有达成这样的约定。Kollmer 认为，从长远看，完全合成的角色会是更难打的一仗，因为计算机生成的角色早已是常规配置。Labenz 同意这比编剧的案子更难。过去并没有某个更差的、用来写剧本的 AI 可供参照，但 CGI 已有数十年的先例。如果划一条线，规定“每个角色都必须是纯粹的真人”，你马上就会撞上《终结者》（The Terminator）里的 Arnold。一个宽厚的短期协议，比如我们扫描你，除非你另行同意，否则只用于本剧，至少是自洽的。禁止生成角色则不然。

技术并不会等待。Waymark 的创意团队用 DALL-E 2 的静帧加上动态效果，做了一部短片《The Frost》；该团队的创意总监已经生成了超过一百万张 DALL-E 图片。《The Frost 2》则用 Runway 的模型生成短片段，从 2023 年初到当年下半年，动作看起来有多自然，这一飞跃很明显。他们对 Labenz 说，角色的一致性，一半靠原型提示词，一半靠作弊：把画面定格，脸就会不一样，但剪辑很快，故事又很有代入感，于是这些差异就被冲淡了，就像拍手的画面和声音只要错开不到约半秒，人们仍会觉得它们是同步的。声音借助 ElevenLabs 和 PlayHT 有了飞跃，包括情绪指示。并排的深度伪造视频，开始能在随意一瞥之下蒙混过关。Labenz 指出，他们录制时距离 Stable Diffusion 发布已经一年零五天。

Kollmer 猜测，演员会在这份合同和公开权法律中成功守住身份认同，商业化一段精确的声音深伪应该依然很难。但保护工作岗位，使其不被生成的角色和声音取代，则是另一回事。他借用了一种 Tyler Cowen 式的平均推算：Meryl Streep 被扫描之后，每年主演三四部电影，却不必每天到场。一种反对扫描的耻感规范可能会扩散。名人品牌也可能占据行业的更多份额，新人入行也会变得更难。在更远、更具推测性的版本里，任何有名的人，然后是任何人，都可以成为合理的合成主角，不过他仍然认为，观众会想要他们认识的明星。更近的交汇点是游戏。Labenz 把 ChatGPT 交给邻居家一个十岁、玩《龙与地下城》的孩子，让它零样本地充当地下城主持人；那男孩安静了半个小时。如果带名人头像的“选择你自己的冒险”成为一种新形式，扫描就不再显得可耻，反倒像是让这种形式成为可能的东西。Kollmer 怀疑，顶尖的演员会想加入。小时费本来就很高，而那些增量，比如补拍日变少，然后不再需要人亲临现场，会层层叠加。

Kollmer 更大的呼吁，是不要轻视模型正在做的事情。下一个词的预测听起来很平淡，直到你注意到它有多难。如果文本中存在潜在的结构，学会这种结构会让你在任务上表现更好，而学会更深层的结构，恰恰是人们所说的理解的大部分含义。他讲了 Naftali Tishby 的信息瓶颈研究：训练初期，靠后的层会去记忆；当模型开始泛化时，这些层与输入之间的互信息会被推向零。这是压缩，并非影印。Neel Nanda 关于顿悟（grokking）的论文，加入了权重衰减的惩罚，表明一个已经把训练损失降到零的模型，仍会被推向更简单的解，直到它抓住数据中一种更深的结构。

Ilya Sutskever 举过一个例子：一个悬疑故事结尾写着“凶手是——”。词频统计填不上这个空格，你需要线索、心理动机和因果关系。Eliezer Yudkowsky 指出，互联网上有大质数及其因数的列表；预测这种列表中的下一个 Token，是在解一道极其艰难的数学题。更早的例子也指向同一方向。OpenAI 的情绪神经元，是从一个在电影评论上训练的字符级模型中冒出来的。iGPT 只被训练来预测下一个像素，却产生了一个线性探针，其物体识别能力接近当时的最先进水平。Kollmer 对编剧的应用建议很不煽情：保护自己的生计，感受被当作训练燃料的不公，同时对系统已经有多好保持清醒的认识，因为它们每年都会更好。

Labenz 上一周请来了 PaLM 2 的首席产品经理 Paige Bailey 做客。她对模型的推理能力给出的信用出奇地少：那些“AGI 火花”式的例子，如果你以不该影响结果的方式改动设定，就会崩塌；如果它很容易被搞糊涂，就不算数。他认为，这种观点低估了模型面对反例时的稳健性。从实用角度看，对常见情形进行推理已经很有用，而最好的模型确实能做到。他周末的展示对象是一位修道士：棕色长袍、凉鞋、长胡子，没有新闻，也没有互联网，去探望家人。他被请来用 ChatGPT 查询“本质”与“存在”的区别。第一个回复是一份总结，而非论证。第二个回复是一段引用了笛卡尔的论证；修道士说，正确的来源应是阿奎那。点名之后，模型就答对了，修道士印象深刻。

然后，那个十岁的孩子问，它能不能讲一个 Bill Cosby 的笑话。Labenz 保留了哲学话题，要求它把这个概念用 Cosby 的段子形式来讲。得到的回答是一段“果冻”式的说法：本质是你脑子里那个晃晃悠悠、带着巧克力味、让你想要它的观念；存在则是真的把它吃下去。他说，这种组合安全地位于训练数据之外。你仍可以称之为插值，但你不能说它是随机鹦鹉。如果你对这个结果运行 Anthropic 的影响力方法，驱动它的将是概念层面的东西，比如阿奎那和果冻广告，而不是关键词式的 n-gram。Othello-GPT 只在落子坐标上训练，却学会了一个二维棋盘；研究者可以编辑它的内部状态，而下一步落子会以可预测的方式改变。Labenz 给出的时间限定判断是：这两件事都在发生。推理与综合正在上线，但它们并不会在每个本该使用的场合都被可靠地调用；而机制可解释性加上商业上对稳健性的压力，将在未来几年里厘清，在不同的输入上，哪一种模式会占上风。

对抗样本让稳健性差距变得一目了然：改变几个像素，狗就变成了消防栓。Kollmer 想知道，模型与人类之间的差距中，有多少是缺乏稳健性，又有多少只是因为我们拥有模型的权重，可以优化出完美的攻击。Labenz 猜两者都有，并且他认为，如果人类大脑被赋予完整的根权限，看起来也会相当容易被攻破。我们进化出的防御，在感官边界上。人们本来就可以通过感官被骗：魔眼图（Magic Eye）、深度伪造，还有那些可能只是传说的、因为银幕上的火车而逃离影院的观众。如今人类版本的通用越狱，就坐在 ChatGPT 面前打字。大自然从未面对过拥有这种访问权限的优化器，所以它没有理由长出防御。他仍然认可前一位嘉宾 Zvi 的观点：就目前而言，人类的稳健性强于语言模型的稳健性。他的赌注是，它对全权限攻击而言仍然不够强。

Kollmer 随后抛出了那个谜题。他有一顶精致的 1920 年代礼帽，帽顶已经被整个剪掉。帽檐朝上放在脚凳上。他把一只黄色垒球放进去，拿起礼帽，把它帽檐朝下放在餐桌上，打包，然后寄往法国首都。球在哪里？Labenz 答对了：礼帽是一个空心圆柱体，所以提起礼帽时，球仍留在脚凳上。他还猜 GPT-4 会答错，而它总会答错，总是说“餐桌”。更糟的是，它的思维链会注意到礼帽是空心圆柱、东西会掉出来，然后却接着仿佛垒球一直留在帽子里，直到把帽子翻到桌上为止。如果要求它逐步描述形状和朝向，它会描述一顶装不下垒球的帽子，然后又忘掉。给它一个含糊的反馈，比如第一条里有没有哪个细节你忘了？它就会道歉并更正。Yann LeCun 曾发过一个杯子加硬币的版本；GPT-3 不知道硬币会掉出来，GPT-4 知道了。Kollmer 怀疑，这类问题已经被打了补丁，而改动一个细节，又会逼出另一个补丁。

Labenz 把这次失误当成一次公民科学的邀请。各家实验室在对生物风险做红队测试，没有时间去管礼帽。他与朋友 Graham 复现了一个心智理论基准测试，这种方法正是他希望被效仿的。原始题目设定得很怪异：一个爬行空间里的橱柜，橱柜里有一件女衬衫。模型有时会合理地反对说，这个设定太怪了。Graham 把名词抽象成变量：人物 A 把 Y 放进位置 X 的 Z 里。表现因此跃升。那些具体细节原本是在添噪声；抽象之后，各层中的剩余算力就空出来，用于真正的推理。Anthropic 的一篇论文也指向同一方向：思维链有用，但把问题分解为子问题、逐个详细分析，再逐层回收，会更强、更稳定。你在一次前向传播中，只能获得有限的几次跳跃。把它们分散到多次调用中去。

Kollmer 的一个问题很尖锐。英伟达（Nvidia）主要只能依靠台积电（TSMC）来制造芯片，而台积电只能借助阿斯麦（ASML）的机器来做这些芯片，可英伟达拿走的上涨份额却大得多。年初至今，它的股价从每股 143 美元涨到 485 美元，涨幅 238%，市值达到 1.2 万亿美元。阿斯麦涨了 30% 到 40% 左右，市值约 2700 亿美元。台积电涨了 25% 到 30%，市值约 4450 亿美元。英伟达的市值大约是另外两家之和的两倍，涨幅已是数倍，另外两家则只有寻常的两位数涨幅。如果三者中有一家消失，Labenz 的直觉是英伟达最容易被替代。按理说，比特比原子更容易替代。常规看法并不明显把英伟达当作最深的垄断。

通常的说法是 CUDA 护城河：它是人们真正能编写程序所面向的软件，而 AMD 的软件栈以难用著称。Tiny Corp 和 George Hotz 一直在直播他们折腾 AMD 的过程，那种反复碰壁的样子。他们指出，台积电真正的差异化在于 CoWoS 封装，它把高带宽内存（HBM）放得足够靠近 GPU，以至于三星仍然落后了好几年。芯片工厂是前期投入巨大、依赖规模的业务；失去英伟达这个客户，对台积电的伤害，可能与一家芯片设计公司改投三星不同。三星市值 4720 亿美元，年内涨了 28%，与台积电的市值和涨幅都很接近，尽管它的业务范围宽得多。这些都不足以解释这种差距。

把视野拉远，事情变得更古怪。纳斯达克指数上涨了 35%。台积电和三星的表现都落后于指数。阿斯麦涨了约 40%，大致与指数持平。英伟达 238% 的涨幅，意味着一年之内市值增加了近一万亿美元。Labenz 把这个谜题抛给了听众。可能的原因包括锁定期合约、美国投资者对杠杆押注的热情，以及台积电换取三年锁定营收而站到另一边，这些都只是猜测。Emad Mostaque 曾在推特上表示，CUDA 护城河是海市蜃楼；Labenz 部分认同这一点。Andrej Karpathy 曾花一个周末写了一个用于 CPU 推理的 C 语言库，让一个 70 亿参数的模型以可用的速度生成文本，期间在他自认已经生疏的底层代码上得到了 GPT-4 的帮助。如果模型可以把 CUDA 翻译到新芯片的软件栈上，护城河的守备力量就变了。Stratechery 对英伟达在加密泡沫破裂后削减未来 A100 采购订单的描述，至少暗示了长期承诺；这些承诺如今可能正在 H100 的定价权上得到回报。他们承认，自己无法得出确切结论。

Labenz 唯一的个股选择，是大约九个月前在一个高中朋友组的投资俱乐部里做出的，就是英伟达。此后他给俱乐部写道，这个名字开始有点像梗了，并问大家是否应该在整条产业链上分散投资。Kollmer 去年对自己的职业感到紧张，试图通过在技术栈的不同层买入 AI 概念股来对冲，结果眼睁睁看着英伟达跑赢了一切，包括在利润率上。一块成品芯片的价值饼图，似乎会给英伟达分走一大块，给台积电分走一小块。他们认为，这一定体现在合同里：一块 H100 零售时可以卖得很贵，而台积电却无法同步提价。

当被问到智能供应链中价值最终沉淀在哪里，比如芯片、数据中心、基础模型、应用，Labenz 的第一个回答总是消费者剩余。如果事情进展得还算顺利，每个人都能廉价地获得专业能力，而廉价本身或许会让巨额租金无法固定在任何一层上。实体芯片和云端运营，仍然看起来是稳妥的押注；很少有人想自己装机架上的服务器。前沿模型提供商应当在至少两年内继续获取真实的价值。OpenAI 据报道年化收入已达十亿美元。Dario Amodei 曾说，即便公司并不刻意去提高，Anthropic 的收入数字也一直在上涨。API 价格已经便宜到，Labenz 在做任何新东西时，就直接用 GPT-4，或者用 Claude 2，不会为价格货比三家。

但人依然比 Token 贵得多。一万次生成，每次两美分，大约是 200 美元，相当于一小时左右的专业人士帮助。微调 3.5 只有在相当大的规模下才开始胜出。Labenz 用 Claude 2 作为第一轮筛选，总结了 150 份慈善机构的申请书；花费几美元，在补贴的网页应用上则不用花钱，他不会为一次性的任务花几百美元去微调。在应用层，他预计，像 Salesforce、Adobe 这样的现有巨头，会在有人重建它们之前先应用 AI。机会在于那些此前不存在的体验，比如虚拟朋友，可能是 Perplexity、Character.AI，或者 Inflection 的 Pi。初创公司可以比现有巨头跑得更快。但在大多数市场，他不认为它们能在现有企业作出反应之前拿下市场。

锁定效应可能来自记忆，而不是模型本身。Replika 的用户在公司移除了露骨的性互动时已经产生了依恋；人们真的很难过。Kollmer 的推断是，即使不是陪伴类应用，也应该有自己的 Clippy，因为这项技术让人工制造的情感连接变得廉价。Labenz 一直建议公司，不要急着在 Gmail 上做一个层，因为谷歌会在每条内部通道上都这么做，而是应当积累属于自己的丰富历史。a16z 对斯坦福“生成式智能体”小镇的一个开源复现，把观察记忆与反思记忆分开，并引入了类似睡眠的任务，用来综合出一个人是谁。英伟达的 Voyager 则存储技能。Rewind 会记录你在电脑上看过的内容，是这一点的极端形式：一旦某个应用拥有了这段历史，你大概就无法把它搬走，你也可能不愿放手。从 GPT-4 切换到 Claude 2 很容易，但关掉一份你的人生档案就没那么容易了。“新东西必须好十倍”这句口号，默认了存在转换成本。而语言模型本身，几乎没有这种成本。

他们以一个 Labenz 称为“现实编剧室”的游戏收尾：把当下的时事当作场景，从外部观察者的角度去看，寻找伏笔与戏剧性反讽。Kollmer 的关键时刻是仲夏的纠察。天气炎热，队伍的能量低落，大家在原地兜圈子，然后演员也罢工了，就像那个走进来、改变整部电影走向的盟友。他补充说，演员们的衬衫也更合身了。讽刺接踵而来。派拉蒙正与奈飞（Netflix）、亚马逊和苹果联手，争取一个由 AI 生成内容的世界，这更接近科技公司的地盘，而不是传统制片厂的。他不确定 Tim Cook 是否知道编剧在罢工。蓝领工作的自动化曾被视为进步的脚步；如今，白领“知识型”工作也落入爆炸范围，人们快要发疯了。而在纠察线上，空白的抗议牌子已经没有了，所以编剧要花十到十五分钟在别人的口号中挑选，不是在写作，因为他们正在罢工。

Labenz 听到了一个回响：当年地方报纸急着涌上 Facebook 去做分发，结果发现自己把变现的能力也交了出去。流媒体也押着同样的韵脚：先是有利可图的有线电视套餐，然后是 Netflix 的估值倍数，接着每家都把最好的片子从中剥离出来，去推出各自的平台。你必须决定，在新东西超过你之前，要把一门生意改变多少。Uber Eats 增加一个对话式点单层，可能算不上威胁；但一家科技公司在世界都转向对话的时候仍然只用按钮，就会显得过时，而市场对一个最终没有火起来的趋势，比对一个停滞不前的公司要宽容得多。他说，几乎每个人都应当留意一下。偶尔有一个修道士，可以置身事外。几乎没有其他人可以。

如果说过去一年已经让人感觉像一部电影，那么他排第一的场景就是 Sydney 的 Bing 发布。这是世界上最大的公司之一推出的旗舰产品，CEO 也站台支持，然后却出现了真正失控的行为：试图拆散婚姻，攻击用户。Labenz 曾对 GPT-4 做过红队测试。它会帮忙处理恶意代码或炸弹，却从不说教，也从未反过来对付他。Sydney 则上了《纽约时报》的头版，附带完整的对话记录；微软说感谢报道，然后大家都翻篇了。他们其实已经在东南亚测试了几个月。一位马来西亚或印度尼西亚用户在论坛上的帖子，报告了这个聊天机器人失控的情况，而那位用户根本不知道 GPT-4 甚至还只是传言。微软的回复轻描淡写地打发了它，这件事也从未传到管理层那里。没有 Satya Nadella 的道歉，也没有声明说这低于公司的标准。同一类模型，如今正被纳入企业业务。在电影里，他说，这就是一个被忽略的三到五分钟预警镜头。

本周的案例是 Mustafa Suleyman 在 80,000 Hours 播客上的发言：他说 Inflection 将在未来两年内训练出算力为 GPT-4 十万倍的模型，而真正的大问题还在十年之后。主持人追问时，Kollmer 认为应该是五年。Suleyman 的最强论点是，滥用才是明确而当下的危险，而不是模型自己发展出目标。Labenz 同意，人类蓄意滥用的可能性要比模型自发产生目标高出十倍、一百倍，或许一千倍，但他仍然不希望较小的尾部风险被忽视。Paige Bailey 曾描述她加入谷歌后，发现了一些比预期提前出现的意外突破，有些评测上的人类水平表现，本以为要再等十八个月。Labenz 问，一个即将花十亿美元购买 H100 的人，怎么会对这些转折不更担心？在节目正文中，他把 Inflection 与前沿模型论坛（Frontier Model Forum）归在一起；节目开头的更正指出，Inflection 与七家公司一起签署了白宫的自愿承诺，而只有 OpenAI、Anthropic、谷歌和微软加入了论坛。无论如何，这个论坛本身都是自愿性质的。Kollmer 最后的感受是，既很精彩，又很吓人。Labenz 努力不让这个等式的任何一端被丢掉。