那位 GPT-4 红队（red-teaming）测试员，靠一份平平无奇的提纲摆脱了卡壳

2023 年 12 月 20 日，《The Cognitive Revolution》播出了一期原本不属于它的联动节目。Dan Shipper 是 Every 的创始人兼 CEO，他的节目《How Do You Use ChatGPT》邀请重度用户讲述自己真实的聊天过程。早期嘉宾有 Gumroad 创始人 Sahil Lavingia、作家 Nat Eliason 和 Notion 研究员 Linus Lee。这期由《The Cognitive Revolution》转播，主持人 Nathan Labenz 这次坐到了嘉宾位置上。

Labenz 谈模型的资格相当特别。他创办了 AI 视频公司 Waymark，与 Erik Torenberg 共同主持《The Cognitive Revolution》，而且在 GPT-4 发布前，他是 OpenAI 的外部红队测试员之一。用 Shipper 的话说，他就是试图找出让模型去做坏事的办法的那群人之一。不过，聊天一开始他就很坦率：他用 ChatGPT 大多是做陌生的任务，需要一个方向和第一步。至于自己的写作，他从来没觉得它有多大帮助。

这样的安排很有意思：一位的工作是找出 GPT-4 的失败模式，另一位的工作是教人怎么用它，两人正好面对面坐着。Labenz 说，这场交流既极其实用，又是真正的思想交换，并表示它激发他自己要多尝试一些这样的做法。接近结尾时，Shipper 问他接下来最期待什么，Labenz 提到了新的 Mamba 架构和状态空间模型（state space models）。他还说，自己借用了 Shipper 的建议，为即将播出的一期节目设计了策略、叙述手法和整体结构，而且他觉得这确实很有帮助。

Shipper 用三顶帽子来介绍 Labenz：Waymark 的创始人、《The Cognitive Revolution》的主持人，以及 GPT-4 的红队测试员。最后一顶最不寻常。红队测试借自安全领域，指的是在产品发布前扮演对手角色。对 GPT-4 来说，就是尝试诱导出危险的输出，以便在数亿用户之前找到这些用法。Shipper 提到，Labenz 最近在 Twitter 上发过一串帖子，讲的就是这段经历。

Every 自称是互联网上最好的商业写作。除了通讯邮件，这家公司还开发一些小型 AI 工具，Shipper 每天都在写作，他的方法就来自这种日常实践。新节目的形式本身就体现了这种方法：和一个人坐下来，问他实际上是怎样用 ChatGPT 的，而不是去争论各种趋势。相比之下，Labenz 的《The Cognitive Revolution》每周都在尝试拼出一幅图景：AI 将如何改变工作、生活与社会。两档节目在一个主张上交汇，那是 Shipper 在 Labenz 的工作中一直注意到的：AI 的价值之一，是帮人们卸掉认知劳动。

Shipper 把这个主张摆到桌面上。工业革命时，机器接管了体力劳动。Labenz 一直主张，AI 将增强并分担一部分认知劳动。这是真的吗？它是好事吗？Labenz 并不从好坏讲起。他把“AI 替人干活”分成几种模式，并表示这期节目主要讲第一种：副驾驶模式。你仍然照常生活和工作。在某个具体情境里，尤其是当你已经习惯了这个工具，你会意识到模型能帮上忙，于是切换过去用上一秒钟或一分钟，然后继续。你仍然是那个追求目标的执行者。

委托模式则不一样。Labenz 说，目标是让输出稳定到你不必每一次都去检查。这样你就可以把已经不必再亲自做的工作转出去：在那些过去很麻烦的事情上省下时间和钱，或者把目前规模化不起来的事情做大。他认为，几乎每个人都有一些工作，做了会很有价值，只是没有时间去做。副驾驶是智能增强，委托是劳动替代。二者都可能带来变革，但它们描绘的是两幅不同的图景。

目前仍然缺失的是中间那一段：临时委托。你正在做事，想当场把一个更大的子任务交给模型。Labenz 说，智能体目前还做不了多少重要任务，所以人们只能被塞进实时帮助，或者一套经过仔细验证的工作流里。他预计，随着智能体开始真正工作，这道缺口会在一年内被填上。被问到认知工作的卸载究竟是不是好事，他同时持有两种看法。后稀缺世界并非不可思议。他引用 Sam Altman 的话，也不排除“所有人都完蛋”的结局。前提是，人类仍然掌控整体的走向。

他为自己的生产力而兴奋，也为那些本来花不起钱的人能以低成本获得专业知识而兴奋，其中包括他们目前请不起假去看的医疗咨询。他也保持着一份健康的担忧。Shipper 喜欢他不急于站队的态度。Shipper 之所以问认知卸载是不是好事，是因为对很多人来说，恐惧的情境占了上风，而乐观的一派往往戴着玫瑰色眼镜。Shipper 认为，找到真实的使用场景，是让 AI 成为创造力的助力，而不只是一个只会取代人的故事。另外，AI 也让人看清，那些很受重视的知识工作里藏着多少枯燥的苦活。一旦写作和经营一项业务中那些重复的环节被看清楚，他就把它们交给模型，然后不再为之费心。

对 Labenz 来说，编程是他最先想到的枯燥活儿。他并不是全职程序员，只是断断续续地写，也记不住语法。隔一段时间不写，他甚至会把 JavaScript 和 Python 搞混。让模型来敲那些相对简单的代码，往往能快好几倍，而且质量常常比他独自写的还好。它也降低了进入“编码模式”的门槛，他把这一步比作观鸟的人把眼睛对准目标的那一下。他说，读代码比写代码容易得多。输出的质量是“超级 Nathan”级别，即便还称不上超人级。

Shipper 进一步概括说，当前大部分文本模型做的都是摘要，而许多创造性工作，也不过是伪装起来的摘要。编程，就是把你在谷歌上查到的东西，总结成你的使用场景所需的确切形式。写作，则是把书籍、对话和借来的观点加以总结，然后决定它们的先后顺序。一旦你看清了这类工作，你就不会再手工去做了。Labenz 在播客中用 AI 做过经典的摘要任务，比如给讨论话题做带时间戳的提纲，但在把节目内容改编到不同平台上这件事上，他做得还不够多。凡是以他本人名义发出去的东西，他基本都不用 ChatGPT。节目里中性的旁白没问题，但用 Nathan 的口吻去综合，还做不到。这正是他想带走的攻关思路。

Shipper 对写作问题的回答，是拒绝委托。失败的模式就是“你直接把整件事都做了吧”。而把模型当作微任务的副驾驶，却是管用的。举个例子：他正在写 Sam Bankman-Fried、FTX 的崩溃，以及功利主义和有效利他主义是否起了推波助澜的作用。他学过哲学，读过很多 Peter Singer，但有段时间没有写过三四句话的功利主义概述了。平常这大概要花三个小时重读。ChatGPT 则按他需要的语境给了一个概述。他没有整段照搬，而是把它改成了自己的语气。这就是这种模式：模型做微任务，而他发表的东西里，没有哪一段是整篇照搬 ChatGPT 的。

他常常更早就开始了：一边散步一边录音，把联想一股脑倒出来，然后让模型转写、总结，并提炼出文章点子。有了想法之后，他会先写一份非常杂乱的文档，里面是引文、句子和零碎的片段。等他到了“我都不知道该从哪里下手，这太乱了”的地步，他就把整份文档粘进去，请模型把这团乱麻整理成提纲。那些提纲其实很基础。他说，模型擅长的，是指出你因为离问题太近而漏掉的显而易见的解法。文章先提出问题，再谈解决方案，当然是这样写的。那是他写过上千遍的格式。当你对某篇“特别”的文章太过珍惜时，那个显而易见的结构，恰恰是你不肯看见的。

另一份好处，是帮你把自己真正想要的东西说出来，然后生成一批选项，直到其中一个正好是那个东西。他会要五十个比喻，四十九个不行，但只要一个很棒，或者能把他推向他最终真正写下的那个。Labenz 有一次是在散步时把一封信说出来，因为应用的转写很能听懂他，他就口头给出详细的修改意见，然后回到书桌前完成。他还在另一端使用 ChatGPT：对一封邮件或播客开场白说一句“帮我挑毛病”。Every 有熟练的人类编辑，但 Shipper 在截稿前一晚的凌晨两点，仍然会问模型怎么看一段开场白。Labenz 担心的是反方向的失败：一种自动补全，在你快要想清楚真正要表达的东西时把你带偏。如果核心观点还没有写出来，他就很难得到好的结果。他从中取的经验是：等核心观点有了，再用模型来排序和反复修改。

他们打开了 Labenz 的一段历史聊天记录。他是 Athena 的 AI 顾问。Athena 是他的朋友 Jonathan 创办的，Jonathan 是 Thumbtack 的创始人之一。Athena 以高薪雇用菲律宾的高级行政助理，目标是把 Jonathan 曾经拥有的那种变革性助理，提供给有雄心的创始人和高管。现场的问题是，AI 对这份工作意味着什么。Labenz 训练过助理使用 AI，也做过原型演示。Athena Chat 是一个内部使用的 ChatGPT，基于一个开源项目构建，目的是保存一份长期存在的客户档案，助理可以查询并更新其中的偏好、历史和背景文件，让它随着时间不断演化成一个枢纽。

尽管受过培训，助理们仍然需要有人指导他们怎么写提示词。于是他想做一个提示词教练模块：拦截人类助理输入的内容，用一条元提示词去运行，再检查是否符合最佳实践。你是否告诉了模型扮演什么角色、要做什么工作？你是否规定了回答的格式？你是否让它在给出最终答案前一步步思考？他说，人们最常见的自己给自己拖后腿的方式，就是把提示词写得让模型无法一步步把问题理清。凡是强迫立即给出答案、不给推理留余地的做法，都很糟糕。他甚至在一些学术论文里也看到过这种情况。

这些毛病来自更早的年代。第一个公开的指令模型是 OpenAI 的 text-davinci-002，发布于 2022 年 1 月。在那之前，你不会写“给我写一首俳句”，而是写“作者某某的一首俳句：”，然后希望它顺着这个模式接下去。学术基准当年是按“问题、答案、问题、答案，然后留一个空位给答案”这样构建的，靠少样本提示来打分，那时思维链（chain-of-thought）还没有被广泛理解。把这套脚手架搬到 GPT-4 上，它会尊重其中隐含的结构，直接跳到选择题的字母或一个数字上。与只给出单个问题、让它自己把推理写出来相比，质量会下降，而如今它默认就会这么做。他最近看到 Bard 先给出答案、后给解释；一旦错误答案摆在纸面上，解释就成了为它找的借口。他给助理们的记忆口诀是 AAA，也就是先分析（Analysis）再作答（Answer），永远如此。

在副驾驶模式下，他不会使用复杂的自定义指令。他一开始很天真：我在做这个 React 应用，我有点迷糊，你能解释一下它的结构吗？那个开源项目用了 React、Redux、slice 工具包和 saga，五样他都没接触过的东西。没有教程的话，他就得去搜“什么是 Saga JS”了。模型给了他一份概述，然后他注意到一个规律：如果你能把某种格式交给模型，而它本来就用这种格式给你展示过东西，那它就能很好地沿着这个结构工作。他让它写出打印文件树的命令，其中包括安装一个他没有的包。这是典型的开发者卡壳：三层嵌套的问题，概念上很清楚，时间却耗在安装上。接着他把文件名贴了进去，还没有贴代码，语义化的文件名已经足够让模型猜出这个应用是做什么的。

Athena Chat 是一个类似 ChatGPT 的环境，后台有客户档案、历史记录、模型和函数调用。他想在右下角做一个提示词教练模块：把提示词放进元提示词里跑一遍，并用颜色标出警示。他试着自己复制一个侧边栏模块，结果它出现在了错误的位置。他说明了问题，拿到了代码和说明；然后，就在视觉能力刚刚进入 ChatGPT 的时候，他把现状和想要的位置的截图贴了进去。在两三个小时里，他一行 React 都没写过，模型却写好了代码、CSS 和样式包的语法。他估计，如果没有帮助，要花两三天，相差一个数量级，而且大部分时间都耗在一百万人早就踩过的挫折上。

Shipper 点出了他在这段记录里最在意的地方：是一场双人舞。一开始，Labenz 既不懂 React，也不知道模块该放在哪里；模型不知道他是谁、想达成什么目标，也不了解项目的细节。他没有说“直接去把这事做了”。他问的是 React 项目是怎么运作的。两人之间的相互理解逐渐加深，于是他们一起完成了这件事。之后，他们只是在微调间距和居中。Labenz 对 AI 很有礼貌，他已经能看到一个未来：这种一段段割裂的关系，新开的聊天什么都不知道，而且一段对话只能延续到一定长度，会让位于能跟着你跨越各种任务的历史记录。Shipper 同意：自定义指令只是一步，记忆功能会让同一个模型有用得多。

Labenz 问，自定义指令里应该写多少内容。他要不要写上“Nathan 是 React 新手，不知道怎么安装任何东西”？Shipper 写了很多自定义指令，也有很多看法。第一栏是 ChatGPT 应该了解你的什么。关于他和 Every 的信息在网上已经足够多，模型已经知道他的名字；不必每次都重新介绍自己，这很有用。当他说想做一门课程时，自定义指令让模型把他当成一个正在搭建课程的作家和创业者。关掉之后，它就会问他想报什么课。

他在里面写下了一些重要的关系：他的姐姐、她的丈夫、她的儿子，还有他的女朋友，以及 Every 的同事，这样他就可以直接写“Kate”，而不必再加注释。再往下看，他写的是正在努力去做的那些事。他写道，他有一种拒绝别人的恐惧，这让他过于随和，而且他有点太投机，希望能更有战略性。ChatGPT 在那一刻，会提醒他关于自己的那些已有的洞察，并把他拉回自己的目标上。Labenz 自己的使用，仍然大多是零散的、冷启动式的，比如一个陌生的框架，或一份专利申请；他把让模型更贴近自己的核心工作，当作一个新年计划。在 Waymark，他已经在产品内部与语言模型密切合作，那是一种不同于 Shipper 那种互动双人舞的模式。

下一段聊天是 Waymark 的一项临时专利的图示。小企业用户粘贴一个网站 URL，产品会抓取内容，生成一份合成的画像，并接受一句简短的目的提示，比如给周六促销做一段视频。语言模型写脚本，计算机视觉从素材库里挑选图片。AI 出现之前，Waymark 只是一个容易上手的模板库。现在，内容由 AI 来生成。Labenz 把用户比作美术馆里的伯恩斯先生（Mr. Burns），大意是：自己不是艺术评论家，但知道自己讨厌什么。他们等待三十秒，看一段介绍自己生意的视频，然后要么继续，要么说不是这个，再给我一个。和大多数软件公司一样，他们不会去起诉专利侵权；他们只是不想被人纠缠。他把整个架构一股脑倒了出来，然后请模型给出能画出它的语法。

他们比较了 Mermaid、Graphviz 等工具，然后生成标记语言，把它粘贴进渲染器。经过几轮修改，模型开始糊涂了，工作记忆里的语法太多，于是他开了一个新的聊天，只保留最好的那张图，并请求局部修改。颜色编码出现了：绿色代表用户的操作，然后是抓取，然后分叉出图片的步骤。这张图让人看清哪些步骤可以并行，哪些步骤互相依赖；他说，即便是技术团队，或许也画不出这样的图。审美打分得先完成，才能挑出最好的图片。可维护的文本语法，对语言模型来说，也比渲染出来的图片更容易理解。他提到 DiagramGPT 是一个自然语言转 Mermaid 的工具，他们也讨论了哪些东西应该放在 ChatGPT 里，哪些应该交给专门的编辑器。GPT 目前还无法承载自定义的编辑器体验，所以眼下的循环是：模型写语法，另一个应用负责渲染。

副驾驶还顺带帮他办成了一件别的事。他发誓过很多年，要等替换车是自动驾驶的才肯换车，结果三个孩子之后，他买了一辆二手 minivan。经销商网站里满是各种配置等级，SE、SXT、AVP，这些代号暗含着天窗、后排屏幕和盲区监测。他用的是 Perplexity，他把它当作 ChatGPT 的补充，也是谷歌更直接的对手：对具体问题给出准确的回答，而不是一个头脑风暴的伙伴。他问，有哪些便宜又不太旧的 minivan，以及汽车是什么时候开始配 USB 充电的；他年纪够大，还记得点烟器充电器的时代，并不想再回到那个时代。他已经请 Perplexity 的 CEO Aravind Srinivas 来《The Cognitive Revolution》做过两次节目。现在，他把“Perplexity 水平”当作一个标准：不一定是坚如磐石的事实依据，但通常在他核实后是对的，足够用来行动。攸关生死的决定，他不会在没有更多核实的情况下做。按 Perplexity 的说法，车应该装个倒车摄像头，他把这句话转发给了妻子。在他的测试中，ChatGPT 的浏览功能第一轮给出的结果更慢，也没那么完整。他认为，在某个领域里，专门化的工具可以胜过通用模型。

问他最期待什么，Labenz 把这个领域领袖们的话当真。听听 Sam Altman 和 Anthropic 的 Dario Amodei 怎么说，你看到的系统在几年之内，可能在很多重要方面达到超人水平。人们之所以会各说各话，他说，是因为一个人可以在关键事情上超越人类，却未必无所不能，也未必不犯错。他预计 AI 会落在这个宽阔的区间里。最近谷歌 DeepMind 关于鉴别诊断的一项结果很引人注目。大约一年前，语言模型首次在医师执照考试上达到及格水平，但这可以被当作一场结构化考试而打些折扣。接着，它在这场考试上达到了专家水平。然后出现了多模态，能看懂 X 光片和组织切片，放射科医生仍然领先，但差距很小，他记得大约是 60 比 40 的样子。

这项新研究选用了医学期刊上的病例报告：困惑的、有教学意义的病例，而不是常规的感冒。AI 的鉴别诊断表现超过了可以使用 AI 的人类医生，而单靠人类的表现则垫底，差距相当明显。论文的结论很保守，只说医生需要更好的界面。Labenz 认为，这样说就把最重要的信息埋没了。另一个教训是，AI 的正确率大约是人类临床医生的两倍，大致在 60% 对 30% 左右。我们很少去衡量人类的表现，却把有执照的医生当作标准。世界上最好的医生也许能超过 60%，但大多数人接触不到那样的医生。他看到的是一个专业知识可以被激进地、廉价地获取的世界，这对机会平等是一次冲击，也会打乱工资结构，并变得政治化。他希望我们能享受到这些成果。

Transformer 并不是历史的终点，没有记忆的 ChatGPT 聊天也不是。过去一两周，状态空间模型频频登上头条，被视为可能的继任者、替代方案或取代者，它们在长期记忆、扩展性、速度和吞吐量上都更有优势。他强烈怀疑最终会是一种混合架构：大脑并不是由单一的重复单元组成的，AI 也会是由不同信息处理优势的架构拼合而成。四年之内，从 GPT-2 到 GPT-4 的跃进令人震惊；他认为接下来几年的变化至少同样大。这正是他一直放不下的 Mamba 那期节目，也正如他开头所说，那期节目的策略和结构，就是他与 Shipper 一起用“粘贴乱稿”的方法做出来的。提示词技巧的半衰期很短，架构才决定下一轮应用可能是什么样子。他用一期真正的节目来投票。