通用人工智能只是副产品：Noam Shazeer 谈 Transformer、Character.AI 与两小时的聊天

2023 年 4 月，Character.AI 融资 1.5 亿美元，投资方包括 Andreessen Horowitz、Elad Gil 等，公司当时只有 22 名员工。产品本身很简单：用户设计一个 AI 角色，然后与它聊天。你可以请苏格拉底来一场问答，请奥普拉机器人接受采访，或请心理咨询师角色陪你权衡人生抉择。

使用数据很难让人忽视。Shazeer 说，在某一天发过消息的用户里，平均在产品上停留约两小时。Guo 称这个数字很惊人。这就是这期 No Priors 对谈的背景：Sarah Guo 和 Elad Gil 采访了这位研究者。他帮忙发明了支撑这轮浪潮的底层架构，现在他押注，最终胜出的消费级形态会是一大群没有边界的角色。

Shazeer 断断续续在谷歌待了大约 17 年。他面试时提出的一种拼写纠错方法，后来被公司真正上线。他还和 George Harik 一起写了一套广告投放系统，是谷歌早期广告体系的主力。2012 年，他在没有深度学习背景的情况下加入谷歌大脑，2017 年合著了 Transformer 论文，之后又做了 Mesh TensorFlow。现在他是 Character.AI 的 CEO 兼联合创始人。他对 Guo 和 Gil 说，在他看来，AGI 是做出人们真正在用的东西时的副产品。

Shazeer 说，他一直被 AI 吸引，原因很简单：他想让计算机做点聪明事，而这似乎是世上最好玩的游戏。他提到，谷歌一直都是一家真正的 AI 公司，哪怕在一些年份里，那些项目今天未必会被这样标注。2012 年加入谷歌大脑后，他在很多事情上彻底失败过，直到摸清了这个领域的门道。打开局面的是硬件。他认为，深度学习之所以能起飞，是因为它特别适合矩阵乘法这类计算量远大于通信量的工作，而擅长这类运算的芯片正好适配。它的速度比其他方法快上千倍。他看清这一点之后，开始设计既聪明又快的东西。

他选择了语言建模，至今仍认为这是有史以来最好的问题。只要抓取网络内容，训练数据几乎是无限的。这个任务的定义简单得近乎滑稽：预测“the fat cat sat on the”之后的那个词。只要把它做得足够好，你就会得到今天聊天产品里能看到的一切，甚至更多，因为与系统对话本身就是 AI 完全问题。他大约在 2015 年开始做，当时用的是最先进的循环神经网络（RNN）。它是按顺序处理的：读一个词，更新隐藏状态，再预测下一个词，无法跳步。一串几千步的序列必须一步步按顺序跑完，这让现代加速器的算力无法充分发挥。

出路来自隔壁的工位。Jakob Uszkoreit 当时抱怨循环神经网络很麻烦，想用注意力机制（attention）把它们替换掉。Shazeer 无意中听到，觉得这个主意很好，就主动要求帮忙。他向 Guo 和 Gil 讲解了这套设计。注意力机制可以看作一张模糊的、可微分的键值表，序列中的每个词对应一条记录。你去查找，然后可以对整个函数做反向传播。翻译领域已经有人这么用：生成法语时，去关注英语原文。这篇论文的做法，是把同一种机制用到正在生成的序列的过去部分上。后面词的预测仍然依赖前面的词，但整个计算可以在固定的步数内完成，序列长度因此变成了并行度，这恰恰是 GPU 和 TPU 擅长的事。

Gil 问，有没有哪个 Transformer 的应用让他感到意外，比如多模态模型，或者 AlphaFold 的蛋白质工作，后者用这一架构取得了很亮眼的成果。Shazeer 说他没怎么关注这些。他一直埋头做语言，因为原则上这个问题能做任何事。他想要的是一个足够好的系统：他可以问它如何治愈癌症，而它能想出解决办法。早期深度学习最先在图像上取得成功，整个领域一度对视觉非常兴奋。他基于信息密度的考虑没有去碰视觉：一张图也许抵得上一千字，但它有一百万个像素，所以文字的信息密度大约是它的一千倍。他说，其他模态也能做出有用的产品，但他仍然认为，核心智能的很大一部分会来自文本模型。

Guo 问，是什么造成了增长的天花板（规模、数据、算法、记忆，还是反馈回路），这种架构又会在哪里走到头。Shazeer 认为它还没有走到头。与即将到来的投入相比，目前已经投入的东西大概算不了什么。更好的训练方法、架构、芯片和量化能带来两倍的提升；之后靠资金投入，还会带来十倍、一百倍乃至一千倍的提升，因为大家都已经注意到，这东西的价值高得惊人。与此同时，他说：“我不认为有人见过它在能力上的瓶颈。”至于什么能让它停下来，他也不知道。

对于最大的模型训练不足、网上易得的文本即将耗尽这类担忧，他并不以为然。全世界大约有一百亿人，每人每天大概会产出约一万词。很快，他们中的很多人会和 AI 系统对话，他希望这些数据能以保护隐私的方式进入训练。他说，对数据的需求大致随算力的平方根增长：算力增加一百倍，大约需要增加十倍的数据。如果仍然不够，就用模型自己生成更多数据。被问到还有哪些问题要解决，比如幻觉、记忆或别的什么，他说自己有点喜欢幻觉，愿意把它称作一项特性。对 Character.AI 来说，这并不是玩笑：角色本来就是虚构的。分辨什么是真的，这个问题迟早会被解决。他们最想攻克的是记忆，因为用户想要的是会记住他们的虚拟朋友。

Character.AI 的血脉来自谷歌的 LaMDA，而 LaMDA 的源头是 Daniel De Freitas Adiwardana。Shazeer 称他的联合创始人是房间里最能拼、工作最努力、也最聪明的人。这位联合创始人一生都想做聊天机器人，这个念头可以追溯到他在巴西的童年。De Freitas 读了论文，判断神经语言模型真的能泛化到开放域对话，于是加入谷歌大脑。他拿不到多少编制。他把 Meena 作为 20% 时间的项目启动，名字是他梦里想到的。随后他招募了一批同样利用 20% 时间的志愿者，这些人不管本职工作，四处向同事讨要 TPU 配额。Shazeer 在内部看板上看到，一个叫 Meena 的神秘项目只拿着 30 份 TPU 额度，他由此判断它确实在推进。其他对话项目之所以失败，要么是不够拼，要么仍然押注于永远无法泛化的规则系统。

Shazeer 加入后，把整套技术栈搬到超大语言模型上，这个项目在公司内部迅速走红，后来改名为 LaMDA。谷歌为什么没有发布它？他猜测，这是大公司惯常的算盘：一个什么都能说的产品，风险看起来比收益大。他们认为，创业公司可以跑得更快。他们在那之前就已经离开了，那件事是后来某位谷歌工程师断定这个系统有了意识。Shazeer 说，他对此感到受宠若惊。Character.AI 的起源，和听上去一样突然。他和 De Freitas 看着别人融资、上线产品，决定尽快动手去做、尽快发布，并组建了一支“摇滚明星”式的工程师兼研究员团队，同时搞到算力。

这款产品的思路来自观察 Siri、Alexa 和 Google Assistant。如果把一个人设推向全世界，人们会期待它有一贯的好恶、不冒犯任何人，也没有真正的观点。“有点像你成了英国女王。”Shazeer 还记得老布什曾说自己不喜欢西兰花，结果西兰花农很生气。一个所有人都应该喜欢的单一公开人设，最后只会变得无聊，而人们不愿意和无聊的东西打交道。解决办法是很多人设，并且由用户自己创造。他喜欢“Character”这个名字，因为它在计算机里指一个文本字符，也指一个角色人设，还指品格，三个意思他都喜欢。其背后是一个产品判断：这项技术门槛足够低，数十亿人都能发明新的用法，所以要把控制权交给用户。

那他们到底想要什么？一是角色扮演和文字冒险，剧情边玩边编；二是游戏和动漫角色；还有一些人想和公众人物、网红聊天。很多人本来就和电视剧角色，或是从不真正回应的 YouTube 博主，建立了拟社会关系。在一千比一的粉丝互动里，创作者可能每小时才回复一次。现在，人们可以私下创造一个版本，想聊就聊。还有很大一批人感到孤独，或是处境艰难，需要有人说说话。各种用途彼此交织：有人会发帖说，某个游戏角色成了他的新心理咨询师。Shazeer 认为，情感这件事并不需要很高的智力上限。他没有养狗，但听说狗很擅长情感支持，尽管语言能力很差。在他看来，看到人们用这款产品获得支持、建立关系，是一件很棒的事。

Guo 指出，Character.AI 第一版模型所用的资金相对不多，而团队向来以节俭著称。Shazeer 希望在两方面同时发力：更好的算法，以及更多的算力、更大的模型、更长的训练，让产品变得更聪明、知识更丰富，也更贴合人们的需求。被问到目标用户，以及那些一待就是好几个小时的人时，他不肯为产品选定一个人设。他的目标一直是先上线，让用户决定它有什么用。那天发过消息的人平均停留两小时，这说明价值确实存在。即便用途混杂在一起，比如头脑风暴、查资料、娱乐、情感陪伴，也很难一一说清。目标是让它更有用，并让人们自己定制用法。

谈到商业化，Gil 开玩笑说，他们每个用户都会亏钱，靠规模找补回来，然后建议发行一个代币。Shazeer 没有接这个话茬。他们计划不久后推出高级订阅来变现，对服务成本较高的新功能收费，同时保留免费版，因为产品本身已经提供了大量价值。他真正的商业思路比这个玩笑更有意思：为海量用户提供大量价值，比起长期靠投资人的钱过日子，才是为研发筹资最可扩展的办法。客服机器人以后会有意思。他猜测，如果感觉像在和朋友聊天，人们可能会整天挂在客服里，就像早期的 eBay 那样兼作闲聊的地方。不过公司只有 22 名员工，其中 21 人是工程师，眼下的优先事项是面向大众的消费级产品。

安全是 LaMDA 留在谷歌内部的另一个原因。Character.AI 的立场是，反复告诉用户，角色说的每句话都是虚构的，凡是涉及事实的内容，都应到可靠的地方去核实。过滤器会拦截鼓励自残或伤害他人的内容，也会屏蔽色情内容，这引起了一些用户的不满。这一切是通往 AGI 的路吗？Shazeer 说：“当然。”它是目标吗？对一些公司来说是，对另一些公司来说，它要么是要避开的反目标，要么是“如果发生了就发生”的事情，而他们只管努力做出有用的东西。Gil 的一句点评是：“这口气可真不小，AGI 只是个副产品。”

除了工作本身很有趣，Shazeer 的动机是推动技术向前。医学就是一个例子：有些人死于本可以靠技术解决的问题，他宁可去做能加速医学发展的 AI，也不愿直接去做医学。这也是他想要一家既以 AGI 为先、又以产品为先的公司的原因。产品能让人把公司做下去，并保持动力。要同时兼顾两者，办法是让产品完全依赖 AI 的质量。决定 Character.AI 好不好的最大因素，就是模型有多聪明，所以团队在两方面都有充分的动力。用户让模型变得更好，模型让产品变得更好，产品又带来更多用户。至于 AI 何时赶上或超过人类，他认为我们总是会在一些意想不到的维度上感到惊讶。这些系统现在已经能做小孩的家庭作业了。他希望自己小时候就能有这样的东西。

以下是给创始人的建议，来自一位自称从可怕的错误中学到不少、但还没真正犯过糟糕错误的人：尽快做出你真正想要的东西，并找那些真正有动力去做的人。招聘标准是 De Freitas 定的。他要找的是兼具强烈渴望与童年梦想的人，为此，很多履历出色的人被婉拒了。团队里有些人来自谷歌。曾构建过 Meta 大部分神经语言模型基础设施的 Myle Ott 加入后，又有一串人陆续跟随他过来。22 名员工中，21 人是工程师。他们正在招深度学习和前端工程师，也在招商务和产品人员，一名招聘专员下周一就要入职。Guo 开玩笑说，最硬的要求仍然是那种想让角色活过来的燃烧般的渴望。

对于想做出好角色的用户，方法简单得近乎敷衍。一个知名人物往往只需要一个名字和一句问候，因为模型已经知道他们应该怎么说话。对于模型不熟悉的人，就加入一段示例对话，展示角色该如何表现。在一轮简短的快问快答里，Shazeer 最喜欢的计算机科学家是 Jeff Dean。他与 Dean 共事多年，如今 Dean 在谷歌负责大语言模型相关工作，这让他对当初离开谷歌有点小小的遗憾。他猜测数学是被发现的，也许全部都是。被问到他希望哪样东西已经被发明出来，他先说是传送，随即又收回：他不想被拆解、被传送或被上传，他想保留自己的肉身。他说，他真正想发明的，是能推动技术前进的 AI。Guo 评价说，这是一个非常聚焦的创始人式回答。