Noam Shazeer 谈 Character.AI、模型训练成本与通用 AI 的用途

Harry Stebbings 问 Noam Shazeer 加入 Google 并参与拼写纠错的经历。Shazeer 回忆，当时的工具依赖一本约有 5 万个词的人工编纂词典。对于包含陌生名称和术语的网页搜索，这种方法效果很差；人们逐渐学会忽略把 TurboTax 拆成无关单词之类的建议。

Shazeer 说，团队研究用户为何对搜索不满意，发现拼写纠错是一个主要问题。Paul Buchheit 当时已经在处理这项工作，后来去度假；现有字幕中的这段故事到此中断。Shazeer 提到，Buchheit 后来成为 Character.AI 的投资人。

在 Google 工作二十年后，Shazeer 得出的一个经验是，拥有多种用途的通用技术可以向数十亿普通人推出。他记得早期公司曾重视企业搜索设备，但他说，更大的机会最终来自直接服务消费者。

这段经历影响了 Character.AI 的发展。Shazeer 共同创办这家公司，并在访谈时担任负责人。他介绍了一条直接面向消费者的全栈路线，覆盖从研究到产品的全过程。通用语言界面可以用于交朋友、做作业、头脑风暴，以及公司尚未预料到的用途；自己构建整个技术栈，也让团队能够协同设计各个部分。

Shazeer 说，他喜欢让计算机完成过去做不到的事情，也希望推动有助于解决更广泛问题的技术。他举出疾病和衰老等领域，希望 AI 最终能够协助相关研究。这些是愿景，并非 Character.AI 已经证明的医疗成果。

被问到公司使命时，他认为必须谦逊地看待一家公司能够控制什么。他喜欢的口号是“十亿用户创造十亿种用例”：公司可以提供通用工具，却无法预先知道人们最看重哪些用途。

例如，团队创建了一个心理学家角色，却更常听到用户说，他们从一个电子游戏角色那里获得了情感支持。Shazeer 说，团队没有预料到这种娱乐、陪伴和支持的结合。他将其作为用户反馈提出，而不是作为聊天机器人能够提供临床治疗的证据。

Stebbings 提到 2000 万用户和每天 4.5 亿条消息的数据。Shazeer 把增长归因于产品上线、保持通用性，以及让需求尚未得到满足的人找到自己的用法。他将此与大公司担心品牌风险、因而可能放慢产品推出的情况作对比；这些数字来自访谈，未经独立核实。

Stebbings 担心人们可能用机器取代人与人的关系。Shazeer 说，人际联系非常有价值，他不希望让人们远离这种联系。他转述用户反馈，称对话帮助他们练习社交；当 Stebbings 追问这是否反而会养成与机器交谈的习惯时，他说最终结果取决于用户自己。

Shazeer 认为，产品的核心挑战是让服务既有广泛用途又容易使用。他不认同为了易用就必须把产品限制在少数垂直领域的假设。公司的目标是打造一款能够满足多种需求、同时容易上手的通用工具。

Stebbings 问，通用系统如何提供人们通常认为专业化才能带来的深度。Shazeer 对比了旧式规则系统与神经语言模型。他用简化的方式解释，语言建模是根据前面的序列预测下一个词，而不是编写数百万条明确的语言规则。

Shazeer 在 2015 年前后被这个问题吸引，因为它容易表述，而且有大量文本可用于训练。他说，更好的预测可以支持越来越有用的对话和其他任务，而改进的神经网络与硬件让模型能力不断增强。他描述的是一条研究发展路径，而不是保证单靠规模就能解决所有限制。

他回忆，机器翻译在 2016 年前后是一个特别有用的应用。模型能够在不同语言间翻译，但在他看来，当时还无法进行有趣的对话或帮助完成作业。他认为，更好、更大的系统为获得更广泛的能力提供了一条路径。

Stebbings 问，2023 年的 AI 热潮反映的是近期技术进步，还是社会终于跟上了长期发展。Shazeer 认为两者都有：早期基于规则的聊天机器人很脆弱，而神经网络方法随时间不断改进。他记得 2020 年前后实验室已有令人印象深刻、但尚未发布的系统，并介绍了联合创始人 Daniel De Freitas 长期以来构建开放领域聊天机器人的愿望。

被问到模型规模和数据规模哪个更重要时，Shazeer 说关键约束是训练计算量。模型更大、训练时间更长，都会增加所需的计算操作。因此，更好的硬件决定了团队能够负担多少训练。

他说，Character.AI 当时使用的模型是在前一年夏天训练的，计算成本约为 200 万美元。他预计，更好的硬件和更长的训练会产生更强的模型。这一金额是他对该模型历史计算成本的描述，不是公司的总成本或当前价格。

谈到专有数据，Shazeer 把广泛的预训练比作一个人的通识教育，把特定应用的数据比作后来的岗位培训。他说两者都有作用：用户互动可以显示人们在具体用途中的偏好，而广泛的数据支持更通用的能力。

Shazeer 说，Character.AI 在注意隐私的同时，使用人们如何使用服务的汇总信息。他警告，如果简单地拿每段私人对话训练模型，模型可能会向别人透露某人的个人信息。这是他对公司做法和风险的描述，并非独立隐私审计。

Stebbings 问，为什么 Character.AI 应该作为独立公司存在，而不是成为大型社交平台中的一个产品。根据他在 Google 的经验，Shazeer 认为初创公司能够更快行动和推出产品，而大公司可能担心损害现有产品。他对所讨论的公司拥有直接商业利益。

被问到初创公司还是现有大公司会赢得这一轮 AI 浪潮时，Shazeer 说，用户可能从更多选择中受益，大公司和初创公司都能找到自己的位置。他还预计，随着硬件进步，曾经只有大公司才能完成的工作，未来也会向大学或个人开放。这些是预测，并非已经确定的竞争结果。

对于开放与封闭的开发方式，他预计生态中两者都会存在。即使一些大型机构将方法保密，小规模实验仍可能带来更多公开发表的研究。他还认为，同时服务大量用户可以带来显著的规模经济；他举出的百倍效率优势只是说明性的估计。

Shazeer 认为，AI 的许多最佳应用尚未被发明出来，并将当下比作电力或计算机发展的早期。他并不声称知道哪些应用最重要；在他看来，通用工具的意义就在于让用户自己发现。

Stebbings 问，幻觉究竟是功能还是缺陷。Shazeer 说，Character.AI 会明确告知模型存在幻觉，并预计早期用途会出现在虚构内容可以接受或有用的场景，例如娱乐。他也欢迎情感支持和生产力方面的用途，但他的回答并不能证明模型生成的说法可靠。

Stebbings 问，公司是否终将有一个明确的单一用途。Shazeer 把通用 AI 工具比作计算机、电话或电力：它们既可用于娱乐，也可用于提高生产力和其他许多目的。他不愿预先只指定一种用途。

谈到建立公司，Shazeer 感谢公司的研究人员和工程师，并说自己在担任领导者的同时仍从事技术工作。他希望继续担任首席执行官，帮助公司作出正确决策。他判断这个角色时，较少考虑它是不是最有趣，而更看重它是否是自己推动技术进步最有用的方式。

Shazeer 反思说，为人父母和宗教信仰帮助他把注意力从眼前的乐趣转向对承担有意义责任的感激。被问到在第一个孩子出生前会给自己什么建议时，他开玩笑说：先睡一觉。他还强调，要在家庭生活中弄清哪些是自己的责任，哪些不是。

在快问快答环节，Shazeer 预测 AI 的能力将大幅提升，并把当下比作莱特兄弟第一次驾驶飞机的时刻。他预计，在硬件和研究的推动下，一到三年内会出现显著进步。这些是他在 2023 年的预期，而不是经过验证的结果。

他说，Character.AI 从外部看可能像一款娱乐应用，但他将其描述为同时以 AI 和产品为先的全栈公司。在他看来，选择质量取决于模型质量的产品，可以让改进产品与推进底层技术的工作保持一致。

话题转向 AI 各种说法层出不穷时，判断专业能力有多困难。Shazeer 认为这个领域在某种程度上像炼金术：研究人员尝试许多想法，却无法准确知道什么会成功。他看重机器学习直觉，以及理解什么能在现有硬件上快速运行的能力，两者需要结合。

他说，负面结果可能反映错误或实现问题，而在已知任务上获得正面结果则为他人提供了研究和复现的对象。研究人员可以进一步问，为什么这种方法有效，以及自己能否采用。他讨论的是如何理解研究结果，并不是说所有正面结果都能推广。

反思错误时，Shazeer 回忆了 2012 年前后为提高稀疏计算效率所做的早期尝试。当时他还不了解，硬件执行稠密矩阵乘法的速度非常快，处理某些内存操作却慢得多。理解这一限制后，他开始探索由稠密组件构建的稀疏计算，并由此开展稀疏门控混合专家模型的工作。

被问到 Character.AI 在 2033 年会是什么样时，Shazeer 开玩笑说“在火星上”，然后表示自己完全不知道。技术变化让对一家公司的十年预测异常困难，因此他强调保持敏捷。Stebbings 感谢他接受采访，这场对话从 AI 延伸到了为人父母和责任。