Arvind Narayanan 谈 AI 扩展、现实风险与模型基准的局限

Arvind Narayanan 认为，训练数据可能限制通过大幅扩大语言模型获得的收益。他说，更多算力仍然有帮助，但他预计，未来模型参数量和能力不太可能像早期几代模型那样，连续出现同等幅度的跃升。

Harry Stebbings 与 Narayanan 展开对话。Narayanan 是 Princeton 计算机科学教授，工作涉及 AI 技术研究、AI 的社会影响以及向政策制定者提供建议。他也是《AI Snake Oil》的合著者。

Narayanan 曾花多年研究加密货币，因为他希望去中心化能改善社会。到 2018 年，他逐渐失望：在他看来，技术不是为缺乏银行服务的人群提供服务的主要障碍，而用软件替换有缺陷的制度，也无法代替艰难的改革工作。

尽管 AI 存在危害，他认为其对社会的总体影响是正面的，而 Bitcoin 在他看来并非如此。他不会预测 AI 投资是否构成泡沫，但认为生成式 AI 公司在产品方面犯了一些严重错误。

ChatGPT 展现了许多创建者可能没有预料到的用途。Narayanan 说，一些开发者从中得出了错误结论，以为发布强大的模型就够了，用户会自己发现其余用途。他认为，产品市场匹配以及打造人们想要的东西仍然重要。

谈到更多算力是否会提升性能，他说，过去的进步部分来自更大的模型和更多训练数据。他认为 GPT-3.5 到 GPT-4 的进步主要源于规模扩大，同时指出相关训练细节尚未公开。

他预测，未来模型迭代中，参数量接近增加一个数量级并随之带来能力提升的情况会很少，甚至可能不再出现。他说，公司已经使用了能获取的大部分数据。算力仍可改进模型，但效果可能不如以前显著。

额外算力也可以帮助开发者以更小的模型实现相近能力。Narayanan 指出，相比最初的 GPT-4 一代，模型已经变得更小、更便宜，同时仍具备较强能力。他怀疑未来的 GPT-5 是否能带来早期几代模型那样的大幅跃升。

Stebbings 问及尚未利用的视频和合成数据。Narayanan 认为，即使视频数量庞大，提取语音文本并去重后，得到的文本 token 数量也可能相对有限。直接用视频训练可能解锁多模态能力，但他怀疑这会以同样方式从根本上改变文本能力。

他回忆，研究者曾惊讶地发现，主要使用英语训练的模型只凭少量多语言文本就能掌握一定的其他语言能力。他认为，许多类似能力已经体现在现有训练材料中，因此仅仅添加更多类似文本，未必能再次带来同样的意外突破。

Narayanan 区分了用合成数据改善质量与单纯扩大数据量。生成样本可以补充数据不足的语言，或提供数学题的解题过程。他怀疑一代代合成文本能够提供无限新信息，认为质量与数量同样重要。

Stebbings 指出，组织中的很多工作是隐性的：白板上的讨论可能永远不会出现在最终文档里。Narayanan 同意，被动吸收网络数据无法涵盖所有技能。他把某些组织知识比作骑自行车，认为模型可能需要通过在组织内部使用和获得反馈来学习。

这类学习并不总能靠被动观察完成。Narayanan 预计部署和反馈会很缓慢，类似自动驾驶汽车逐步推广：运营方积累经验并提高可靠性。这是他对采用过程的类比，并不证明两者的安全状况完全相同。

他说，能力并不总是采用 AI 的首要障碍。他认为，如果模型已经能完成的有用任务都得到实际部署，经济影响会很显著；成本是促使开发者使用较小模型的现实限制之一。

小模型也能在设备上运行，可能缓解处理电话内容或桌面活动的助手引发的隐私担忧。本地运行还能减少对专用推理服务器的需求，但模型更小本身并不能解决所有隐私问题。

Stebbings 问，硬件成本下降是否会消除这一问题。Narayanan 引用杰文斯悖论：使用成本降低可能扩大需求。他预测，随着模型进入更多应用，即使单次操作变便宜，推理总支出也可能上升。

简单文本聊天可能变得便宜，但持续分析电子邮件和大型文档仍可能消耗大量资源。他说，编程任务可以通过多次尝试并选择更好的结果，利用额外计算提高质量，因此即便单位成本下降，推理需求也可能增加。

训练算力用于构建模型，推理算力用于让用户运行模型。Narayanan 说，对于广泛使用的模型，推理可能占据生命周期成本的大部分。延长训练时间以构建较小模型可能增加初期支出，却能降低相同工作负载的服务成本，从而可能降低总成本。

Stebbings 引述一种说法：随着硬件和模型发展，每次训练前沿模型都需要新的数据中心。Narayanan 说，两者进展都很快，但他预计看似指数式的增长最终会放缓。他无法预测时间，并认为模型最终商品化是可能的。

他说，模型评估很困难，因为基准分数高也可能与令人失望的实际使用体验并存。开发者可能有意或无意地针对测试进行优化，却没有解决用户在现实中遇到的错误。

律师资格考试和医疗执照考试就是例子：回答考试题不等于完成律师或医生的工作。另一个问题是基准污染，即模型可能在训练时已经见过答案。Narayanan 更看重专业人士在实际工作中使用系统的证据。

讨论 AGI 时，Narayanan 使用一个务实的定义：能够自动化大多数具有经济价值任务的 AI。这个定义不需要先解决系统是否有意识、是否像人一样思考的问题，但达到这一目标仍会深刻改变社会。

他提醒人们不要过分相信科技公司 CEO 的时间预测：关于 AI 即将到来的预言已经反复出现了半个多世纪。他将进步比作登山，看似最后一步，却可能展现出更多复杂性。在他看来，单纯扩大模型规模的局限就是新显现的障碍之一。

Stebbings 问，一家公司能否在追求 AGI 的同时构建有用产品。Narayanan 认为可以，但同意管理层需要纪律，避免相互竞争的优先事项分散彼此注意力。他将员工离职和公司侧重点不同解读为这种张力的迹象，而不是两者无法兼顾的证明。

他认为，一些开发者过去曾以为产品开发没有必要，因为他们期待通用智能很快到来。他举出 ChatGPT 移动应用迟迟推出的例子，说明他眼中以模型为先的理念。他认为，行业如今更加关注产品是健康的变化。

前沿训练的成本引出一个问题：小公司和大学是否还能参与竞争。Narayanan 说，持续依赖越来越大的模型并非必然；如果模型商品化，模型之上的有用创意，包括智能体，可能来自小型初创公司或学术实验室。

Stebbings 提出，少数基础模型供应商可能依靠现有大型业务融资，其他公司则在其之上开发。Narayanan 认为这是合理的可能性，表示竞争和市场集中值得监管机构关注；他指出美国、英国和欧洲监管方对此已有兴趣。

Narayanan 认为，许多被称为 AI 监管的问题，更适合视为对有害行为的监管。他以虚假产品评论为例：与其要求模型判断评论是否真实，监管机构可以针对虚假评论本身，无论它由人还是 AI 撰写。

他大体同意允许试验并观察危害，但指出有些危害已知且严重。未经同意制作的私密深度伪造影响了很多人，其中主要是女性；他欢迎政府采取行动处理这一问题。

Stebbings 提到，深度伪造可能让人们不再相信真实新闻。Narayanan 将其称为“说谎者红利”。他对 AI 生成的选举虚假信息是否构成独特的新危险更加怀疑，两人对逼真伪造媒体会增加多少说服力存在分歧。

Stebbings 说，一家可信媒体公司可以制作令人信服的政治领导人伪造内容。Narayanan 接受这个例子，但强调来源可信度的重要性，预测人们可能越来越依赖自己已经信任的媒体。这只是预测，并不证明所有受众都会信任相同的来源。

Stebbings 仍然担忧，AI 图像可能广泛传播并煽动行动，包括通过强化已有信念产生影响。Narayanan 则认为，虚假信息往往是确认已有信念，而不是创造信念；在生成式 AI 出现之前，粗糙的篡改材料也可能造成伤害。

他承认 AI 使图像篡改变得更容易，但警告称，若主要把虚假信息视为模型问题，可能会忽视社会信任和传播问题。他认为社交媒体平台应承担特别责任，因为触达和说服受众是问题的核心。Stebbings 则仍然更加担忧内容本身。

Narayanan 尤其担心未经同意的私密深度伪造。他说，涉及 Taylor Swift 的高关注度案例出现后，这类问题得到了更多公众关注。他强调，这种侵害在最新一波生成式 AI 出现前已经存在多年。

他还指出，学生用 AI 做作业会把成本转移给学校。教师可能需要重新设计教学和评估，而他怀疑人们能否可靠地检测 AI 生成的文本。他没有断言 AI 必然使教育变差，但认为公司理想情况下应承担部分适应成本。

Stebbings 质疑 AI 能让每个人口袋里都有一位全科医生的说法，指出医生会对病人进行身体检查。Narayanan 同意这个担忧：当医疗昂贵或难以获得时，技术捷径看起来很有吸引力，但不会自动修复背后的医疗体系。

他支持负责任地将技术融入医疗体系：技术已经应用于影像检查，而 AI 或许可以协助诊断或总结病历。他说，一个难以及时看医生的人是否应该向聊天机器人询问症状，即便有防护措施，也仍是更困难的问题，他不知道答案。

谈到教育，Narayanan 将高度自驱的学习者与许多依靠社会关系学习的人区分开来。他警告，AI 开发者可能把自己的经历误认为典型学生的经历。

他称自己是一位自学型学习者，觉得生成式 AI 可以在使用书籍的同时帮助他提问、检验理解。不过，他怀疑这些工具很快就能成为大多数人默认的学习方式。

他认为，对近期大规模岗位替代的担忧有所夸大。他以银行柜员为例说明技术会改变工作的构成：自动取款机降低了经营分支机构的成本，而银行扩大了分支网络，仍需要人员完成其他任务。

他的更广泛观点是，工作由一组任务组成，自动化一项任务并不自动意味着整个岗位消失。他承认，翻译和图库摄影等一些职业已经受到明显影响，并没有声称每位劳动者都不受影响。

被问及 AI 是否比核武器更危险时，Narayanan 称这属于范畴错误：核武器本身就是武器，而 AI 是通用技术，可能促成有害用途，包括对关键基础设施的攻击。

他反对把封闭模型作为主要安全策略，理由是有能力的模型已经能在个人设备上运行，而全球一致限制的可能性很小。他主张社会为广泛可得的模型做好准备，并相应加强防御。

他以软件开发者使用自动化工具在发布前发现和修复漏洞为例。他希望 AI 同样能为防守方提供比攻击方更多的帮助；这是一种期待，而不是已经证明的保证。

Narayanan 说，GPT-3.5 和 GPT-4 之间的短暂间隔最初让他高估了进展速度，因为 GPT-4 此前已经训练了更长时间。在访谈时，他认为后来的模型在日常使用中并未从质上超越 GPT-4；这是一项主观且具有时间限定的判断。

他认为，进一步发展可能需要新的科学思路，而不是单纯扩大模型。他还认为科幻作品中的形象扭曲了人们对当前 AI 意识和自主性的恐惧；随着系统发展，他支持透明度、监测和监管。这些是他的观点，并非已经达成的科学共识。

在快问快答中，他重申排行榜往往无法反映系统在现实环境中的效用。如果能够改变 OpenAI，他会将公众了解 AI 开发的透明度置于公司商业利益之上。

他对智能体的期待平实但实用：设备能理解细致的指令，预订航班或帮助创建应用。被问到与 Nvidia 的竞争时，他指出一种有趣的现象：硬件公司正转向服务，而其他公司则进入芯片领域。

Narayanan 说，政策工作进展缓慢可能令人沮丧，但他不认同政策制定者只是缺乏智慧的看法。他认为，少数值得付出的成果足以说明技术专家参与政策的重要性。他对当时美国的做法表示乐观，同时说自己没有仔细研究所有其他国家的政策。

他说，自己欣赏 Yann LeCun 的观点：单靠语言模型并非通往超级智能的直接道路，还需要更多突破。他最后关心的是 AI 对儿童的影响，呼吁技术专家、父母和政策制定者考虑各种可能结果：可能非常好、非常坏，也可能介于两者之间。