Douwe Kiela 谈数据、检索与企业 AI

Douwe Kiela 说，企业使用语言模型面临幻觉、来源难以追溯、信息难以更新或删除，以及隐私和合规问题。他是 Contextual AI 的联合创始人兼 CEO，公司正试图解决这些问题；主持人 Harry Stebbings 在节目末尾披露，他投资了该公司。

Kiela 在荷兰读中学时自学编程，16 岁时构建了一个操作系统。随后他学习哲学，研究心智和语言等问题，再回到剑桥大学学习计算机科学，开展自然语言处理研究。

在 Léon Bottou 手下实习后，他进入 Facebook AI Research，和 Yann LeCun 等人共事。他说，这段经历教会他让研究聚焦于明确的现实应用，而不是追求远远超前于领域发展的研究。

Stebbings 问，Meta 是否捕获了 React 等开源工作的经济价值。Kiela 说，公司或许获得了较少的直接收入，但他认为 React 和 PyTorch 推进了公司的更广泛使命，也对整个领域产生了重大影响。

在 Hugging Face，Kiela 发现公司与他对开放科学的兴趣一致，并对其营销、品牌和社群建设印象深刻。他和联合创始人 Amanpreet Singh 曾在 Meta 和 Hugging Face 共事。ChatGPT 推出后，他们看到一个机会：市场热情很高，但企业部署仍面临重大障碍。

Kiela 列举的问题包括模型自信地编造内容、来源无法追溯、模型知识难以修订或删除，以及隐私、合规和延迟。他将 Contextual AI 计划中的架构描述为面向企业的应对方案，并未证明所有这些问题都已解决。

他介绍了检索增强生成：他说，他与 FAIR 的同事于 2020 年提出这一方法，将可检索的记忆与语言模型的生成能力分开，用检索到的信息支撑回答。他预计这能改善来源追溯、减少幻觉、支持记忆更新，并提升隐私和效率；这些是他对拟议方法的主张。

Stebbings 问，开放或封闭模型是否仍是黑箱。Kiela 同意，人们无法完全理解这种规模神经网络的内部运作，但他说，让模型学会依赖检索信息，可以为输出提供更强的来源依据。

对于“幻觉是功能”的说法，Kiela 区分了创意写作和关键业务任务。追求想象力的用户可能欢迎虚构内容并自行修改；需要可靠答案的企业流程则应更重视依据。

Kiela 认为当时领域发展迅速，预计一年内会出现许多新模型。他说，能够切换模型的初创公司可能受益，但也会依赖其他提供商。他相信新模型公司仍有空间，包括专注企业特定问题而非广泛追求 AGI 的公司；这一看法与他自己的创业公司有关。

Stebbings 问，专门智能是否能比通用智能更早实现。Kiela 同意，有边界的商业问题比 AGI 更容易解决；他说 AGI 这个术语长期以来定义并不清晰。随着底层模型进步，专用系统也能逐渐改进。

谈及模型规模，Kiela 认为在固定算力预算下，训练数据可能比参数量更加重要。他以 Meta 的 Llama 工作说明，用更多数据训练较小模型更长时间，可能比单纯增加参数更划算。他也说，如果算力和数据无限，大模型仍可能带来更多能力。

训练时间和成本取决于 GPU 数量以及资源如何分配。用太少数据训练的大模型可能训练不足；他认为业界此前低估了相对于模型规模而言数据的重要性。这是他对权衡关系的理解，并非普遍保证。

他说，现有大公司可能受益于数据优势，但很多有用的训练材料是公开的。他推测特殊数据可能有助于解释 GPT-4 的表现，并提到语音转录可能是获取播客文本的途径。他并未证明 OpenAI 用所有播客训练了 GPT-4。

被问及初创公司是否需要专有数据时，Kiela 说答案取决于业务。深科技模型公司受益于数据飞轮，而基于强大语言模型构建的应用有时可以用较少数据起步。他还介绍了一种可能性：利用更强的模型生成数据，再训练成本更低的专用模型。

他概述了构建聊天系统的三个阶段：以预测下一个词进行预训练，通过监督微调学习遵循指令，再通过人类反馈强化学习改进回答质量。他承认这一概述省略了许多关键实现细节。

Kiela 欣赏 OpenAI 获取数据的方式，并说 ChatGPT 的流行让它了解用户需求，也可能带来数据优势。他不赞同领先实验室没有护城河的说法，还提到推理服务的规模经济。他说自己喜欢开源，但认为假设开放模型自然就能赶上资源雄厚的封闭模型过于天真。

Kiela 说，评估模型很困难。如果模型在训练期间看过评估材料，静态测试可能受到污染；用一个模型评判另一个模型也有问题。他认为面向特定用途的独立评估有商业机会；他并未证明任何特定模型的基准成绩受到污染。

他提到 HELM 和传统自然语言处理基准，随后指出静态测试集可能被过度拟合。他参与的 Dynabench 工作强调让人类对抗者动态尝试破解模型；发现失败有多难，可以帮助追踪进展。这种方法有助于解决评估问题，但不能解释所有能力。

Kiela 预计提示注入和其他攻击会带来安全与审计需求。随着模型生成代码或执行操作，受操纵的系统可能造成损害，例如删除数据库。他预测外部专业公司可能提供这一层服务，同时承认初创公司和现有安全厂商都在探索。

他把模型供应想象成金字塔：顶部是昂贵的前沿模型，底部是小型开放模型，中间是可能适合追求性价比企业的中等规模模型。他预计不同应用会使用不同模型，而不是由一个模型包揽所有场景。

Kiela 预计开放模型在研究和部署中会持续发挥作用，但怀疑资源不足时它们能否达到前沿水平。他将当时开放模型的繁荣很大程度归因于 Meta 提供 Llama，并认为训练超大模型的成本构成障碍。这是他在 2023 年的预测，并非已确定的结果。

讨论暂停 AI 开发六个月的提议时，Kiela 对竞争动机开了个玩笑，并认为部分公共叙事受到自身利益驱动。他承认一些担忧是真诚的，灭绝风险也并非零，但个人认为其概率极小，并将其与核战争、疫情和气候变化等其他风险比较。

他认为，现有大公司可能从小公司难以承担的监管中受益，而危言耸听的叙事也可能使部分参与者受益。他没有指名某个人，也没有为关于动机的普遍判断提供证据；Contextual AI 自身也关心监管如何对待初创公司。

Kiela 说，AI 社区应更好地帮助监管者和公众理解系统能做什么、不能做什么。他担心欧洲过度监管会伤害创新并偏向现有大公司，同时表示自己不是欧盟规则细节方面的专家。Stebbings 也表达了担忧；这些是两人的政策观点。

谈及企业采用，Kiela 预计会出现一波浪潮，但说 2023 年已有实验和部分生产部署。他预计采用过程会逐步推进，企业需要找到合适的用例，并解决幻觉、来源追溯、隐私、延迟等障碍。Stebbings 提醒，实际采用可能比市场热情暗示的更慢。

银行不愿将交易数据发送到本地环境之外，带来了困难的部署问题。Kiela 描述了将客户数据平面与模型平面分开的方法，可能让数据留在客户的虚拟私有云中，同时在其他地方部署模型。他说分离检索与生成可能支持这种混合模式；实际隐私保障取决于具体实现。

被问及大额 AI 融资时，Kiela 说潜在上行空间可能使其合理，但一些公司现在必须满足很高的预期并创造收入。他警告，如果热情转为失望，资金可能枯竭。作为获得融资的 AI 创始人，他与这一市场有利益关联。

他称赞 Microsoft 与 OpenAI 的合作是一项强有力的战略举措，并好奇 Apple 将如何发展 Siri 等助手。他认为该领域仍处于早期，重要技术问题尚未解决。

他说，AI 公司不必位于硅谷，但当地办公室有助于从大学招聘。他还希望社区降低炒作，关注真正有效的技术，并进行比社交媒体短句更深入的讨论。

Kiela 看到企业实施 AI 的帮助需求，无论提供者是初创公司还是现有云服务商。他的哲学背景帮助他在不同抽象层次上思考，包括那些尚未清晰到可以进行科学检验的 AI 问题。

他承认自己低估了规模的价值，曾轻视通过增加算力和数据而非发明新算法取得进展的工作。回顾过去，他认为这一判断是错误的，并称赞 OpenAI 有效推进了规模化。

被问及超级智能时，他说这个术语定义不清，并指出计算机很久以前就超过了人类的计算能力。按照能完成许多具有经济价值的人类任务的 AGI 定义，他预测未来五到十年会出现重大的经济岗位替代。这个时间表是他的推测，并非已经证明的结果。

Kiela 说，他早年学到的一课是把人放在野心之前，对同事多一些同理心。展望十年后，他希望 Contextual AI 的方法能成为领先的一代语言模型技术；这是他的愿景，不是已经取得的成果。随后 Stebbings 感谢他让自己投资。