David Luan 谈模型扩展、AI 智能体与芯片产业链竞争

David Luan 认为，AI 模型的进步不必只依赖扩大基础模型。他预计，通过交互和反馈学习的系统会消耗大量额外算力，并预测模型开发者和芯片供应商会面临进入彼此业务领域的压力。这些是他在 2024 年的技术与商业观点。

Harry Stebbings 采访了时任 Adept CEO 兼联合创始人的 Luan，讨论他在 Google Brain 和 OpenAI 的经历，以及对 AI 智能体的愿景。Adept 当时正在为企业工作构建智能体，因此他的产品和市场说法与自身商业利益直接相关；节目简介还将 Nvidia、ServiceNow 和 Workday 列为投资方。

Luan 回忆，Google Brain 是一个有才华的研究者可以自下而上探索开放问题的地方。他将 2012 至 2018 年的深度学习时期描述为研究快速进步的阶段，研究者受到好奇心和新思路驱动，而不只是追求近期产品目标。

他说，Google 在 2017 年推出的 Transformer 为不同机器学习任务提供了一种适用范围很广的架构。在 OpenAI，他回忆曾与 Ilya Sutskever 合作，让团队专注于使用它。他对通用模型的描述是一种总体概括，并不是说每项 AI 任务都使用相同架构。

为什么 ChatGPT 多年后才出现？Luan 说，模型逐渐改进，直到跨越实用门槛；随后技术还需要面向消费者的易用包装。早期 GPT-3 通过 API 面向开发者，而对话界面让更多人能够尝试。

他将松散组织的研究与围绕机器人控制、游戏或语言模型扩展等重大目标组建大团队进行对比。他认为 OpenAI 较早认识到这种转变的重要性，也说这影响了 Adept 的组织方式。

Stebbings 问，更多算力是否会产生递减回报。Luan 区分了增加一块 GPU 与算力翻倍：他说，前者可能带来递减的增量收益，而历史上连续翻倍通常产生更可预测的改进。这是他对扩展规律的解释，不是对未来进步的保证。

他描述了算力可能改善模型的两种方式：一种是用更多数据训练更大的基础模型；另一种是用算力让现有模型与环境交互并收集反馈。他认为，随着越来越大的训练运行变得昂贵，后者可能更加重要。

对于数学，他建议让模型使用工具和定理证明环境，尝试解题、评估结果，并从成功与失败中学习。这是他提出的研究方向，并不能证明这种方法已经解决通用推理。

Luan 说，大型基础模型训练可能耗费越来越多资金，促使人们探索模拟、合成数据和强化学习循环。他预计这些方法也会消耗大量算力，因此他不认为算力带来的进步很快就会耗尽。

Stebbings 指出，组织中的许多工作发生在对话和白板讨论中，而不是整齐记录的数据集中。Luan 同意，智能体与聊天机器人的要求不同。创意生成可以帮助人们克服空白页面问题，但处理税务或物流的智能体不能随意编造事实。

Luan 把某些能力称为“最低可用能力”：模型扩大后可能跨越某个门槛，使任务变得有用。他回忆 GPT-2 的算术能力在特定规模时有所改善，同时说这种门槛很难提前预测。更多算力并不保证某种能力会按固定时间表出现。

他将推理定义为组合已有想法以得出新想法，并认为单纯扩大互联网文本训练规模可能不够。他预计需要额外研究以及与环境的交互来改进模型本身，因此推理既是应用开发者的问题，也是模型开发者的责任。

由于成本因素，他预测长期最多大约会有 5 至 7 家前沿语言模型供应商。他还预计许多公司会追求类似的推理方法。供应商数量以及它们将解决推理问题的说法都是预测，而不是既定结果。

谈到记忆，Luan 区分了短期上下文与有关用户的持久信息。他将更长的上下文窗口视为进步，并认为应用开发者可以在更大的软件系统中管理长期偏好，例如记住旅客的座位选择。

Luan 认为大型云供应商有强烈动机控制模型层，因为模型可能成为访问底层计算的重要界面。他的预测取决于软件与客户行为如何演变，并不能证明获取硬件将变得无关紧要。

他预计模型供应商会投资自研芯片，而 Nvidia 等芯片公司会向模型领域发展。较低的训练成本可以让开发者在规模或额外训练上投入更多。他举出的 20% 成本优势只是一个假设比较，而非实测性能结果。

Stebbings 问，Nvidia 技术是否太先进，以至于难以被取代。Luan 同意竞争极其困难，但以 Google 投资 TPU 为例，说明有决心的公司可以开发替代方案。Adept 与 Nvidia 的关系与他对这个市场的评价有关。

他看到了两种可能的优势来源：在用户设备上运行有能力的模型，以及在云端运行能力最强的模型。他认为，小型本地模型可能以较低成本处理狭窄或隐私敏感任务，而更困难的推理和生成可能继续需要更大的系统。随着技术进步，这些边界可能改变。

谈到 Apple 与 OpenAI 的安排时，他称赞 GPT-4o 以及能够处理多种输入和输出的多模态模型的可能性。他说自己不了解交易细节。他还认为，如果底层模型供应商可以互换，控制界面的公司可能受益；两种解释都是他自己的看法。

Luan 预计主要云厂商会支持自己的模型工作，而独立供应商可能需要紧密的云合作关系，或足够的营收来资助持续开发。Stebbings 提出拥有大型自由现金流业务作为例子；Luan 同意这说明了所需规模，而不是某家特定供应商已经实现的结果。

他认为 Adept 不同于纯模型 API 企业：公司旨在构建能够完成委派工作的智能体，并整合用户界面、可靠性和底层模型。他支持控制整个产业链的观点反映了 Adept 的选择，不能视为所有智能体都必须如此的已证明条件。

Luan 说，即使组织使用相同软件，企业工作流程也可能不同，因此泛化很困难。Adept 计划让用户演示工作流程，再由智能体学习重复执行。他认为这种广泛方法能优于专注狭窄行业的竞争者；这是公司 CEO 提出的竞争判断。

Stebbings 问，这与机器人流程自动化有何不同。Luan 说，传统 RPA 适合高频、可重复的流程，而智能体旨在朝目标前进时逐步评估和规划。他预计两种方法会并存，尤其是在必须保证行为可预测的场景中。

他认为，现有 RPA 实施通常涉及漫长的流程梳理和工程开发，而智能体可能通过演示和自然语言指令学习。这描述的是他的预期产品模式，以及对现有厂商的潜在冲击，而非对所有 RPA 部署的已验证比较。

谈到定价，Luan 不认为所有 AI 产品都会按工作量收费。他认为重复性任务可能适合这种模式，但知识工作智能体可以作为帮助人们完成新事情的助手来定价。他对定价的观点是一种预期，并非已经确定的行业结果。

他同意，副驾驶产品对于现有厂商可能是一种有吸引力的策略，因为它可以利用现有分销渠道；但他也认为这是让人们指导 AI 的有用方式。他不认同 AI 必然替代每个岗位的假设，更支持增强人类创造力的系统。

Luan 引用投资人 Scott Belsky 提出的“人才栈收缩”概念：一个人在专业 AI 的协助下，可能同时负责产品、设计或工程。他预测个人职责范围会扩大，并出现由工具组成的团队，但对组织和就业的影响仍不确定。Belsky 是 Adept 的投资者。

谈到企业采用，Luan 说，某些用途已经找到产品市场匹配，但 2024 年的大部分支出仍属实验性质。大型企业仍在运行旧基础设施，因此他预计采用周期会很长。他说，Adept 尝试争取来自运营预算的合同，而不是依赖实验预算。

Stebbings 问，AI 是否会经历类似他所描述的自动驾驶长期停滞。Luan 说自己没有从事过自动驾驶，但认为两者存在区别：有用的 AI 应用已经部署，他也相信进一步的科学进展能够提高能力。这只是比较和预测，并不能证明停滞不可能发生。

Stebbings 认为 AI 实施服务公司可能比模型供应商规模更大。Luan 预计，服务公司会先填补模型与企业需求之间的早期缺口，随后可重复的软件产品会获得更多价值。两人的分歧涉及未来行业结构，访谈没有给出确定答案。

Luan 担心大型现有企业可能俘获监管，使新公司和开源项目更难竞争。这是一位初创公司创始人的政策担忧，并非证明某项具体规则已经被俘获。

对于开放与闭源系统，他认真看待滥用和安全问题，包括 AI 帮助发现漏洞的可能性。他说 AGI 很难推理，因此更倾向于评估技术可能的发展路径，而不是依赖一个未定义、无限的能力概念。

他预测，由于前沿开发成本高、激励不同，未来五年开放模型会落后于闭源模型。在他看来，开放模型仍能帮助更广泛的领域跟上现有大型企业。这个时间表和能力比较都是 2024 年的预测。

Luan 更希望看到 AI 作为队友和助手，而不是在不考虑人类优先事项的情况下追求自身目标。他认为，开发者应该先考虑人们如何监督、纠正和使用 AI，再围绕这些交互设计界面、训练数据和模型。

Stebbings 问，这是否只是提示词。Luan 说，合作比在聊天框中给出指令丰富得多：人们会共享文档、白板和视觉上下文，并在工作时相互纠正。他认为，随着模型能力增强，人机交互需要更多关注。

在快问快答中，他预测聊天机器人和智能体会成为不同产品：一些系统支持丰富的代用户行动，另一些则专注对话。他还认为，AI 通常会增强人类能力，而不是按顺序整齐地自动化每一份工作。

他对五年后的设想是一种界面：人们表达高层目标，再利用 AI 协助在更高抽象层次工作。他将其比喻为非侵入式脑机接口，而不是声称 Adept 已经制造出这样的设备。

他说，这一愿景可能失败的一个原因是，现有厂商将应用封闭在各自的生态中，使智能体无法跨越工作流程。他认为，跨越多个软件领域的能力是这一机会的核心。

Stebbings 将机会与现有 RPA 市场比较，质疑其规模。Luan 推测，智能体可处理的工作量可能是 RPA 的 1000 倍甚至 10000 倍。他明确表示这只是数量级猜测，而不是经过测量的市场规模或已证明的结果。