Aravind Srinivas 谈推理、模型经济性与 Perplexity 的建设

Perplexity 联合创始人兼 CEO Aravind Srinivas 告诉 Harry Stebbings，未来的模型可能通过先给出答案、寻求反馈，再重新推理来改进结果。他也认为，基础模型变得更便宜时，应用公司可能受益。这两项主张都是 2024 年的预测，也反映了 Perplexity 的商业利益。

Srinivas 几乎是偶然进入机器学习领域的。读本科时，他因为需要实习机会或奖金，在不了解这一领域的情况下参加了一场预测竞赛。他探索了 scikit-learn 库，尝试了当时尚不理解的方法并赢得比赛，从而有信心继续学习。

他回忆 Sam Altman 给过的一条建议：判断天赋的一个线索，是某件事对自己很容易，对别人却很难。Srinivas 随后深入学习机器学习，买了一本二手的 Christopher Bishop 教科书，并找到一位教授，引导他接触强化学习。

强化学习为他提供了智能体、环境、奖励和目标的框架。受 DeepMind 工作启发，他早期的研究项目涉及在 Atari 游戏之间进行迁移学习。他记得自己在实验室阅读论文，并借用游戏 GPU 来训练神经网络。

谈到边际回报递减，Srinivas 既不认同简单的停滞论，也不认为更多算力会自动带来胜利。他说，更大的模型和更多训练 token 仍可能有帮助，但数据筛选、语言、代码和数学的混合比例，以及高效架构都很重要。

他认为，如果细节处理不当，一个大得多的模型可能比小模型表现更差。他对模型的比较基于访谈时的观察和主张，并非永久不变或经独立验证的排名。

Stebbings 问，更好的数据筛选是否意味着模型会走向专业化。Srinivas 对仅靠领域专业化取胜持怀疑态度：他提到 BloombergGPT，并说 GPT-4 在金融基准上表现更好。Stebbings 指出，一个例子不能排除更好的专业模型出现。

Srinivas 认为，大模型的许多实用能力来自在多样数据上训练后涌现的通用能力，以及后续的指令微调。他提醒说，研究人员尚未完全理解模型为何能如此推理，也不知道哪些数据贡献最大。

他说，模型推理能力有多强取决于评测标准。他将当时的系统与不同教育阶段的人比较，同时认为它们尚未达到最优秀科学家的水平。这些是谈话中的判断，并非受控比较。

Srinivas 认为，如果 AI 能提供独特而有价值的建议或解决困难的商业问题，用户可能愿意为一次结果支付远高于普通月费的价格。他以为投资人识别未来赢家为例，但将这种能力作为假设提出。

他说，重大推理突破的方法当时尚未知晓。他提到有关 OpenAI 研究的媒体报道，以及已发表的自学推理研究，但没有声称独立了解任何保密项目。其一般思路是利用解释、反馈和迭代训练改进输出。

他希望未来的系统能够生成答案、检查结果、修改推理并反复迭代。他不知道这何时能够实现。他还提醒，推理和实验可能消耗大量算力，因此资金充裕的组织可能更有优势。

谈到记忆，他区分了实际可用的长上下文窗口与能无限期记住一个人生活中所有细节的助手。他认为扩大上下文并选择相关信息有帮助，但说过长输入可能让模型困惑或削弱指令遵循能力。他不知道如何实现真正无限的记忆。

访谈时，Srinivas 认为能力较低的模型正逐渐商品化，而最强的 GPT-4 级替代方案仍相对稀少。他预测这些能力可能变得更便宜、更普及，同时对新的前沿模型是否会再次拉开巨大差距保持开放态度。

他区分了产品和产品底层的模型。他说，Perplexity 为搜索产品对现有模型进行后训练，但不从零训练前沿基础模型。他认为，反复支付大型训练成本、随后又被其他模型超越，在经济上尤其困难。

在他看来，前沿以下的模型可能成为商品，而少数领先实验室继续在能力上竞争。他推测，率先解决有效自我改进推理的实验室可能获得巨大领先优势，但也取决于其投资力度。机制和结果仍不确定。

他将 OpenAI 和 Anthropic 视为可能的领先者，称赞前者的速度与资金，以及后者的研究效率。这些是他在访谈时对公司和模型的比较观点，并非经过验证的排名，也不保证预测会实现。

Stebbings 预测云服务商会收购较小的模型公司。Srinivas 对 OpenAI 和 Anthropic 不同意，认为它们的价值还包括持续生产新模型的团队、隐性知识和算力基础设施。但他说，如果突破停止，它们的谈判优势也可能减弱。

大型现有企业拥有大量现金，但 Srinivas 认为，单靠钱不容易组建完整研究团队：优秀人才也希望与其他优秀人才共事。他认为，模型提供商最终需要可持续的业务，或持续保持研究优势。

他说，OpenAI 不只建立了模型，也创造了可观收入，并引用了一个当时的近似数字，但没有独立核实。对 Perplexity 自己的消费者订阅业务，他认为需要更大规模和更高留存才能特别有吸引力，因为模型运行成本限制了利润率。

Srinivas 将广告视为另一个潜在收入来源。他说，团队希望探索高利润广告，同时避免赞助内容影响答案或引用来源。这是 Perplexity 提出的设计目标，并不能证明广告系统不会产生利益冲突。

他建议，赞助内容也可以出现在发现信息流中，但相关性必须足够好。他明确表示，Perplexity 当时尚未解决广告相关性问题，而且需要大量用户才能让系统有效运作。

他的目标是通过订阅、广告、API 和企业服务实现多元化，避免依赖单一收入来源。他认为 Google 的广告激励可能与用户利益不一致，希望多元化的 Perplexity 能更好地协调两者。这一比较反映了他作为竞争对手的立场。

Perplexity Enterprise Pro 源于一个简单想法：人们已经在工作中搜索，但雇主可能因为安全和数据治理担忧限制使用 AI 工具。公司为消费者体验加入企业控制功能，并计划开发更多针对组织的功能。

Srinivas 设想用一个界面整合内外部信息、多种模型和有组织的知识。他说 Perplexity 会尝试打造这样的产品，但不声称一定成功。这个产品愿景和企业计划属于访谈时的情况。

Stebbings 质疑建立企业销售模式是否困难。Srinivas 说，当时组织仍在试验 AI 工具，锁定效应相对较小，但他也承认，在产品没有差异化时，更大的品牌和销售团队具有优势。

他认为，当应用以难以复制的方式结合模型、数据源、搜索工程和用户体验时，就会具有价值。他称一些用户更喜欢 Perplexity 的浏览体验，而不是其他选择；访谈没有提供受控比较。

他说，如果基础模型商品化，拥有客户关系的应用提供商就能以更低成本购买基础能力，并包装成有用产品。如果模型保持差异化，Perplexity 仍需找到受益方式。结果取决于执行和竞争，而不只是商品化本身。

Srinivas 说，尽管 AI 热潮高涨，融资仍然困难。投资人会问，如果 OpenAI 或 Google 加入类似功能、限制模型访问，或者在搜索和企业销售上胜出，Perplexity 如何应对。他承认，早期答案只是对不确定未来的论证，另有持续发布产品的记录作为支持。

他没有给出准确的算力支出比例，但说 Perplexity 已花资金的大部分用于算力，包括 GPU、后训练和模型 API。他说，公司并没有花掉所融资金的大部分。避免从事前沿预训练有助于保留产品开发和获客资源。

他描述了一项战略：以有吸引力的价格提供有用功能，建立留存和庞大用户群。他预测，五年后如果 Perplexity 达到足够规模并成功做好广告，广告可能成为主要收入来源；否则订阅或企业收入可能居首。这是有条件的预测。

Srinivas 区分了 Perplexity 建立可持续产品业务的目标，与主要追求通用人工智能的实验室。他预计 Perplexity 与 ChatGPT 的区别会随时间更加清楚，但没有声称这一结果已经实现。

被问到为什么经营公司时，他不愿给出一个精心包装的起源故事。他说，自己曾仰慕 Larry Page 等人，随后找到兴趣并形成自己的道路。设想如果时间有限是否仍会选择这份工作，有助于他审视自己的优先事项。

快问快答中，他说自己学会了用更长期的眼光看人：一个没有立即表现出色的人，经过一段时间可能取得很大成长。他也认为，当 AI 出现在熟悉的工作流，而不是陌生的聊天界面中时，其影响可能被低估。

他对在消息或社交应用中加入搜索功能持怀疑态度，认为需要考虑用户为什么打开应用。他说，新功能应适应现有用户意图和流程，而不只是增加另一种能力。

他认为，当智能体能够完成登录、安排录制或购物等任务时，浏览器可能发生更根本的变化。仅仅回答问题并不能取代普通浏览。他还设想了原生 AI 操作系统，同时承认当时的系统还无法实现。

Srinivas 说，创业公司 CEO 的一项困难工作，是不断在相互竞争的优先事项之间作决定：速度与准备、风险与聚焦、实验与改善现有业务。在没有明显答案时持续权衡会令人疲惫。

在 Perplexity 的失败预演中，他列出了执行不佳、犹豫不决、缺乏聚焦和资本使用效率低等潜在原因。他强调管理决策，而不是把竞争对手的行动视为唯一风险。这是他的自我评估，并非失败预测。

他的十年目标是让 Perplexity 成为事实和知识方面不可或缺的助手。他相信，即使 AI 智能体增多，人们仍会重视准确信息。这是公司的愿景，并非对准确性或未来市场地位的保证。