Lin Qiao：专业化 AI、开放模型与推理经济学

Fireworks AI 联合创始人兼 CEO Lin Qiao 与 Harry Stebbings 讨论专业化模型、推理经济学和创始人如何扩大公司规模。Stebbings 说他向 Fireworks 投资了 1000 万美元；Qiao 支持模型定制和基础设施的观点，也反映了她公司提供的业务。

Qiao 回忆，一位投资人最初质疑大型科技公司高管能否成功创业，但仍履行了双方的约定。她在建立数据与分布式系统多年后，于 48 岁创办 Fireworks，此前曾在 LinkedIn 和 Meta 工作。

她曾在 2015 年考虑创业，当时已有产品计划和潜在团队成员，但决定先培养人员管理能力。她加入 Facebook，原打算学习一两年，最终留了七年。

Stebbings 询问，处于芯片与模型提供商之间的推理和专业化服务为何有价值。Qiao 认为，许多有用的商业数据是私有的，不在通用模型训练范围内，因此公司可以通过将 AI 应用于自身数据获得独特价值。

Qiao 将 AGI 定义为一个能最好地解决所有问题的模型，并质疑单一系统是否应该施加一套统一的品味和判断。这是她自己的定义，并非对 AGI 的普遍共识，也不代表任何实验室公开目标的权威表述。

她说，不同地区、企业和用户有不同的价值观与需求。Qiao 认为，创造力和选择是保留 AI 系统多样性的理由；她担心依赖单一供应商可能限制这些选择。

Qiao 回忆了与 Nvidia 的 Jensen Huang 关于企业围绕独特信念和产品建立的一次对话。她认为，组织的独特知识融入其产品、用户互动和数据之中，外部供应商未必容易获得这些知识。

她将前沿模型比作电力线路：基础设施提供智能，许多专业化产品可以在其上构建。Stebbings 询问，如果开放模型不断改善、价格越来越低，这种基础设施是否仍会是一门好生意。

Fireworks 创立时，团队讨论过自行训练模型还是基于开放模型构建。Qiao 说，当时后者是一项重大押注，受到团队使用 PyTorch 的经验影响，也源于他们相信获取模型权重能够让用户获得更多控制权。

Qiao 说，开放和闭源模型都已进步到足以解决许多实际问题的程度。她介绍，Fireworks 使用开放模型协助招聘、内部财务和编码，同时关注成本。这些是她公司的例子，并非通用性能基准。

她认为，开放模型现在更容易利用公司自己的数据和评估进行调整。她说，在特定任务上，定制模型可能优于通用模型；具体表现取决于任务、数据、评估方式和比较的模型。

Stebbings 问，如果开放模型能处理大多数企业任务，前沿实验室是否估值过高。Qiao 转而区分产品市场契合度和可持续的经济模式：即便客户重视产品，一家公司也可能因为成本问题而无法持续扩张。

她说，大型数字企业在将 AI 功能推向庞大用户群时也可能遇到同样挑战。她提出的替代方案是控制并定制开放权重模型。Stebbings 指出，前沿模型提供商也可能降价；Qiao 承认这是一种竞争可能。

Qiao 认为，在某些情况下，获取已发布的开放权重可以无需支付模型许可获取费用，而闭源模型提供商必须收回研究成本。运行、调整和提供开放模型仍需要资源；她强调的是针对特定工作负载调整和部署模型的控制权。

Fireworks 表示，公司会针对具体用途调整并部署模型，优化质量、速度和成本。Qiao 说，在极大规模下，即使降低 5% 的成本也很重要；她提到过去有成本降低五到十倍的案例，但访谈中没有提供比较细节。

Stebbings 提出对中国开放模型的国家安全担忧。Qiao 说，这一问题正在行业内讨论，并建议企业为开放和闭源模型都设置自己的防护措施，因为任何提供商的判断都可能与客户不同。防护措施和微调是她提出的方法，并不能证明安全风险已经解决。

Qiao 预测，未来会有数百万个专业化模型，而不是由少数通用模型主导。被问及中国可能限制开放模型获取的报道时，她预计短期会受到冲击，但相信多元的开放生态和美国的能力最终可以提供替代选择。

Stebbings 披露自己投资了 Legora，随后询问 Legora 和 Harvey 等法律 AI 公司是否需要自己的模型。Qiao 说 AI 辅助编码可以缩短开发时间，但 Stebbings 认为企业销售、关系建立和部署仍然困难。

Qiao 同意法律应用要求很高，因为错误和幻觉可能带来严重后果。她说，两家公司可能掌握有关法律工作流程的宝贵知识和数据，同时承认自己对法律领域的理解较浅。

她将助手的 harness 描述为编排工具和模型的层。她认为，同时改进模型和 harness 可以帮助应用更有效地运用领域知识，并以编码公司调整模型为例。

被问及模型快速进步是否会放缓时，Qiao 区分了通用模型能力的重大变化和建立在其上的专业化。她预计通用能力将继续阶段性跃升，而专业化会在众多应用中加速；这是她的预测，并非经过测量的时间表。

Stebbings 询问政府是否可能拥有部分基础 AI 设施。Qiao 说她不知道，但反对由一家公司控制智能的未来。她将通用模型比作共享基础设施，同时支持多种专业化路径。

在多模型世界里，Qiao 设想把困难决策交给能力很强的模型，把范围较窄的子任务交给较小或定制模型。她预计，随着产品和用户变化，自动路由与微调会共同改进。

Stebbings 问，如果客户自行构建或自动化路由，独立路由层是否仍有价值。Qiao 说，在这种情况下客户可能不需要独立提供商，但她仍认为路由和自动化是值得创新的领域。

主持人询问 Fireworks 与 Cursor 的密切合作，包括嵌入式技术支持。Qiao 说，早期采用者通常希望获得细致控制，而后来的用户需要更易用、运营复杂度更低的系统。Fireworks 的最终目标是服务后者，但也会向要求严格的早期合作伙伴学习。

Qiao 说，Cursor 和 Fireworks 都注重资本效率，希望在不建设单一、昂贵的超大型互联集群的情况下推进研究。双方将更新模型权重的训练器，与模型版本在环境中互动并获得反馈的强化学习 rollout 分开。

据 Qiao 介绍，该系统使用分布在五到六个数据中心区域的 GPU。工程挑战是足够快地同步更新后的模型权重，使反馈不会过时太久。她说，双方的分布式方法支持了 Cursor 的模型发布；这是商业合作伙伴的描述。

Stebbings 询问 SpaceX 收购 Cursor 后，Fireworks 对 Cursor 的依赖问题。Qiao 说，行业此前集中于少数成功应用，但她认为 Fireworks 的客户群正在变得更加多元；她没有量化这一变化，也没有保证客户留存。

她称前一年是编码之年，今年是协作之年，应用覆盖研究、法律、金融、客服、招聘等领域。她还看到面向消费者的企业开始探索将生成式 AI 用于推荐及相关产品。

Qiao 说，客户常使用多家推理供应商来应对不确定性。Fireworks 将自己定位于定制智能而非同质化推理；她说平台每天处理超过 40 万亿个 token，其中大部分来自定制模型。这一用量数字是她对公司业务的陈述。

被问及下一年时，Qiao 说 token 量可能增长 20 至 100 倍。她认为市场仍处于采用曲线的早期，但这个范围是带有推测性的预测，而非承诺的目标或已确定的需求。

Stebbings 认为，这样的增长意味着需要更多计算基础设施投资。Qiao 同意潜在需求很大，同时指出能源、芯片和实体供应链存在约束，包括可能阻碍服务器生产的小型零件。

公司是否需要拥有从芯片到应用的每一层？Qiao 说，Fireworks 优先考虑敏捷和专注，希望在多种芯片上运行，并借助合作伙伴的优势。她说，随着公司规模扩大，自建更多基础设施可能在经济上变得合理。

她回忆 Cursor 在早期选择 Fireworks，以便专注于产品和研究，而不是平台基础设施。Qiao 对 Cursor 后续增长给出了很高的估计，这只是她的回忆，并非独立核实的公司数据。

被问及 Nvidia 为何不构建相同平台层时，Qiao 给出了她对 Huang 策略的理解：Nvidia 专注自身优势，并在发现缺口时支持美国开放模型供应。她并不代表 Nvidia 发言，这也不是该公司的官方策略声明。

Stebbings 问，随着工具进步，AI 支出占开发人员薪酬的比例是会上升，还是会因为工具变便宜而下降。Qiao 预测，随着供应扩大和竞争加剧，token 成本将大幅下降，随后用量会大幅增加。

她提醒，不同 token 不能直接互换：每个 token 价格减半的模型，可能需要两倍 token 才能完成同一任务。因此，她建议评估完成一项任务的成本和质量，而不只是 token 单价。

Qiao 指出三个潜在的节省来源：通过模型改进和微调减少每项任务使用的 token、更高效的推理，以及 GPU 和内存供应约束最终缓解。她并不预计供应状况一定会在一年到一年半内改变。

Qiao 说，她可以设想在大约三年内成本降低十倍，进而带动用量增加百倍。这两个数字是她有条件的预测，并非已经证实的关系，也不是价格和需求必然遵循该路径的承诺。

Stebbings 说，他发现一家竞争对手更便宜，并询问 Fireworks 是否因为质量更高而收费更多。Qiao 认为这可能不是同口径比较，因为 Fireworks 大部分流量使用定制模型，公司重视特定任务的模型质量和服务性能。

Qiao 描述了在训练和推理之间保持数值等价的技术目标，她说这有助于客户保留训练投资的价值。她认为 Fireworks 的方法不同于统一部署现成模型；访谈没有独立验证这一主张。

Qiao 说，Fireworks 有一支应用机器学习工程团队，帮助客户部署定制模型并构建自动化。Stebbings 询问，基础设施企业是否会永久面临低于传统软件公司的利润率。

Qiao 说，Fireworks 当前的利润率反映的是高速增长阶段，并不一定是行业永久常态。在她看来，过早设定激进利润率目标可能限制实验、地域扩张和产品开发；当公司弄清哪些系统需要扩大规模后，她预计可以进行更多优化。

她说 Fireworks 不会进入应用层。建设数据中心仍是一种可能，取决于时机，但她没有承诺公司一定会这样做。她还说，公司不一定需要进入其他层，也可以提高利润率。

Qiao 解释，统一的硬件集群更容易运营，而混合不同加速器可能更适合预填充和生成等不同工作负载。她将其描述为需要专业系统设计的工程权衡，而非普遍成立的性能结论。

她说，数据中心建设和运营涉及电力、网络、冷却及故障部件更换。Qiao 强调，运营此类设施需要专业知识，不可能一夜掌握。

Stebbings 认为，中国建设面临的障碍较少、速度可能更快。Qiao 分享了自己看到中国建设迅速、家附近工程较慢的个人经历，同时指出供应约束和电工短缺。这些见闻不能构成对各国法规或建设速度的全面比较。

谈到硬件经济性，Qiao 说模型和芯片快速发布使折旧以及自建还是购买的决策更加复杂。设备可能在物理上使用多年，但客户可能更愿意用更新的硬件运行新模型；她认为旧系统未来的价值尚不确定。

Qiao 说，Fireworks 希望同时实现增长和健康毛利率，持续提高差异化，而不为早期利润率目标牺牲增长。她认为，停止增长来最大化利润率对公司而言会是糟糕的结果。

被问及低利润率策略能否创造赢家通吃的市场时，Qiao 说领先地位是长期问题，她预计行业会逐渐稳定在少数强大供应商之间。她看到，随着客户部署逐渐成熟、优化价值提高，他们开始转向定制模型。

Stebbings 询问主权模型以及依赖外国供应商的风险。Qiao 说，国家拥有自己的模型是可能的，她将 AI 基础设施的可用性比作电力供应，并支持国家和公司层面的控制权。主持人关于短期限制的说法只是他的问题前提，此处没有独立确认。

为什么考虑数据中心而不是芯片？Qiao 说，芯片设计极其困难，只有工作负载大到一定程度且足够稳定，专用硬件才更可能合理。她提到 Meta 多年的硬件工作作为背景，并非证明每家实验室传出的芯片计划都会成功。

她认为，当前 AI 工作负载变化太快，还无法知道哪些模式会长期保持。一些生成式 AI 浪潮之前设计的加速器恰好很适合当前工作负载，另一些则不适合；她说，结果取决于工作负载和硬件设计。

Qiao 认为，面向超大型模型的系统是一个未得到充分重视的工程挑战。她希望模型、定制与服务层以及芯片集群之间能协同设计，并认为面向极大参数规模的系统仍有创新空间。

Stebbings 引述近期公布的 8 亿美元年度经常性收入数字，并问年底会达到多少。Qiao 说 Fireworks 认为至少可以翻倍。该数字来自主持人的陈述，增长则是 CEO 的预测，并非经过验证的未来结果。

Qiao 认为，公司异常迅速的增长部分来自对让更多人能够创造的工具的广泛需求。随后她谈到聘用 Salesforce 前高管 George Hu：当 Fireworks 约有 50 人时，她觉得公司对他而言还太小，但他在公司增长过程中曾协助招聘高管，后来双方开始更紧密合作。

她看重 Hu 的经验，也欣赏他在快速变化的 AI 市场中的好奇心和学习意愿。Qiao 说，他领导的市场团队使用 AI 智能体提高生产率，同时建设满足需求的能力；这是她对 Fireworks 自身运营的描述。

在快问快答环节，Qiao 说，最初担心快速扩张会削弱敏捷性，如今她已更能接受迅速扩大团队。她说 Fireworks 寻找能够对整个问题负责、善于沟通，并与同事共同推进到底的人。

Qiao 欣赏 Jensen Huang 对细节的密切关注。她认为领导力是在掌握足够背景的基础上作出正确判断，并指出在快速变化的市场中，漫长的沟通链可能丢失信息。她自己也希望贴近工作，了解实际发生的事情。

她希望 Fireworks 能更早投入营销。团队最初以为优秀产品自然会证明自己；现在她认为营销可以帮助教育客户、解释价值，而不仅是宣传。

Qiao 认为，衡量 AI 投资回报值得更多关注。她预计，随着部署扩大，企业会减少对最大化 token 消耗的关注，转而重视归因、成本和业务结果；这一变化是她的预测。

她说，Fireworks 较少主动拓展传统企业客户，但提到了 Geico、Capital One 和 Mercury Insurance 等客户。她认为这一领域机会很大，但访谈没有提供合同细节。

Qiao 希望在今年剩余时间证明 Fireworks 扩大团队时仍能保持速度。展望未来三年，她预测公司将越来越多地拥有并定制自己的智能，同时决定哪些组件自建、哪些从外部获取。