30 秒看懂
OpenRouter 联合创始人兼首席执行官 Alex Atallah 与 Harry Stebbings 探讨 AI 模型和推理市场、他为何预计组织会使用多个模型,以及价格和使用量变化如何影响网关的经济模式。他还谈到了开放权重模型的竞争、安全、开发者忠诚度和智能体框架。 他对市场的比较、对客户的观察及预测均为个人判断。被问及有关向 Stripe 出售公司的报道时,他拒绝评论。
- 1推理形成市场Atallah 说,专业托管服务商与模型实验室一同出现,其质量、速度和可用性各不相同。
- 2定价与预计需求他介绍了按量付费定价,以及基于承诺支出的不同企业方案。
- 3排行榜存在选择偏差OpenRouter 的流量无法完整反映市场;Atallah 说,它可能低估了前沿模型的使用量。
- 4安全是共同的运营挑战Atallah 介绍了访问政策和可选防护措施,但没有声称这些措施能消除所有风险。
- 5开发者为何留下他提到可靠性、价格和对熟悉输出的信任,认为这些可能是模型忠诚度的原因。
- 6交易未经确认被问及有关向 Stripe 出售公司的报道时,Atallah 表示无法评论。
要点建议
- Atallah 预计,即便公司自行构建专用模型,也会使用多个模型。
- 他说,推理服务商在质量、成本和速度上有所不同,因此路由是一项持续的运营问题。
- OpenRouter 的使用数据存在选择偏差,不能完整反映更广泛的市场。
- Atallah 介绍了安全措施和客户担忧,同时承认自己对个别供应商的了解有限。
- 他说,切换模型可能带来风险、成本或输出变化,因此开发者可能继续使用熟悉的模型。
- Atallah 未确认有关 Stripe 交易的报道。
按章节阅读整理后的全文
从 OpenSea 到模型市场
Atallah 介绍从 OpenSea 获得的基础设施经验,以及专业推理服务商的出现。他解释 OpenRouter 如何衡量各服务商并在其间路由。
OpenRouter 联合创始人兼首席执行官 Alex Atallah 告诉 Harry Stebbings,创建 OpenSea 的经历让他学会为不可预测的增长准备基础设施。需求激增时,这家 NFT 市场的团队规模很小,服务器和搜索系统难以应对突然涌入的流量。
发生服务中断后,团队着手改善平台可靠性并进行负载测试,包括为正常流量的 10 倍做好准备。Atallah 说,这段经历帮助他在创建 OpenRouter 时应对需求激增,尽管 AI 业务也经历过波折。
让 OpenRouter 意外的一件事,是独立托管开放权重模型的公司的出现。Atallah 说,他最初曾考虑是否会由少数大型云服务商主导市场;实际情况是,专业推理服务商成了重要的供应方。
早期 OpenRouter 用主服务商和备用服务商等标签隐藏托管公司的身份。它最初是发现模型的工具,但 Atallah 说,专业托管商在支持新模型和处理技术边缘情况方面表现更快,因此服务商层也形成了市场。
被问及推理服务商是否会变成同质化商品时,Atallah 认为供应受到限制,并称芯片供应商有动力维持多样化的客户群。这是他对市场的解释,并不能保证未来利润率或 GPU 分配情况。
他说,即使服务同一个模型,不同服务商也可能产生不同结果,OpenRouter 会对其质量、速度和价格进行基准测试。按 Atallah 的说法,路由系统检测到变化时会调整流量,而情况在一天之内经常发生变化。
Atallah 以保持中立为由,拒绝指定一家自己愿意投资的推理公司。他对定制硬件、底层优化和更便捷的定制感兴趣,包括可能在未来降低更换基础模型成本的可移植适配器。
多模型市场与网关经济
他认为,企业专用模型可以与其他供应商的模型共存。他讨论了竞争、企业定价和可能的收入驱动因素。
Stebbings 询问,企业训练自己的专用模型是否会削弱 OpenRouter。Atallah 不同意:他预计未来会有多个模型,专有模型满足核心需求,而其他模型提供不同的能力、数据和视角。
在他看来,组织即使在改进自己的模型,也有动力尝试外部模型,以提高生产率和性能或降低成本。他预测许多企业会开发带有自身品牌的专用智能,这是一种对未来的判断,并非已得到证明的市场结果。
谈到竞争对手的路由产品,Atallah 说,一些公司进入这个领域是因为它时髦,而 OpenRouter 专注于网关和模型市场。他对产品质量和竞争对手关注重点的说法,来自一位有自身利益的市场参与者。
他认为,网关的价值在于让开发者接触更广泛的生态系统,并降低对任何单一模型的依赖。他说,选择和定制的程度很重要,因为新能力可能来自客户没有预料到的供应商。
Stebbings 提到 OpenRouter 按量付费方案收取的 5.5% 费用。Atallah 说,企业方案采用承诺支出和不同的定价方式,自带推理服务或密钥的客户也不会以同样方式支付这项费用。他说公司计划推出自助式商业方案。
被问及三年后的收入驱动力时,Atallah 表示答案取决于市场增长。如果推理需求继续快速扩张,他预计计划外算力和故障切换仍会重要;如果增长放缓,他认为面向较小企业的软件产品会发挥更大作用。
价格、使用量与平台偏差
Atallah 以公司数据举例,说明降价后的需求变化。他解释了 OpenRouter 流量为何不能完全代表更广泛的市场。
Stebbings 询问,token 价格下降是否会损害一家按支出收费的企业。Atallah 提到需求可能随之增加,同时承认很难建立模型判断低价是否总能带来足够多的额外使用量,以抵消价格下降。
他举了一个 OpenRouter 的例子:据他说,GPT 5.6 Luna 的价格在两周内降至原来的十分之一,使用量则增长至 13 倍。这是公司报告的一个模型在特定时期内的观察,并不能证明整个市场都存在同样的关系。
被问及 OpenRouter 排行榜是否代表所有模型使用情况时,Atallah 承认存在选择偏差。只使用一家供应商的客户可能从未使用其网关,因此平台记录的前沿模型使用量相对其更广泛的使用情况可能偏低。
他希望随着平台增长和多模型使用扩大,数据的代表性会提高。但排行榜描述的仍是经过 OpenRouter 的流量,并非对整个 AI 市场的完整统计。
前沿供应商与模型竞争
他探讨模型实验室与客户产品的业务重叠,并介绍模型发布速度和开放权重产品的增长。
谈到企业是否害怕前沿模型供应商,Atallah 说,当实验室推出与客户业务重叠的产品时,他看到一些不安。他区分了具有实质价值的产品与主要价值在于集成和系统提示词的薄层封装。
他认为,模型实验室可能瞄准某个工作流程,让企业客户的另一支团队也依赖其产品。他对 Anthropic 可能为何推出设计产品的解释只是自己的推测,并非 Anthropic 实际动机的陈述。
Stebbings 提到一些已经转换工具的创始人,询问 Claude 的设计产品是否会严重影响 Figma。Atallah 说,他看到设计师尝试该产品,但对重复使用的情况了解不足,接触的设计师也太少,无法得出确定结论。
Atallah 说,OpenRouter 在 7 月上线了 70 个模型,平均约每 10 小时一个。他预计智能体公司有动力开发和分发自己的模型,但未来模型发布速度仍不确定。
他指出,硬件供应商、投资者和寻求不同智能能力的开发者都提供了激励。他也认为,更强的美国开放权重基础模型有助于支持更多美国模型初创公司;这两点都是对生态系统的预测。
中国模型与安全访问
Atallah 对美国和中国模型作出个人判断,并解释 OpenRouter 的安全功能。双方讨论了供应商、信息获取和安全方面的不确定性。
被问到中国开放模型时,Atallah 说,他认为美国在开放权重领域落后,同时提到了新兴的美国实验室。这是他的比较判断,并非经过独立确认的所有模型排名。
Stebbings 询问,将客户路由到因来源而引发安全担忧的模型时,公司承担什么责任。Atallah 说,OpenRouter 寻求提供可信的访问,移除其认为普遍不安全的模型,并与模型供应商共同制定防护措施。他并未证明任何被点名的供应商存在后门。
Atallah 将可选的提示注入检测和减少个人身份信息作为额外安全层介绍。这些是他对产品功能的描述,并不能保证捕获每一种不安全输入、隐私问题或攻击。
被问及对中国模型公司内部运作有多少了解时,Atallah 说,他不能假装自己知道。他说,OpenRouter 作为美国公司,在决定如何提供访问时,会尽力遵循适用的最佳实践。
他说,一些企业客户更担心封闭的前沿模型,因为他们不确定提示词如何存储或处理,也未必能够在自己选择的基础设施上运行这些模型。这是他对客户担忧的叙述,并非安全性比较的研究结论。
谈到涉及 AI 模型的网络安全事件披露,Atallah 认为供应商应该公开事件,而不是隐瞒。他提醒,不应假定公开讨论就必然意味着公司在庆祝滥用。
Atallah 认为最新的 Kimi 模型表现强劲,尤其擅长写作,但他认为前沿模型在一些网络安全和长周期任务上仍然领先。他将 GLM 5.2 描述为开放权重模型的一大进步。这些是他的判断,并非经独立核实的测试结果。
Stebbings 预测,中国和美国开放模型之间的差距可能扩大,认为融资和政策条件有利于中国开发者。Atallah 强调中国研究人员的实力,同时讨论了审查和安全方面可能存在的限制。
Atallah 说,自己对中国了解不足,无法回答模型的信息获取与当地互联网限制相比如何,也没有看到过深入分析。Stebbings 补充了一个关于回答受限的轶事;这两种叙述都不足以确立适用于所有中国模型或部署方式的普遍规律。
模型忠诚度、记忆与运行框架
Atallah 讨论开发者为何继续使用熟悉的模型、记忆可能存放在哪里,以及智能体运行框架如何与路由共存。
Atallah 说,OpenRouter 跟踪各模型的留存和切换情况,并与实验室分享部分信息。他观察到,即使其他模型似乎更适合某些开发者的用途,他们仍会继续使用熟悉的模型。
他提出了几个可能的原因:切换后原本运行正常的应用可能出现问题,新模型不一定更便宜,开发者也会通过自己的非正式测试建立信任。即使技术上容易切换,熟悉的输出和现有防护措施仍可能具有价值。
谈到记忆作为客户留存手段,Atallah 说,问题在于记忆将存放在哪里:模型、应用、推理服务商还是网关。各层拥有不同的上下文和激励,他预计其中多个层次会竞争提供这项功能。
应用层的记忆可能在保留上下文的同时允许选择模型;模型层的记忆则可能在个性化方面表现更好。Atallah 说,多层记忆结合使用的效果如何、是否会让模型混淆,目前仍不清楚。
Stebbings 询问,将模型和运行框架打包的智能体框架是否会吸收路由功能。Atallah 回忆,OpenRouter 早期曾押注:用户希望知道并选择应用内部使用的模型,而不是接受一个身份不明的 AI 服务。
他认为,开发者也会对不同运行框架形成偏好,因为框架决定了用户体验。能力更强的模型可能让一些指令和代码变得多余,但他预计独立运行框架仍然有用,能够帮助开发者构建体验并掌握客户关系。
被追问运行框架与应用的区别时,Atallah 强调可组合性:一个运行框架可以调用另一个,或在云端沙箱中运行它。他认为,熟悉的命令行约定可以让某些交互更容易检查和编排;这是他的判断,并非与 API 的普遍比较结论。
多智能体系统与开放模型发展
双方讨论模型发现、编排、Meta 以及支持开放模型的方法。Atallah 解释了他对蒸馏和算力的看法。
Atallah 说,Meta 有资源成为重要的模型竞争者,但他认为其 Muse 项目仍需要明确的差异化领域。他对该产品未来竞争地位的判断属于推测。
Stebbings 介绍自己如何使用 Arena 比较多个模型的输出,并发现原本不会选择的选项。他说,在这种工作方式中,自己不那么依赖某个模型的品牌,而更关注最好的结果。
Atallah 赞同让编排模型把明确任务交给成本较低的子智能体。他建议用较低成本的模型处理文本分类等边界明确的工作,用能力更强的编排模型处理不那么可预测的任务;最佳架构取决于任务和评估结果。
被问及如何加强美国开放模型生态系统时,Atallah 建议了解实验室能够多有效地使用开放权重模型所允许的蒸馏。他说,在训练中检查输出也有助于开发者判断是否符合预期行为,但他没有声称这能保证对齐。
他还呼吁让有能力的团队更容易获得算力,并与硬件供应商合作。Stebbings 预测中国的芯片努力会缩小美国的优势;Atallah 同意保持优势很重要。他们对时间和地缘政治的判断属于观点,而非既定结果。
Atallah 将蒸馏描述为一种构建模型的技术,并表示模型供应商可以通过条款限制其输出的使用方式。他区分了允许和禁止的用途,并说 OpenRouter 力求帮助供应商执行各自的条款;实际许可取决于每家供应商的规则。
出售报道与快问快答
Atallah 拒绝评论有关向 Stripe 出售公司的报道。他讨论了融资、模型实验室、员工 AI 成本和期待中的应用。
Stebbings 询问有关以 100 亿美元向 Stripe 出售公司的报道。Atallah 说自己无法评论,并重申 OpenRouter 的愿景。因此,访谈没有确认任何报价、交易或出售价格。
被问及个人财富时,Atallah 说自己有兴趣支持不适合传统风险投资的问题,包括可能需要资助的研究。他尚未准备好公开讨论具体计划。
在快问快答中,他将 Poolside 列为被低估的模型开发者,并称赞其小型编程模型和工具。他不同意 70% 的新实验室会在三年内消亡这一说法,但预计可能出现整合,并在把收购计入其中的情况下给出了一个较低的推测数字。
Atallah 说,即使他希望其他实验室有竞争空间,Anthropic 这样谨慎的声音在 AI 讨论中仍有价值。对他而言,对风险持有不同看法是多元生态系统的一部分。
他观察到,公司难以管理推理支出,并建议在人们使用 AI 工具时,将员工成本视为一个更动态的数字。他建议同时比较生产率和工具成本,并继续进行正常的管理评估。
Stebbings 质疑这种不断变化的成本会给规划带来多大困难。Atallah 回答说,员工可以影响自己的工具选择和效率;他提出的是一种管理思路,并非经过证明的个人价值衡量方法。
Atallah 对罕见病研究和改善社区生活质量的潜在应用感到兴奋,例如寻找铅管。这些是对研究和解决问题的期望,并非 AI 已经解决这两项挑战的证据。双方互致感谢后结束对话。
同频道的其他文章
23:48EN → 简体中文
1:13:26EN → 简体中文
59:41EN → 简体中文
1:19:50EN → 简体中文
1:03:05EN → 简体中文
1:17:09EN → 简体中文