Anastasios Angelopoulos 谈 Arena、开放模型与 AI 评估

Arena 联合创始人兼首席执行官 Anastasios Angelopoulos 将公司描述为一个衡量 AI 在真实用户使用时表现的平台。Arena 不只依赖静态基准测试，还收集有关任务、偏好和错误的比较与反馈，帮助实验室和用户解读结果。

Harry Stebbings 询问，模型数量众多是否意味着它们已经商品化。Angelopoulos 说，封闭模型仍集中在少数公司手中，而迅速改善的开放模型带来了更多竞争。他的判断针对访谈时的市场状况。

他说，Kimi K3 在 Arena 的部分任务中超过了领先的美国封闭模型，包括一些前端编程任务。他认为这是值得关注的结果，但这一说法基于 Arena 对特定任务的测量，并非某个模型在所有方面都是最佳的结论。

Angelopoulos 认为，这一结果挑战了“中国实验室只能通过蒸馏美国模型来跟上进度”的观点。他明确表示，这并不能证明没有使用蒸馏；在他看来，其他工作也一定对性能有所贡献。

被问及中国开放模型是否正在取代封闭模型供应商时，他提醒 OpenRouter 的流量不能代表整个市场。他认为，大量推理仍通过第一方 API 和专有模型完成；这是他的估计，并非经过独立核实的完整市场统计。

展望未来，Angelopoulos 预计企业会希望控制自己的 AI 供应链：拥有可以用自身数据调整、并在自己的环境中运行的模型。他认为，这种偏好与成本、控制权、持续改进，以及对依赖可能成为竞争对手的外部供应商的担忧有关。

他认为，随着软件变得更容易生产，专有数据和网络效应仍可能成为优势来源。他关于企业专用智能将广泛普及的说法是预测，而非适用于每个行业的既定结果。

被问及美国公司是否会依赖中国开放模型时，他预计美国的开放模型竞争者会逐渐出现，部分原因是监管环境。他对一家规模庞大的美国开放模型公司的预测属于推测，并非对现有公司价值的估计。

Angelopoulos 介绍了开放模型可能的商业模式：与推理服务商分成，或利用开放模型吸引客户购买微调、部署及 AI 现代化服务。Stebbings 指出封闭模型供应商也提供部署帮助；Angelopoulos 认为与开放模型结合是其区别所在。

他预计企业会大力投入将 AI 整合到工作流程、整理数据和培训员工。这一未来市场的规模以及开放模型供应商能否从中获益，都仍属于预测。

话题转向 Thinking Machines 及其 Inkling 模型。Angelopoulos 提出两种解读：一是团队重组后较短的开发时间，二是公司本身较长的存续时间。他说，Arena 当时的排行榜将其列为美国开放模型第一，但排在多个中国模型之后。

Stebbings 分享一位中国研究人员的观点，认为更努力的工作和政策支持有助于解释模型表现。Angelopoulos 说，中国团队既有优势也面临限制，获取先进芯片可能是限制之一。两种说法都没有确立性能差距的单一原因。

他说，出口限制可能在当前减缓硬件获取，同时也可能逐渐推动本土替代方案的发展。在他看来，战略问题是继续让世界使用美国硬件，还是限制访问以保持近期优势；他认为这项取舍确实值得辩论。

双方讨论了可能的模型访问限制。Angelopoulos 概述了支持限制的潜在安全和产业政策理由，以及企业失去有用模型访问权的代价。他对监管环境的描述属于个人观点，并非法律建议。

被问及本地托管模型是否能消除所有风险时，Angelopoulos 描述了一个假设场景：模型行为仍可能通过应用被利用。他提出的是一种可能的攻击途径，并非某个中国模型存在后门的证据。

他猜测，三年后可能会出现对中国开放模型访问的限制，同时强调这一判断存在不确定性，也没有表示支持这种结果。Stebbings 另外推测大型美国实验室的游说影响；访谈没有证明存在协调行动。

Angelopoulos 主张建立强大的开放生态系统，并为美国开放模型提供激励。他也承认，芯片供应商可能从更多模型训练和微调中获得商业利益，尽管他赞同它们对开放的支持。

如果没有开放模型，Arena 能否生存？Angelopoulos 说，在有多家封闭模型供应商的市场中，公司仍可提供评估；但他认为，只有一家供应商会威胁其业务，而只有两家也会使前景困难。这是他对 Arena 自身利益的判断。

他说，一些与他交谈过的企业既担心前沿实验室，也担心中国开放模型。他回忆了一个例子：潜在客户询问 Arena 能否把技术栈中的中国模型换成美国模型。这一事例并非对所有企业的调查。

谈到美国和西方的开放模型竞争者时，他提到几家实验室，并根据 Arena 的性能与成本比较称赞 Google 的 Gemma 效率。Stebbings 披露自己是 Poolside 的投资者，双方都对该公司的模型表示赞赏。

在路由方面，Angelopoulos 看到了价值，也看到了炒作。他说，有用的路由器必须理解请求的性质和难度、用相关数据比较模型，并迅速纳入新发布的模型。他没有声称了解每个竞争产品的工作方式。

他预计结果取决于执行、成本、性能，以及公司是否将路由作为优先事项。他说竞争尚未分出胜负，没有宣布赢家。

Angelopoulos 预测，从长期看推理会变得更便宜。他推测，更多公开财务信息可能增强客户的谈判地位；Stebbings 则指出，即使成本公开，差异化产品仍可能保持定价权。

被问及哪家前沿实验室可能率先上市时，Angelopoulos 给出预测，并讨论有关准备情况的报道。他对公司财务状况和上市时间的说法未在访谈中得到独立核实，不应视为已确认的计划。

双方讨论了一起据报道涉及 OpenAI 和 Hugging Face 的安全事件。Angelopoulos 认为该事件重大，并介绍了自己对事件的理解；访谈没有独立确认其细节或归属。

他提出的应对措施包括更严格的访问控制和外部防护。他描述了一种观察智能体活动、标记疑似不安全行为的守护模型，同时承认让守护系统的能力匹配所监测系统是一项挑战。

Angelopoulos 反对由中央机构批准每一次模型发布。他更倾向于安全激励、问责和与结果挂钩的规则，包括对有害事件可能实施的处罚。这些是他的政策偏好，并不能证明任何防护措施可以保证安全。

他预计网络安全事件会增加，并讲述了一名据他说通过面试、却无法核实为真实人物的造假求职者。他说自己不知道动机是间谍活动、财务欺诈还是其他原因，也没有将其归因于特定国家。

他说，Arena 正考虑以线下入职和身份核验作为回应。他的叙述是公司招聘过程中的一个事例，并非对该应聘者的独立核实，也不能衡量此类尝试有多普遍。

Angelopoulos 说，湾区研究人员的招聘竞争十分激烈，经验丰富的专家薪酬很高。他也看到一些研究人员离开大型实验室，加入他们认为自己能产生更大影响的小型组织。

Stebbings 询问，什么会让新模型实验室分化为成功者和失败者。Angelopoulos 估计，许多实验室将几乎没有独立价值，或因团队而被收购。这是推测性预测，并非已经失败的企业数量。

他认为，只有强大的研究团队还不够：实验室需要战略、可持续商业模式和收入增长来支持后续融资。估值很高而收入很少的公司，最终必须向投资者和员工证明其估值合理。

他用假设的 100 亿美元估值和未来 1000 亿美元结果来说明融资难题，并用收入倍数估计所需增长。这些数字是他的推理示例，并非针对某家具体实验室的估值或收入预测。

Stebbings 指出，二级市场出售可以让员工在退出前获得流动性，并提到了成熟公司报道中的收入。Angelopoulos 将这些企业与尚无收入或清晰计划就获得高估值的初创公司区分开来。

双方讨论了投资者可能把优秀团队被收购作为下行情景计入估值的情况。Angelopoulos 说，这可能有助于解释早期融资，但如果业务无法展示进展，下一轮融资会更困难；被收购并无保证。

讨论转向训练数据市场。Stebbings 披露自己投资了 Mercor，并引用几家供应商的收入数字。Angelopoulos 说这些业务增长迅速，但具体数字来自双方讨论，访谈并未核实。

Angelopoulos 将数据称为模型规模扩张的互补品：按照他的经济学类比，一种商品需求增加可以带动另一种商品需求。他预计，模型增多和更多公司训练自己的系统将增加数据需求，但承认这一论点依赖 AI 持续增长。

他估计，前沿实验室的数据支出相当于其 GPU 支出的约 10% 至 20%，并预测到 2030 年该市场至少达到 1000 亿美元，甚至更多。支出估计和未来市场规模都是他的说法，并非经过独立确认的数字。

他说，收集、清洗和创建有用的训练数据很困难，并预测主要供应商可能变得非常有价值。所提出的公司估值属于推测；他指出的实际挑战是为特定训练任务提供高质量数据。

被问及依赖少数大客户是否会削弱数据公司时，他认为客户集中与高价值业务可以并存。他还预计供应商会扩展到寻求自有模型和数据的企业，但这种多元化仍是预测。

Angelopoulos 说，智能体评估是 Arena 的首要任务。他报告每月访问者超过 3000 万，并将许多用户描述为执行真实任务的知识工作者；这些数字和描述来自公司，并非经独立审计的测量。

他说，这些互动产生的反馈帮助 Arena 创建评估，并向模型实验室提供改进信息。他希望向部署智能体、决定哪些模型适合自身工作的企业提供类似评估能力。

他将评估分为性能、成本和延迟。他认为，成本和速度更容易量化，而性能取决于企业和具体用途。Arena 提出的方式利用智能体活动的信息，帮助企业评估自己的工作流程。

被问及收入时，Angelopoulos 说，Arena 的年化收入运行率已超过 1 亿美元，计算方式是第二季度收入乘以四。这是公司报告的运行率，并非公司已确认 1 亿美元年度收入的声明。

他说，Arena 尚未实现自由现金流为正，因为公司正在投资增长和产品开发。他对业务基本面和利润率持正面评价，但没有提供经审计的利润率数字。

谈到基础设施商业模式，Angelopoulos 说，利润取决于利润率和交易量。他建议投资者考虑转售 token 或算力的服务具有怎样的持久价值，以及随着规模扩大，其利润率结构可能如何变化。

Stebbings 询问前沿实验室是否会积极进入应用层，与依赖其模型的公司竞争。Angelopoulos 说，他听说有客户直接选择模型实验室，并认为这对包括法律 AI 供应商在内的应用公司构成风险。这些是他的叙述和预测，并非某家公司将会消亡的证据。

Stebbings 指出，一些客户担心前沿实验室，另一些却积极采用它们的产品；Angelopoulos 说，两种行为同时存在。Stebbings 认为，面向设计师的产品与卖给律师事务所的工具，在分发和部署方面有很大差异。

Angelopoulos 补充说，运营复杂或具有网络效应的业务，可能面临与简单软件应用不同的竞争格局。他的例子是对模型实验室可能在哪些领域竞争的战略判断，而非保证。

谈到 Salesforce，他说该公司有 AI 战略，并认为对软件行业全面崩溃的预测可能低估成熟网络和数据的价值。Stebbings 补充说，产品融入企业工作流程的程度很重要。两人的判断都面向未来。

在快问快答中，Angelopoulos 说，开放模型和 Anthropic 的进步比他原先预期更快。他也认识到，除了技术工作，人员管理、制定战略和提前规划都是领导 Arena 的核心。

他仍认为大学是培养第一性原理思维、智识习惯和人际关系的地方。回顾 Arena，他说希望自己当初能更多倾听联合创始人的意见，少花时间在那些使团队偏离有效方向的早期实验上。

话题回到应用竞争。Stebbings 认为，当法律产品对前沿实验室的优先级较低时，专注该领域的产品可以受益；Angelopoulos 同意专注很重要。他们的交流细化了先前讨论的竞争风险，而非消除了风险。

被问及哪家公司可能率先达到 10 万亿美元估值时，Angelopoulos 认为 Nvidia 可能领先，并预测企业采用 AI 将带来可观上涨空间。这是推测性的投资观点，并非有保证的市场结果。

他还担忧，如果开放模型减少前沿供应商的企业收入，算力债务融资可能变得脆弱。Stebbings 提出依赖少数公司达成目标的风险；两人描述的是可能情景，而非已发生的资不抵债。

Angelopoulos 说，一定程度的整合可能减少行业炒作，并预测 Arena 会在其领域取得成功。Stebbings 认为实体数据中心基础设施受到的关注可能少于芯片和内存；这是他们对市场关注度的看法。

被问到被低估的实验室时，Angelopoulos 提到 Black Forest Labs，同时认为许多新实验室可能被高估。最后，他表达了对 AI 在医学中应用的期望，并指出生物反馈和数据收集仍然困难。这些是对研究的期望，并非治愈疾病或已有疗法的证据。

双方讨论了为生物学构建数据基础设施的挑战，并相互感谢这次对话。Angelopoulos 邀请 Stebbings 到 Arena 办公室参观。