Alexandr Wang 谈 AI 数据、模型开发与 Scale 的建设

Scale AI 创始人兼 CEO Alexandr Wang 告诉 Harry Stebbings，AI 可能成为重要的军事资产，而数据是改进模型的核心。他对模型开发、监管和地缘政治的看法，既反映了 2024 年访谈时的背景，也反映了 Scale 作为数据服务提供商的商业角色。

Wang 观察到，虽然算力支出大幅增加，但在访谈时尚未出现他认为比 GPT-4 明显强得多的模型。他以 Nvidia 数据中心收入增长作为投资增加的证据。这是他对当时情况的评价，并不能证明单靠算力已无法继续改善模型。

他将模型进步归为三个支柱：算力、算法和数据。Transformer 和基于人类反馈的强化学习是算法进步的例子。他认为，行业扩大计算能力的速度超过了另外两个支柱，因此遇到了数据瓶颈。

Wang 所说的“容易获得的数据”，是已经写下并可从互联网上获取的材料。他说，在这些材料上训练的语言模型可以模仿其中的模式，但有用的智能体需要的不只是模仿：它们还必须执行任务、解决问题并与人协作。

例如，银行反欺诈分析师可能检查交易、比较证据并推理作出决定，却不会把每一步都记录在网上。Wang 认为，经济活动背后的许多推理并未收录在公开训练数据中。这是他对专业数据为何可能重要的解释。

他把缺失的材料称为“前沿数据”，包括复杂推理、多轮讨论、工具使用、纠错和智能体工作流。他提出结合三方面工作：使用相关企业数据、生产新数据，以及让人类专家参与。这是他自己的概念框架。

Wang 说，大型组织拥有大量专有数据，并以所称的 JPMorgan 数据集为例。他将其与某模型训练数据的估计量比较，但访谈没有确认两者采用相同的计量方法，也没有独立核实数字。企业需要为自身获授权的用途整理数据。

谈到推理，他区分了人类的泛化能力与现有模型的表现。他看到两条可能路径：在通用推理算法上取得突破，或为模型需要表现的许多场景提供示例。他将其作为研究方向，而非已证明的解决方案。

由于企业私有数据不能直接变成公共训练集，Wang 认为还必须生产新数据。他将扩大数据生产的需要比作建设半导体制造能力。他提出的方法结合合成数据生成和人类专家指导。

当模型受阻、出现事实错误或遇到陌生情境时，专家可以介入，就像自动驾驶汽车的安全员可以接管车辆一样。Wang 认为，贡献者或 AI 训练师可能是影响力很高的岗位，因为对广泛使用的模型作出改进，可以影响之后的许多用户。

Stebbings 问，组织如何整理和清洗大量数据。Wang 将挖掘已有记录与持续生产新数据区分开来。他预测，更成熟的企业会越来越多地挖掘现有来源，但认为持续改进模型仍需要不断创造数据。

他认为数据比算力更制约进展，并主张如果两者同步增长，可以产生能力更强的模型。这是一家销售数据相关服务的公司的论点；访谈并未证明它适用于所有模型的普遍瓶颈。

潜在的新来源包括企业软件中的流程数据，以及通过设备长期收集的个人数据。Wang 承认，这种可能性听起来可能具有侵入性。他将这些观察数据与专家创建的复杂推理和科学数据区分开来，认为后者是推动模型能力边界所需的材料。

被问到如何公平获取专有数据时，Wang 认为数据可能成为持久竞争优势。算法可能传播，竞争对手也可能购买更多算力，而独家或专门生产的数据可能更难复制。他预计实验室会发展不同的数据战略。

Stebbings 提到出版商的许可协议是早期例子。Wang 认为，未来实验室争夺专业数据的权利和生产能力，可能像当时争夺 GPU 资源一样受到关注。任何具体协议是否会形成持久优势仍不确定。

他提出两种可能：数据战略趋同，模型逐渐商品化；或者实验室针对各自场景生产差异化数据集。他以面向企业和面向消费者的提供商作为假设例子，没有证明任何一种战略的结果。

Wang 说，大型企业对暴露专有数据十分谨慎，因为数据可能是竞争优势的来源。他看到对本地运行模型的需求：企业可以用自身数据定制模型，而无需把数据传回模型提供商。这是市场预测，也涉及 Scale 的商业机会。

Stebbings 认为，企业需要帮助才能采用技术，因此 AI 服务可能比模型提供商获得更多收入。Wang 同意价值最终归属尚不确定，而且可能在产业链中转移。他认为模型下方的基础设施，以及上方的应用和服务，都有潜力。

两人讨论了“软件终结”论点：AI 可能降低软件开发成本，让企业从使用少数大型应用转向许多专业工具。Wang 认为这一比较具有挑衅性，尚未得到证实，但他预计企业对针对具体业务问题定制的软件需求会增加。

他以 Palantir 过去的定制化方法为例，说明如何把企业数据与其特定工作流连接起来。他预测 AI 会让定制更容易。他还预计，工程师会花更多时间把客户问题转化成范围明确、可由 AI 系统辅助实现的工作。

Wang 预测，如果 AI 智能体完成越来越多工作，按使用量定价会变得更重要。软件供应商可能希望根据这些系统产生的价值收费，而不只是按照人类用户席位收费。这是一项预测，并非席位定价已经消失的证据。

谈到监管，他认为更宽松的数据获取可以与自由民主制度相容，同时承认需要平衡。他说，政策制定者应像关注芯片生产一样关注数据可用性。这是他作为数据公司领导者的政策偏好。

他提议汇集某些行业数据，例如航空安全或金融反欺诈信息，以推动共同能力。对于医疗数据，他主张明确允许利用患者记录同时保护隐私的方法，包括匿名化。他对现行隐私规则的宽泛描述是一项政策主张，并非法律分析。

Wang 说，中国模型在访谈时已显著追赶，并以某个排行榜为证据。他预测中国可能赶超，并认为集中式产业政策有助于扩大太阳能和电动汽车等已形成行业的规模。AI 的相对能力取决于基准和时点；他的预测并非已确定的结果。

他认为先进 AI 可能成为重要的军事资产，并设想拥有更强系统的国家可能取得重大优势。他关于中国或俄罗斯可能如何使用假设中的通用人工智能的推测，并不是对既定意图或能力的陈述。

Wang 建议出于安全考虑，将未来最强大的系统保持封闭，同时允许能力较低的模型开放，用于经济活动。他说，困难在于界线应该画在哪里。这是他提出的政策平衡，而非公认的安全标准。

他预测，前沿模型成本可能在十年内从数亿美元或数十亿美元增长到数百亿甚至数千亿美元。如果发生这种情况，他预计相关工作会集中到国家和大型科技公司。成本和市场结构均属于预测。

Stebbings 问，较小的实验室是否会被云服务商吸收。Wang 大体认为有这种可能，同时指出模型实验室与大型科技公司的合作可能以不同方式发展。访谈没有确认任何未来收购。

谈到公共关系，Wang 认为传统媒体可能奖励吸引注意力的报道，公司应该通过播客等渠道直接沟通。他说，自己在国会作证时感觉比接受部分媒体报道更公平。这是他的经历和解释；独立报道也可以审视公司的主张。

Wang 说，市场下行之后，Scale 所受报道的基调发生变化，有些报道批评公司与美国国防部合作。他认为这项工作对美国安全很重要。Scale 的国防合同使他在这一立场上具有商业利益，访谈呈现的是他对报道的看法。

招聘时，他寻找真正关心工作质量和影响、愿意克服障碍的人。他说，访谈时 Scale 约有 800 名员工，而他仍会审阅或面试每一位新员工，以保持高标准。

Wang 估计，自己约有 25% 至 30% 的时候会不同意团队的招聘建议，通常是因为经理需要校准标准或情况存在模糊性。他认为，这能运用自己对哪些人在 Scale 取得成功的了解，但也让决策更加集中。

他最大的管理错误，是以为业务快速增长就需要同样快地扩大人数。他说，Scale 从 2020 年约 150 名员工增长到 2022 年底超过 700 人。如此快速招聘让维持标准变得困难，也造成逐渐显现的组织问题。

他说，此后团队人数大致稳定，而收入继续增长。他将业务增长与人数增长区分开来，强调公司无论处于受追捧还是不受追捧的时期，都要维持优秀人才队伍。

他回忆 Patrick Collison 曾认为，Stripe 的一些最佳员工即使公司不是热门企业也会加入。Stebbings 则认为，强大品牌在新市场吸引销售人才方面仍有帮助。Wang 同意，不同职能和情境会带来差异。

快问快答中，Wang 说自己改变了把团队增长与业务增长挂钩的看法。他再次强调，AI 进步不能只依靠算力，并称赞 Microsoft CEO Satya Nadella 的战略判断。

Wang 说，Scale 于 2016 年创立时专注自动驾驶，后来进入生成式 AI，包括与 OpenAI 合作 GPT-2。经历多个周期让他对超越技术现实的承诺保持谨慎。他回忆，自动驾驶期待走在实际交付之前时，行业经历了一段痛苦时期。

他担心，如果生成式 AI 的主张越来越脱离实际能力，也可能经历类似的落差。他说，一些自动驾驶系统后来确实上路，但更审慎的预期本可能避免炒作和失望的循环。

被问到 2024 年美国大选时，Wang 认为结果难分高下，并说自己不知道摇摆州会如何投票。展望十年后，他希望 Scale 继续提供 AI 数据基础设施，并说会考虑上市。这些是他当时的意向，而非承诺。