Anj Midha 谈 Anthropic、算力瓶颈与前沿 AI 的建设

AMP 创始人、Anthropic 早期投资人 Anjney “Anj” Midha 与 Harry Stebbings 讨论 AI 研究、算力基础设施和风险投资。Midha 在讨论涉及的多家公司，包括 Anthropic、Mistral 和 Periodic Labs，拥有投资及运营利益；他对产品、市场和政策的说法是个人观点。

Stebbings 问，增加算力是否正在产生递减回报。Midha 说答案取决于领域和评估方式：已经饱和的编程基准可能需要更多算力才能获得增量提升，而他认为材料科学还有更大的进步空间。他对超导体发现进展速度的说法，并非访谈中经过核实的基准。

在他正在孵化的 Periodic Labs，Midha 描述了一个循环：模型提出材料，机器人合成材料，物理仪器检查其性质，结果再反馈到训练中。他以此说明物理验证如何产生互联网上不易获得的数据。

Midha 提出四个瓶颈：上下文和反馈、算力、资本以及文化。他认为使命驱动的文化有助于吸引愿意改变架构的研究人员，从而更容易解决算法问题。这是他组织问题的框架，并非对所有实验室约束因素的已验证排名。

在他看来，反馈循环很重要，因为在某个领域部署模型并观察其表现，可以提供差异化的信息。他说，约一年前他和同事测试语言模型的物理和化学能力，发现当时表现较弱。访谈没有提供测试、分数或当前的独立比较。

他将部分弱点归因于缺少保存在实验室和工业设施而非公开网络上的科学数据。Periodic 拟议的应对方法是在物理实验室产生并验证数据，再为使用这些数据所需的算力提供资金。Midha 在这一方法中有直接运营和投资利益。

被问及是否会出现更多垂直整合的模型公司时，Midha 区分了特定任务上的强大表现与自主运营整个实验室的能力。他说 AI 可以帮助分析大量实验室数据，并自动化一些与编程相关的工作，但不能简单地通过指令就完成获取许可、融资和从头建设实体实验室的全部工作。

Stebbings 问，基础模型供应商增加类似功能后，哪些垂直业务可能被取代。Midha 说，获得独特的上下文和反馈循环可能让进步及商业优势更明显，但提醒仅有上下文本身未必构成护城河。这一区分是他的投资论点，并非防御能力的保证。

Midha 提到敏感数据和欧洲对本地基础设施的需求。他对美国 CLOUD Act 作出宽泛解读，认为一些组织可能更愿意为关键工作负载选择本地供应商。他的说法是商业和法律观点，不是法律建议，也没有全面描述法律的访问条件或跨境义务。

Midha 说，Mistral 对他的吸引力在于独立的技术栈，涵盖本地基础设施、算力以及可部署和定制的模型。视频介绍他是 Mistral 董事，因此他的正面评价带有投资和治理利益。Stebbings 问美国实验室将如何争取欧洲政府和企业工作负载。

Midha 回忆 Anthropic 的早期阶段。他说自己认识联合创始人 Tom Brown，并于 2021 年初开始与 Brown 和 Dario Amodei 会面，帮助将研究假设转化为业务。按他的说法，团队探索了 AI 编程助手，以及通过部署产生反馈和收入、再购买更多算力的循环。

他说自己投入了个人积蓄，并向 22 位投资人介绍创始人，其中 21 位拒绝。他回忆最初目标是融资 5 亿美元，随后将种子轮目标调低。这些数字和投资人拒绝的原因是他的回忆，而非对每次讨论的独立核实记录。

Midha 说，当时很难解释算力需求和投资逻辑。他认为后来的投资人及 Amazon 认识到前沿模型与云基础设施可能契合，并描述了一项最初规模为 40 亿美元的算力与资本合作。他自己的 Anthropic 早期投资影响着这一叙述。

Stebbings 问成功的 AI 实验室是否不可避免会面临公共冲突。Midha 支持公益治理，认为它能让领导者有空间在长期内平衡使命和利润。他以其他组织作类比；对话没有确立这些组织的法律结构或监管历史可以直接比较。

Midha 说，AMP 的公益使命是支持独立的前沿技术生态系统。他说公司按成本提供大部分算力，因为他认为较小的研究团队需要获得算力。这是他对 AMP 业务和使命的描述，他有利益将这一安排呈现得积极。

被问及 AMP 如何获得稀缺算力时，他说此前在 Andreessen Horowitz 的采购工作和与供应商的关系有所帮助。他将 AMP Grid 描述为协调独立供应商之间的容量，而不是拥有数据中心。其想法是让团队按日常需求配置资源，同时在训练或推理高峰获得额外容量。

Midha 将如今分散的算力供应比作电网出现前各工厂自行运行发电机。他认为汇集容量可以提高利用率。Stebbings 问低价算力是否是与风险投资挂钩的亏损引流手段；Midha 否认交易是这样安排的，并说 AMP 也直接孵化新公司。

他描述与科学家和工程师一次孵化一家公司，并引用 Intel 和 Genentech 等历史合作。他偏好的角色结合资本、运营和公司创建。他将其与向许多公司投资的模式对比，并说一个人同时做好两种方式可能很难。

Midha 说，他每周有三天在 Periodic 与团队工作，并定期与联合创始人 Liam 开规划会议。他说 AMP 的算力团队帮助实验室获取容量。这一叙述说明他所推广的公司与他经营的基础设施业务之间关系密切。

作为投资人，他建议明确假设、并行开展实验，并在论点错误时愿意告诉有限合伙人。他说，即使历史类比能提出有用问题，未来也不是预先确定的。他用工业时代基础设施类比当今协调算力的需求。

Midha 说 AMP 已开始获取约 1.3 吉瓦的算力基础设施，并将其描述为四年约 400 亿美元的云支出。他提到约 20% 的股权融资和约 100 亿美元股权资本，这两个数字在算术上并不完全一致；这些是他给出的近似融资说法，并非独立核实的承诺或已发生支出。

对于欧洲，他建议将基础设施需求与大型云供应商的规模比较，并说本地容量可以支持独立生态系统。他给出对 Google 容量和欧洲潜在需求的估计，但访谈没有提供底层容量清单。这些数字是他的方向性看法，而非已确立的需求。

在融资方面，Midha 说将长期股权、债务与机构需求相匹配，比单独寻找资本更难。他将这种安排描述为系统设计问题。这些评论反映了他的融资经历，不能视为每个项目都能轻易获得资本的证明。

Midha 认为行业面临的是“GPU 浪费泡沫”，而非 AI 能力泡沫。他声称存在大量利用不足的算力，这一判断与 AMP 协调容量的业务相一致。他没有提供独立利用率调查，也没有确立任何全市场泡沫的规模。

他的技术解释是算力并非完全可互换：不同芯片代际、内存容量和软件环境可能限制哪些工作负载能在哪些集群上运行。对于特定训练任务，较旧集群可能无法与较新集群互换，即使它仍可用于其他任务。他希望共同标准和协调能减少闲置容量。

Stebbings 问标准化是否能够消除繁荣与萧条周期。Midha 引用早期基础设施行业，认为标准化会有很大帮助，但这是预测，并非标准会消除周期的证明。他认为，如何采购和治理统计性 AI 系统方面的分歧是协调的障碍。

Midha 呼吁技术人员和标准机构提出并评估共同采购规则。他区分统计模型与确定性软件，并认为机构应共同解决由此产生的问题。他对产业和政府协调的偏好没有规定完整标准，也没有解决政策辩论。

被问及中国模型时，Midha 称赞芯片、系统和模型部署方面的工程能力。他也指称有人对西方模型进行对抗性蒸馏，并预测随着能力提高，开放模型战略可能改变。讨论没有确立任何具名模型或组织使用了非法方法；他的宽泛地缘政治说法是个人判断。

他提议为前沿推理建立协调防御层，让供应商在怀疑受到攻击时共享信号。他说自己的董事会关系已经让他有非正式机会连接创始人。有关国家支持活动和内部威胁的说法在访谈中没有得到独立证实，拟议系统也提出了对话未解决的实施问题。

对于推理需求，Midha 预计如果能力持续提升，需求会增长，但认为安全算力和资本的获取可能限制增长。他认为如果没有足够容量，实验室可能无法达到收入目标。这些是有条件的预测，不是特定公司会错过目标的证据。

Midha 重新讨论 Peter Thiel 关于竞争的话，提出“最优竞争”：一个领域有几个强大团队，而不是单一垄断或缺乏差异化的拥挤市场。他认为垄断可能削弱创新，竞争者过多又可能浪费稀缺资源。这是他偏好的产业结构，并非已确立的最优状态。

他说众多推理供应商争夺相同的稀缺算力，认为拥有可靠供应的较小群体可能更健康。AMP 正积极为这类团队采购容量，因此他在这一判断中有商业利益。他认为能否获得供应是决定供应商成功的重要因素。

Stebbings 问模型创造者是否会为自己的应用保留最好的系统。Midha 预计，通用产品在供应商能够分摊开发成本时会被广泛分发，而专业产品可能按客户分层。他设想存在不同模型组成的生态系统，而非单一通用模型；这仍是一项预测。

Midha 更喜欢“前沿系统公司”而非“基础模型公司”这一说法。他认为模型、基础设施、产品和反馈循环构成相互关联的系统，并引用 Anthropic 的编程产品和 Mistral 的算力工作。他对这些公司的投资及 AMP 的基础设施战略，与这一全栈论点相关。

被问及 AMP 是否有足够资本时，他说在 1.3 吉瓦项目之外继续扩张需要更多资金，但没有给出明确的上限目标。他预计只要进步持续、独立生态系统需要支持，就会继续融资。项目规模是他对正在获取的容量的描述，并非所有基础设施均已运营的证明。

Midha 预计，一些风险投资人会围绕深度参与公司创建建立机构，而不只是充当有限合伙人的中介。他担心公众没有充分分享前沿技术创造的价值。Stebbings 反驳说，养老金和捐赠基金会投资风险基金；Midha 则认为获得某些早期机会的渠道仍不均等。

Midha 说，自己从 Anthropic 首轮到最近一轮，跨多轮投资了数亿美元，并计划将大部分收益用于公益事业。这一金额是他对跨轮投资的叙述，不是已实现回报，也不是单次投资。他持续持有的利益是理解他对公司乐观态度的重要背景。

他给有限合伙人的建议是在选择管理人之前完成阅读，理解技术瓶颈。Stebbings 同意投资人应亲自动手使用 AI 构建产品。Midha 描述了一门面向政府官员的课程，结合技术学习与构建、部署智能体，以此说明他偏好的实践学习方式。

被问及 Dario Amodei 为何有效时，Midha 称赞其科学能力、实证推理和对使命的坚持。作为早期投资人和长期合作伙伴，他是从与 Anthropic 的密切关系出发，而非提供独立评价。他认为这些品质有助于吸引研究人员并指导艰难权衡。

Midha 说，家庭中的健康经历改变了他对时间和关系的重视程度。他敦促学生认真对待工作，同时不要忘记朋友和家人。他反思自己远离父母生活，Stebbings 分享自己的家庭经历，对话也因此转向个人话题。

被问及如何摆脱不断追求更多金钱时，Midha 描述了自己获得新加坡奖学金的经历，以及对财务独立的渴望。他说，看到姐姐应对家庭期待，帮助他理解独立能带来的自由。对他而言，明确使命会让拒绝不合适的机会更容易。

在最后的交流中，Midha 反思自己希望理解并传达技术发展方向。他描述了在印度农村一所学校上学、电脑使用时间有限的经历，并说自己会允许孩子适度使用社交媒体。他倾向于培养让技术有用而不产生依赖的习惯。