30 秒看懂
Eiso Kant 与 Harry Stebbings 讨论 Poolside 面向软件开发的 AI 方法,包括合成数据、基于执行反馈的强化学习,以及训练和运行模型所需的基础设施。他说,公司融资和 GPU 能力让其能够参与竞争,同时承认还需要更多资源。 Kant 还讨论行业集中、招聘和监管。公司与硬件主张、市场判断和预测反映了他的商业利益;访谈没有独立核实模型质量,也没有解决正确性、安全或未来能力问题。
- 1缺失的开发过程Kant 认为最终代码没有体现中间尝试和反馈,他说 Poolside 试图生成有关这一过程的数据。
- 2执行反馈他称公司使用约 13 万个代码库进行模型探索;该数字来自公司,通过测试本身并不能证明完全正确。
- 3资本与算力Kant 说 Poolside 总共募集 6 亿美元并上线 1 万块 GPU,同时预计还需要更多资源。
- 4战略投资者他说,这轮融资没有主要超大规模云服务商参与,但包含与 Poolside 合作的 Nvidia。
- 5两种落后的方式他在事前复盘中指出,模型能力和市场推广执行都必须做好,才能参与竞争。
要点建议
- 代码执行可以提供有用的训练反馈,但通过测试并不能证明系统完全正确或安全。
- 合成数据需要一种评估或选择有用样本的方法。
- 模型训练与运行对算力、网络和成本有不同要求。
- 融资可以购买算力,而人才、数据和研究仍然难以获得。
- 关于 AGI、市场赢家和 AI 采用情况的预测仍不确定。
按章节阅读整理后的全文
通过软件走向更广泛的 AI
Kant 描述 Poolside 对编程的关注,以及最终代码与开发过程之间的差距。他对能力和数据的主张反映公司视角。
Poolside 联合创始人兼首席技术官 Eiso Kant 与 Harry Stebbings 讨论软件开发 AI、算力、融资和公司的抱负。Kant 与 Poolside 有直接商业利益,技术主张和预测均来自他的叙述,而非独立评估。
Poolside 正在追求更有能力的软件开发 AI,并将其视为通往更广泛机器智能的一条路径。Kant 区分了遥远的通用人类级能力愿景,以及在特定具有经济价值的任务中可能更早取得的进展。路径和时间都属于假设。
他将基础模型描述为从大型数据集中学习泛化能力。在他看来,数据稀缺可能限制推理、规划和特定领域的能力。对于编程,他估计可用代码约有三万亿个 token,公开代码库有数亿个;这些是他的估计,取决于定义和数据权利。
公开代码通常展示最终成果,而不是生成它时所有中间尝试、测试和推理。Kant 说,Poolside 希望同时创建有关这一过程和最终输出的数据,让模型能从失败并修订的尝试中学习。
执行反馈与合成数据
他以 AlphaGo 作类比,并介绍从代码执行中学习。测试提供反馈,但不能证明完全正确或安全。
他以 DeepMind 的 AlphaGo 作类比:模型可以探索棋步,并利用胜负反馈改进。后来的系统可以在没有初始人类棋局的情况下从模拟环境中学习。他的叙述经过简化,并不能证明软件工程等同于围棋。
Kant 对比了可以模拟的领域与复杂的物理世界。他以车辆数据收集为例,并预测 Tesla 将在完全自动驾驶方面领先。这是他的竞争预测,并非对安全性、能力或未来市场领导地位的已核实结论。
Poolside 将其方法称为基于代码执行反馈的强化学习。Kant 说,公司让模型在包含约 13 万个真实代码库的环境中尝试解决方案,使用执行和测试作为反馈。规模和领先性主张来自公司;通过现有测试本身并不能证明代码正确、安全或满足所有要求。
算力、缩放与成本
Kant 讨论数据、算法、模型规模和蒸馏。他区分模型价格与底层基础设施成本。
他区分算力、数据和算法,并补充说人才至关重要。在他看来,提高算力效率的研究是保持竞争力的必要条件,而独特数据可以让模型形成差异。算力对于生成和评估合成样本也很重要。
Kant 用压缩作为心智模型,解释为什么较大的模型可能比较小模型保留和泛化更多信息。他预计扩大规模和改进算法会继续带来进步,同时承认规模有极限。这一类比用于解释,并非模型行为的完整理论。
合成数据不会仅因为由模型生成就自动有用。Kant 描述了先生成多个候选解决方案,再使用评估器区分优劣的方法——代码领域可以使用测试,而较难直接验证的领域可以使用人类反馈。评估器的质量和覆盖范围仍然重要。
他认为软件开发是有前景的早期领域,因为执行反馈可以借助算力扩大,而收集专家的人类判断更难。不过,他也说,当时的模型是有用的助手,与人类开发者仍有很大差距。他认为软件会最先缩小这一差距,这是公司的判断。
谈到缩放规律,Kant 预计数据和模型规模仍有扩大空间,并将合成数据生成视为另一种算力使用。他没有声称知道终点。更好的算法和硬件也可能提高效率,但速度和结果不确定。
一种商业方法是先训练一个能力强的大模型,再把部分行为蒸馏到运行成本更低的小模型。Kant 说 Poolside 采用这一大方向。蒸馏可能涉及能力与成本的权衡;访谈没有提供性能或单位经济测量。
他区分模型价格与提供商成本。拥有数据中心、网络、能源和自研芯片的超大规模云服务商,其成本结构可能与购买硬件或云容量的公司不同。他预计竞争会压低利润率,同时承认模型质量和效率也影响成本。
Kant 讨论 Google 的 TPU、Amazon 的芯片和 Microsoft 的自研芯片工作,以及 Nvidia 硬件,作为垂直整合的例子。他对制造和成本优势的比较是访谈时的行业判断,而非经审计的成本数据。
从更长远看,他预计机器智能会应用于许多问题,并相信硬件和软件效率会提高。他将更广泛的经济和社会收益作为愿景提出,而非已证明的结果或精确预测。
融资与算力基础设施
他解释 Poolside 的融资并报告 GPU 规模。讨论涵盖供应、训练集群和未来成本的不确定性。
为了评估机会,Kant 考虑三个问题:工作价值有多大、当前模型与人类能力的差距有多大,以及是否能获得足够有用的数据来缩小差距。他将这一框架应用于编程、语音和驾驶;他对差距的判断具有主观性和时间限定。
Stebbings 问 GitHub 的代码是否赋予它不可战胜的数据优势。Kant 说,模型开发者大体上都能获得公开代码,而访问私有代码需要适当权利。他强调中间执行数据和研究可能形成差异;他对私有代码训练的宽泛说法不应被理解为普遍法律结论。
Poolside 总共募集了 6 亿美元,其中一轮为 5 亿美元。Kant 说,这让公司取得参赛资格,但不意味着未来一直资金充足;他还说公司上线了 1 万块 GPU。这些是公司报告的融资和基础设施数字,并非独立模型性能证据。
他说,建设更大的训练集群受到网络、算法、硬件供应和实体基础设施的实际限制。资金很重要,但不能立即购买无限的互联算力。他没有给出实现 AGI 所需的确定金额。
获取算力还需要关系、备选计划以及在部署前很久作出决定。Kant 说自己看到需求超过供应,但承认超大规模云服务商对整体情况有更好的了解。他的判断反映了访谈时的市场情况。
被问到进入竞争是否需要 1000 亿美元时,他区分了建设全球超大规模基础设施与训练能力不断提高的模型。他认为前者可能需要这一量级的资金,但说没有人知道缩小能力差距的确切成本。
Kant 区分了训练模型的支出,以及运行模型所需的运营成本和实体设施。他认为,模型最终必须创造足够价值来证明这些投资合理。他对大规模推理基础设施建设的预期,是对采用和需求的预测。
训练大型模型时,机器需要在学习更新过程中大量通信;处理相互独立的请求时,部署方式往往可以不同。Kant 用这一区别解释训练集群对网络和电力的高要求,但没有声称每一种训练配置都必须使用同一个物理房间。
芯片与竞争
Kant 评估芯片供应商、硬件代际和竞争融资。他披露 Nvidia 参与了 Poolside 的融资。
他将 Nvidia、Google 和 Amazon 视为主要芯片参与者,也认为 AMD 和 Microsoft 自研芯片具有重要可能性。他的排名反映了当时的视角,并不保证未来市场份额。
Kant 说,Nvidia Blackwell 一代的延迟让 Poolside 有更多时间使用现有 H200 集群。他估计,历史上每代训练性能大约提升 1.5 至 2 倍,同时预计推理可能获得更大提升。这些数字和预期是他的估计,取决于工作负载。
他说,效率更高的芯片不一定让现有集群无法使用,也不一定迫使公司立即升级。它可能改变成本和竞争平衡;计算结果取决于硬件、工作负载和经济条件。
Kant 预计未来十年将显现 AI 更广泛的影响,而不应只关注下一代 GPT 发布什么。他将智能、能源和太空列为长期重大挑战。这些是抱负和预测,并非已确立的结果。
比较自身融资与规模更大的竞争对手时,他认为资金能购买算力,但不会直接转化为人才、原创研究或数据优势。物理限制可能让较小公司有时间竞争。这是作为同一市场中融资的创始人提出的战略论点。
Kant 说,Poolside 在所讨论的融资轮中有意没有引入 Google、Microsoft 或 Amazon,因为公司看到了独立发展的路径。Nvidia 以较小的战略角色参与,他还描述了双方在硬件和软件上的密切合作。这一关系与他对 Nvidia 的评论有关。
竞争、人才与 AI 采用
他讨论模型公司、市场集中和企业采用,并介绍 Poolside 的国际招聘策略。
他认为,足够成熟且仍独立的前沿模型公司数量有限,并列出其中几家,同时承认自己是从外部观察。行业整合和每家公司的未来都存在不确定性。
被要求在假设估值下选择 OpenAI、Anthropic 或 xAI 投资时,他表示,在会见各公司的领导团队之前不会选择。他分别指出基础设施执行、分发和研究方面的优势。他的描述和假设估值是有时间限制的观点,而非投资建议。
Kant 将建设 Poolside 描述为一项需要牺牲的执念,并反思艰难决策和睡眠受扰的压力。他欣赏 Elon Musk 在困难项目中承担风险的意愿;这是个人评价,并不能证明任何特定策略会成功。
他将加密货币的去中心化理想与 AI 中稀缺算力、人才和研究可能带来的集中作比较。他认为少数独立公司仍可能与超大规模云服务商一起成为主要参与者,并明确将 Poolside 包含在自己希望看到的未来中。
他说,企业采用 AI 因用例而异:一些项目仍处于实验阶段,而开发者辅助已经有用。他预计语音识别和图像生成将面临越来越强的商品化。这些是市场判断,并非对每次部署的测量结果。
Kant 澄清,Poolside 是一家美国公司,员工分布在美国、欧洲和以色列。创始人梳理了约 3300 位潜在招聘对象,看到湾区之外有强大的 AI 人才,因此建立欧洲业务,部分原因是为了接触不愿搬迁的人。
他认为 DeepMind、Google、Meta 和 Yandex 帮助培养了人才群体,包括离开俄罗斯的研究人员。他反对关于欧洲工作态度的简单刻板印象,并说 Poolside 会明确告诉候选人,公司打算高强度竞争。这些是招聘和管理偏好,并不能证明长时间工作保证进步。
价值创造与全球研究
Kant 解释 Poolside 的端到端策略,并讨论早期模型开发商是否能捕获价值。他分享对中国 AI 研究的看法。
Stebbings 认为,互联网的大部分价值是在第一波浪潮之后很久才创造的。Kant 同意后来的应用可能创造比模型开发商自身更多的价值,但预计一些现在建立的公司会成为重要的长期参与者。结果仍不确定。
Kant 说,Poolside 打算同时建立模型和端到端软件开发业务,也预计其他人会在其基础上创造额外价值。这是公司试图避免昂贵突破主要让下游企业受益的策略。
他反对“中国在 AI 方面必然落后数年”的假设,理由是公开研究和人才。他敦促西方国家吸引来自中国的研究人员,并提醒技术领导者不要假设技术专长能够解决地缘政治问题。他的比较是观点,并非全面测量。
监管与个人动力
他反思此前的公司、政策偏好和船上生活。最后谈及 Poolside 的风险和自己追求困难工作的原因。
在快问快答中,他说自己更加相信数据规模的重要性。他在财务上后悔没有将此前的公司 Source 卖给 GitHub,但珍视随后走过的旅程,以及与联合创始人 Jason Warner 建立的关系。假设中的收益并非已实现回报。
他认为全球冲突破坏芯片供应链,可能阻碍技术进步。他会选择 Mark Zuckerberg 担任董事,因为他欣赏其长期信念;这一评价反映了 Kant 自己的领导偏好。
谈到监管,Kant 主张对 AI 的最终用途追责,而不是限制训练算力,并认为行政成本可能伤害小型初创公司。这是一位前沿模型创始人的政策偏好,并不能解决关于模型或部署风险的争论。
他说,与伴侣和狗一起住在帆船上,可以让生活保持简单,更重视经历而非物品。创办 Poolside 后频繁旅行,使他待在家的时间很少。
在事前复盘中,他说如果 Poolside 在模型能力或产品进入市场方面失误,就可能落后。他认为两者都对公司竞争机会至关重要,而非保证成功。
Kant 希望人们更常问创始人为什么追求自己的工作。他说,与重视的人一起解决雄心勃勃的困难问题时,即便工作强度很高,自己也最感到内心平静。对话最后以致谢结束。
同频道的其他文章
23:48EN → 简体中文
1:13:26EN → 简体中文
59:41EN → 简体中文
1:19:50EN → 简体中文
1:03:05EN → 简体中文
1:17:09EN → 简体中文