Thomas Sohmers 谈 AI 推理、内存与数据中心增长

Thomas Sohmers 将 Positron AI 描述为一家无晶圆厂半导体公司，为生成式 AI 推理构建硬件和底层软件，产品范围从芯片延伸至完整系统及机架级部署。Harry Stebbings 首先问，推理基础设施与训练有何不同。

Sohmers 认为训练主要受计算能力约束：工作负载可以并行处理大量现有训练数据，更多浮点运算有助于训练更大的模型。推理的模式不同，尤其是模型按顺序生成输出时。

在自回归生成中，模型先生成一个 token，再继续下一个。Sohmers 说，反复读取模型权重使内存带宽成为重要限制，因此单纯增加原始计算能力，不一定能按比例提升推理性能。

“内存墙”早于 AI 出现。Sohmers 说，几十年来计算性能的提升快于内存带宽。他估计，2014 至 2024 年间 GPU 浮点性能提升约 120 倍，而带宽提升约 17 倍；这是他的比较，本文没有独立确认这些数字。

他把这种差距部分归因于内存和逻辑电路在硅片上的缩放方式不同。SRAM 单元及其外围电路的缩小速度，不及某些其他晶体管结构，而计算架构本身也取得了显著进步。

Sohmers 说，较早的深度学习工作负载，包括卷积网络，通常能从更多计算能力中获益，而对内存容量或带宽的要求没有同样突出。他认为，Transformer 模型的增长让内存约束变得重要得多。

他把 GPT-3 视为展示更大型 Transformer 模型能力的重要一步，随后 ChatGPT 引发了更广泛的关注。这是他选取的行业转向大语言模型的几个里程碑。

谈到 token 经济性，Sohmers 认为，处理缓存输入可能远比重新计算便宜，并可能给提供商带来较高利润。实际成本和利润率取决于工作负载、定价、利用率及基础设施；他的比较不是普遍适用的测量结果。

他提到据报道的 Anthropic API 业务毛利率，并表示竞争可能压缩利润。访谈没有确认该数字或公司的整体盈利能力；Sohmers 也区分了自己对竞争的支持与硬件供应商的利益。

Sohmers 不同意前沿 AI 提供商必然没有盈利路径的看法。他推测训练是一项主要成本，减慢训练会改变其经济状况，但表示自己不认为降低成本一定是呼吁放慢发展的本意。

谈到 AI 安全和发展速度，他说希望人类避免灾难性后果，同时相信技术有巨大的潜在益处。他担心，笼统地呼吁放慢发展可能壮大那些希望彻底停止发展的力量。

他的第二个担忧是权力集中：他认为，限制先进技术只由少数公司或政府掌握的监管，可能造成持久的权力失衡。这是他对潜在规则的政治判断，并非发现某项具体监管一定会产生这种效果。

Stebbings 认为，公司支持监管可能有战略原因。Sohmers 同意，各方激励可能不同，但他说自己相信 Anthropic 的许多人认真对待潜在收益与风险。他对高管动机的评论属于推测。

Sohmers 警告说，要求政府干预的领导者可能无法持续控制干预如何实施。他担心最终的官僚体系可能限制技术获取和进步，但他将其作为假设结果，而非对某项已实施政策的描述。

Stebbings 问，如果美国放慢脚步而中国不放慢，会发生什么。Sohmers 认为某些灾难性 AI 情景不太可能发生，同时把地缘政治竞争视为严肃问题。他对中国未来政策和技术获取的预测是观点，不是某个既定计划的证据。

两人都质疑单方面放慢速度是否能保持技术领先。Sohmers 认为，出口管制和持续占据主导地位的假设可能无法提供持久解决方案；他用军事竞争作比喻，说明为上一个技术时代做准备的风险。

Sohmers 说，自己总体支持自由贸易和思想交流，同时主张对不进行对等交流的威权政府采取限制。这反映了他的政策偏好和他对中国在国际贸易中角色的看法。

他说，公共讨论应考虑科技领导者和政治人物的激励。他自己的立场是反对广泛限制前沿技术发展的方向，同时认为讨论收益与风险都有价值。

Sohmers 指称，横跨不同政治立场的数据中心反对声音在很大程度上是一场中国影响行动。他没有提供证据证明存在外国指挥或资助。反对也可能来自当地关切；Stebbings 特别提到电价、用水和视觉影响。

回应外观方面的担忧时，Sohmers 建议让大型数据中心更加美观，并将其呈现为工程地标。他认为，对建筑外观的批评与他赋予这些设施的更广泛战略价值是两个问题。

他声称，一些大型设施的用水量比一家餐厅还少，并认为闭环液冷可以减少耗水。他没有为这一笼统比较提供支持数据；冷却设计、间接用水和当地影响差异很大，因此不能根据这段访谈作普遍推论。

Sohmers 把他缺乏证据的外国影响指控，与他认为中国正在扩张能源和数据中心基础设施、而美国面临公众反对的观点联系起来。他没有证明中国当局造成了这些反对；批评项目也不是外国协调的证据。

他认为美国有土地可供建设，并批评部分联邦土地的限制，提到内华达州的地热和太阳能资源。他说偏远项目不会影响任何人，这一断言并未得到证明：生态、文化、水资源和社区影响需要针对具体地点评估。

Sohmers 还声称，数据中心总能带来足够的新发电能力，而且不可能占用原本分配给现有用户的电力。访谈没有为这些普遍性断言提供证据。电网接入、费率和成本分摊因项目而异，可能影响其他用户。

被问到多少规划中的容量会最终建成时，Sohmers 预计大型开发商大体会完成建设，但如果社区反对某个具体地点，项目可能迁移。这是他的预测，他也承认当地政治反对已经影响过项目。

Sohmers 说自己对替代地点持开放态度，包括海上设施以及更长期的太空设施。他提到一家与 Positron 合作的海上数据中心公司；这些方案的可行性和经济性仍不确定。

谈到能源约束，他说 Positron 致力于提高每瓦电力能完成的有效计算量。他的示例表明，更高效的系统可能用更少电力完成一定工作；他预计客户可能用节省下来的资源做更多工作，而不是简单地建造更小的设施。

他认为能源是经济进步的长期约束，但仅有供应还不够：电力和基础设施也必须在经济上可行。在他看来，融资以及各方承担债务的意愿可能限制建设速度。

被问到基础设施债务上升时，Sohmers 说自己比起 AI 公司未能达到目标，更担心主权债务和通胀。他对公司的收入和执行能力表示信心，但这些观点不能保证财务表现。

他担心主权债务或货币危机可能影响更广泛的金融体系。Stebbings 随后请他解释键值缓存和压缩，这些话题把硬件约束与模型服务的经济性联系起来。

Sohmers 从 token 开始解释：模型系统把文本拆分成可重复使用的片段，片段可以是完整单词，也可以是单词的一部分。输入与生成的 token 序列构成模型处理的上下文。

他解释说，早期 Transformer 实现可能在每次生成新 token 时重复处理之前的 token。键值缓存保存注意力机制中的中间键和值，让后续步骤可以复用这些状态，而不必重新计算所有先前内容。

代价是存储。缓存大小随序列增长，并因模型架构而异；不使用缓存则需要更多计算。Sohmers 强调，提供商必须决定为每位用户保留多久的状态，以及把它存放在哪里。

谈到压缩，他首先介绍量化：用更少的比特表示数值。将精度从 16 位降到 4 位可以大幅减少原始存储需求，但简单直接的转换可能损害模型质量；损失程度取决于方法和工作负载。

他描述了更复杂的方案：在多组数值之间共享缩放信息，在保留大部分存储节省的同时减少质量损失。类似思路可以用于权重和缓存，但压缩率与保真度之间仍有权衡。

Sohmers 说，服务可以不使用 KV 缓存运行，但他预计经济性和性能会更差。当会话大量复用先前上下文时，缓存的价值会提高，因此如何读取和保留缓存对运营者很重要。

他引用一个编程智能体基准，作为大量复用 token 的工作负载示例。他提到的比例只描述该特定基准及其追踪会话，不应套用到每种模型、客户或工作负载。

大型模型和较长的单次会话，可能让缓存容量相对于模型权重变得很重要。Sohmers 给出了模型大小和用户会话的示例数字，其中一些基于假设或报道估计，而非已披露的规格。

运营者必须决定将多少加速器内存分配给权重、多少分配给用户状态。Sohmers 说，持久缓存可以为提供商节省大量重复计算，也可能让用户感觉响应更快；但具体平衡因工作负载而异。

他描述了一种分层方案：将活跃会话放在靠近加速器的位置，把较久未使用的状态移至主机内存，再用更慢但容量更大的闪存或网络存储保存更旧的会话。每一层的成本、容量和读取延迟都不同。

随着用户数量和上下文长度增长，挑战在于选择保留哪些内容、放在哪里。Sohmers 说，Positron 的产品策略反映了它对更大模型、更多用户和更长上下文的预期；这一预测及公司的性能主张仍需接受市场检验。

他认为，更大的上下文可以让编程智能体处理更多公司的代码仓库和辅助信息。他把获取相关上下文视为一个实际约束，这与模型的推理能力共同决定效果，而不是彼此独立。

被问到企业自有的小模型是否与他对更大模型的预期冲突时，Sohmers 描述了两个层次。他预计前沿提供商会继续构建更强的大模型，同时企业也会出于成本或数据控制考虑，采用更小或本地运行的系统。

对于 Positron 自身使用，他说如果前沿模型能创造显著更多价值，自己愿意支付更高价格。希望在本地控制数据的公司可能作出不同权衡，因为自行托管最大的模型可能很困难。

Sohmers 估计，少数主要提供商占据大部分 token 用量，并预计企业自托管模型仍会占少数。他没有为这些市场份额提供数据，未来分布也不确定。

他认为小模型在手机和其他设备上尤其有意思。他没有假设每个本地 token 都会替代一个云端 token，而是预测本地助手可以监测相关信息，把更难的任务交给远程大模型，从而增加总需求。

在他的假设例子中，本地助手观察邮件、日历和消息，然后决定何时让更强大的模型分析某件事。如果用户信任该系统并授予必要访问权限，结果可能是产生比用户手动发起更多的调用。

为什么预期前沿模型会越来越大？Sohmers 指出过去的扩展趋势，但明确表示，这些观察并不是性能会无限持续改善的数学证明。他对大模型仍有用的信心，是基于这些趋势作出的判断。

他把自己使用一个近期模型的体验，与早期尝试 ChatGPT 时的兴奋感相比，同时承认未来能力难以预测。他把该模型的表现当作自己乐观判断的依据，而不是普遍接受的 AGI 定义。

Sohmers 说，近期一个模型帮助完成了困难的编程任务，并发现了代码库中以往模型未能同样解决的问题。他把有意义的进步与声称所有软件设计问题都已解决区分开来。

他还描述了使用计算机操作工具、视觉工作和室内设计的实验。这些都是他的个人能力示例；访谈没有提供独立评估，也没有证明其他用户能以何种可靠程度复现。

对于一项芯片设计任务，他说自己测试了模型能否处理一个加密模块，从硬件描述进入物理设计流程。他报告该过程用时略超过 50 小时，并与他估计经验不足的人类可能需要的更长时间作比较。

Sohmers 说，电子设计工具的界面不直观、文档也可能不公开，因此模型使用起来可能很困难。他把所报告的成功归因于计算机操作和脚本结合。这些结果属于个人案例，不应视为经过独立验证的基准。

Stebbings 问，应该如何看待 AI 实验室开发自有芯片。Sohmers 欢迎竞争，认为不同工程团队可以探索不同架构。作为硬件公司高管，他预计多种路线会扩大可用的设计空间。

他说 Positron 已经作出自己的架构选择，而行业其他参与者也在发展。在他看来，客户选择和市场结果会决定哪些方案创造价值；他没有声称某种设计已经获胜。

谈到上下文长度，Sohmers 说传统注意力机制和硬件会带来实际限制。他声称 Positron 下一代产品的内存容量将显著超过一家主要竞争对手的设备；这是公司的预测，而非对已出货产品的经核实比较。

他说，在现有内存和计算限制下，把上下文从 100 万 token 扩展到更大规模可能很困难。稀疏、线性及其他注意力机制可能降低这些成本，但效果取决于具体实现和质量。

Sohmers 肯定中国模型开发者在硬件限制下作出的重要算法工作，包括多头潜在注意力。他说，压缩注意力状态可以用额外计算换取更小缓存，说明改进既可能来自芯片，也可能来自算法。

被问到算法节省是否会降低对新硬件的需求时，他说可能存在质量或其他方面的权衡。他依据自己的信息和传闻，推测美国实验室的采用情况；访谈没有确认这些公司未公开的架构。

宣传中的更大上下文窗口，不等于模型能有效使用其中每个 token。Sohmers 说，一些早期模型在上下文增长时会出现召回下降；他提到长上下文测试，可以用于检查是否真的能找回相关信息。

他引用了自己对近期模型在检索类基准上的比较。这些数字是他报告的观察，而非受控的独立比较；单一基准也不能衡量所有长上下文任务。

Stebbings 问到据报道的 token 价格下降：数年间从每百万约 60 美元降至不到 1 美元。Sohmers 说，单看价格会遗漏重要区别：来自更强模型的 token，可能对旧模型无法很好完成的任务有用。

他比较了新旧模型的能力，并对每个 token 的价值提升给出一个很大的估计。这是他的定性经济判断，而非标准化测量；实际获得的价值取决于应用、错误和替代方案。

定价会从 token 转向有用的结果吗？Sohmers 认为，按 token 计价会继续常见，因为相对容易计算和收费。按结果定价更难定义与验证，但他能想象面向更自主产品的其他方案。

作为假设，他描述了未来某家提供商可能以固定年费提供大量使用机会，服务于具备类似员工工作能力的智能体。例子中的金额和能力都属于推测，并非已经公布的产品或价格。

Stebbings 问什么可能刺破 AI 泡沫，包括前沿提供商未达到增长预期，或用户转向开放模型的可能。Sohmers 同意放缓是有可能的，但他说自己认为这种情况发生的概率较低。

他的理由仍是互补性：低成本的本地助手可以处理日常监测，在遇到更难任务时请求更强的云端模型帮助。这可能增加云端需求，但依赖用户信任、访问权限和调用的经济性。

对话转向为模型开发提供数据和服务的公司。Sohmers 认为存在增长潜力，但一个关键不确定性在于前沿实验室最终是否会将更多任务内部化，而不是向外部采购。

最后，他强调自己所谓的“人类对齐”：让社会在 AI 发展过程中就期望的结果开展协调。他说技术安全工作很重要，但可能受到监管、能源、数据中心选址和其他社会选择上的分歧限制。

Sohmers 认为经济激励会塑造决策，并希望更多人认真分析这些协调问题。Stebbings 结束时指出，讨论横跨基础设施、模型经济性、政策和 AI 的未来。