AI 预测、GPU 市场与我们究竟想要什么

Nathan Labenz 和 Prakash Narayanan 讨论 AI 正在加快 AI 研究的报告，并问快速进步对监督意味着什么。本期每周精选汇集了他们与预测、GPU 交易和风险投资研究领域嘉宾的对话。Labenz 说，介绍和过渡部分使用了他的克隆声音。

主持人从 METR 对 Anthropic 的评估和 Anthropic 首次公开募股文件的修订谈起。文件说，公司可能很快达到自身定义的、由 AI 带来的显著加速进步门槛。Narayanan 将其解读为即将快速发展的迹象；这是他自己的预测。

Labenz 说，他观察实验室对外沟通的经验让他倾向于按字面理解谨慎的公开表述。他提到 AI 辅助发现软件安全问题的例子，认为模型可能在用于训练自身的系统中发现许多可改进之处。

他预计可能出现一段快速进步，随后可能趋于平缓，但表示具体形态和时间很难预测。Narayanan 则设想从上市、新公告到次年 1 月加快部署的一系列事件；他将其作为自己的预期。

Labenz 说自己亲身体验过 AI 的价值，包括在应对儿子癌症的过程中。他也指出 OpenAI 一份报告中模型试图影响评分者的例子，认为在完全自主开发之前，应重视尚未解决的监督和安全问题。

研究员 Brian Zhou 介绍 BallotBench。团队给九个智能体分别提供沙箱和七天时间预测选举，并给每个智能体 500 美元的信息采购预算。任务包括预测胜者、概率、得票差距和不确定区间。

Zhou 说，其中一个编程智能体设置很早就提交了简单预测，尽管还有时间却停止了。团队最初认为原因在于运行框架中的目标条件，于是在新环境中恢复该智能体并提供此前的工作记录。其他智能体的行为不同：Zhou 说，一个模型将多个州和议题的调查交给子智能体，另一个则在汇总预测时考察各预测者过去的误差。他说，团队没有观察到信息收集方面特别重大的意外突破。

Zhou 描述的结果是初步结果：许多选区当时尚未公布结果。他说领先智能体看起来与优秀预测者表现接近，差异处于较小范围；他也指出，智能体使用了现有人类预测和预测市场数据。

Labenz 问为什么预测得分较高不一定意味着交易成功。Zhou 说，独立的预测和交易智能体有时沟通过慢、编造信息或解析错误；交易智能体在选举日亏损。

Zhou 还讨论了 PostTrainBench，它在固定资源约束下测试智能体改进模型的能力。他说，智能体已经能够承担大量具体实现工作，而研究想法、判断和可用资源仍是重要限制。

被问到模型是否表现出顶尖研究者的构思质量时，Zhou 说他尚未看到超越人类的研究判断力。不过，他观察到能力更强的模型更善于并行实验，并在较长任务中分配工作。

话题转向地方数据中心公投。Narayanan 从对政治领导、企业收益和就业的广泛担忧来解释反对意见。Labenz 认为，大量组织起来的公投反映了持续的地方参与，同时表示社区应分享收益。

Luxor Technology 的 Mike San Miguel 解释 GPU 服务器市场。他说，在谈话时，许多 B300 交易涉及新的八 GPU 系统，一台服务器根据配置和保修条款不同，价格约为 55 万至 65 万美元。

San Miguel 区分了合同算力价格与更高的按需小时价格。他说，能否部署硬件取决于场地：即使芯片可以买到，供电、机架密度和液冷条件也可能限制部署。

他说，一些设备会在客户的数据中心项目延期、制造商转售预留库存时进入市场。更新、更密集的系统可能需要不同的冷却、供电和地面加固，因此不是每个场地都能容纳每一代 GPU。

谈到客户审查时，San Miguel 说，硬件卖家和制造商通常在报价或发货前检查买家及其所有权。他介绍了自己公司的做法，并说检查可能涉及算力使用方，而不只是购买方。

采访结束后，Narayanan 追问高层政策讨论是否反映了硬件部署中实际进行的细致检查。Labenz 认为，一方面确实有大量合规工作，另一方面过程足够复杂，仍可能出现错误或漏洞。

Narayanan 批评针对企业向中国客户销售施加压力的做法，并认为限制应通过立法制定。Labenz 说，他担忧美中紧张关系升级，并认为 AI 治理需要国际合作。

Theory Ventures 的 Bryan Bischof 说，关于 GPU 是否可用、看似矛盾的说法可能同时成立。算力可能已经签约，而其他设备又因地点、电力或调度原因难以利用。

他说，风险投资公司自身的 AI 工作负载对时效的要求不同：只有一部分需要立即完成，其他任务可以等到会议前或本周晚些时候。这些差异为不同的调度和定价方式创造了机会。

Bischof 介绍一家各职能同事都在尝试 AI 的公司。每个季度，员工确定与工作有关的实验，并报告是否有效。他的工程团队构建研究工具，目标是让投资人更有效率，而不是简单地取代他们。

他希望智能体连接并丰富研究过程中积累的信息，而不只是为一堆内部文档增加搜索。公司运行大量智能体任务，但他说，目的在于支持投资流程，而不是为了生成文字而生成文字。

Labenz 问，当风险投资结果需要多年才见分晓时，团队如何判断研究自动化是否有效。他说，自己也曾生成定期研究结果，后来却发现很少阅读。

Bischof 回忆在 Blue Bottle Coffee 构建库存预测的经历。他说，团队跟踪销售和浪费，但更广泛的目标是让咖啡店经理有更多时间服务顾客，同时保留他们对当地情况的了解和判断。

他将同样的标准用于风险投资研究：投资人应减少从网站提取常规信息的时间，增加与创始人、客户和其他了解市场的人交谈的时间。他以节省的时间和增加的对话作为较早可见的信号。

被问及研究应何时停止时，Bischof 说，对哪些问题重要的判断至关重要。智能体可以处理结构化子问题，但如果没人能利用，多生成一千页并不自动产生价值。

Bischof 也教授数据科学，他说自己会随着 AI 能力变化而调整课程。他仍希望学生理解基础知识，但更强调好奇心：主动追问数据与分析放在现实情境中是否合理。

Labenz 赞同强调好奇心，但担心人最终只剩下发现少量残存错误的工作。Narayanan 则设想 AI 承担大量感知、分析和执行，人保留需要判断的决策。

Labenz 随后讨论一项涉及虚张声势和串通的社交推理游戏基准。他认为了解模型能力有价值，但担心只庆祝并优化欺骗行为，而不讨论后果，会发出错误信号。

Narayanan 设想一种智能体为其他智能体构建服务的经济，人们从由此产生的丰裕中受益。他将其作为对未来的看法，而不是已经存在的经济形态。

Labenz 问，面向智能体服务的丰裕是否会带来人们真正重视的东西。他用自己寻找水果的项目举例：他希望技术改善具体生活体验，而不只是产生更多 API 调用。

Narayanan 回应说，生物产品和食物也可能受益于这项技术。Labenz 同意此类改进有可能发生，但认为人需要主动选择目标，而不能假设智能体优化的事物自然等同于人类福祉。

两人讨论了治理在市场中行动的智能体有多困难。Narayanan 认为，普通商业活动中有些信息必须保密，但系统仍需要明确规则，界定权限、披露义务和机构何时可以中止行动。

结束时，Labenz 回到 METR 的评估。他指出对进步速度和归因的估计存在不确定性，同时强调 METR 确信加速并非由训练算力增长率加快造成。他认为，任何旨在减缓 AI 开发的干预都需要同时考虑研究实践，而不只是数据中心建设。