30 秒看懂
OpenAI 首席执行官 Sam Altman 与 Stripe 联合创始人 John Collison 讨论 AI 安全、智能体团队、研究和算力。Altman 分享了内部估算和对未来的预测；访谈没有独立验证其中的数学或性能说法。
- 1隔离存在边界Altman 呼吁加强当前安全，同时质疑对于假设中强大得多的系统，单靠沙箱是否足够。
- 2研究与算力预算他讨论内部数学实验及其估算，但访谈没有对这些说法进行独立验证。
- 3多个智能体，而非单一系统Altman 倾向于由相互作用的多个系统组成的多元生态，而不是一个能力压倒一切的 AI。
- 4算力成本两人讨论示例性的基础设施成本，以及扩大供应的挑战。
- 5超越 token 的计价方式Altman 说，尽管 token 数量不能很好地衡量价值，客户仍希望有容易理解的计价单位。
要点建议
- Altman 认为 AI 安全需要更好的防御，以及对隔离、监控和对齐的研究。
- 他倾向于探索多个相互作用的智能体，作为增强韧性的一种可能途径，同时承认设计选择很重要。
- AI 辅助研究引出算力分配和对研究群体影响的问题。
- Altman 希望算力更便宜、更充足，但把基础设施变革描述为长期工作。
- 两位嘉宾都预计个人智能体会改变交互界面，同时承认采用和控制方式仍不确定。
按章节阅读整理后的全文
安全与迭代部署
Collison 和 Altman 讨论漏洞发现、架构安全，以及将 AI 工具交到用户手中的理由。
John Collison 向 OpenAI 首席执行官 Sam Altman 询问最近一次 PHP 漏洞搜索。Altman 说，模型发现漏洞的能力正在提高，而大量现有代码还没有以这种方式检查过。他预计，随着检查范围扩大，人们会发现更多严重漏洞。
Collison 认为，仅修补单个漏洞可能不够，持久的安全也许需要改变架构。Altman 同意，AI 工具可能让更大规模的重新设计变得可行。他推测，新公司可能重建软件栈的一部分，而几年前这样的范围看起来还难以实现。
被问到什么让他想起互联网早期时，Altman 提到人们创造性地使用 AI，特别是孩子根据自己的想法制作游戏或实用软件。他预计，年轻用户会把这种能力当作普通事物，而不会感到惊奇。
Altman 回忆 OpenAI 的一次事故：Codex 无法使用时，员工突然意识到自己有多依赖它。Collison 将这一转变与早期程序员使用打孔卡或在脑中记住大型程序的经历作比较。
Collison 问，让模型接受网络安全能力训练是否是一个错误。Altman 说，为什么要有意让模型在危险领域变得更强，是一个合理的问题。更广泛地说，他认为行业还没有充分解释，为什么潜在收益值得承担人们担忧的风险。
Altman 描述了一种公众可能理解到的黯淡 AI 未来：失业、个人控制力下降和侵入性的安全国家，而对面的收益则是承诺中的医疗或经济改善。他说，人们需要更好的解释，了解技术如何让他们自己塑造生活，而不是把决定交给一小群人。
他为 OpenAI 的迭代部署原则辩护：把进展交到人们手中，让他们发现有用的应用，同时在发布前使系统足够安全。他将其作为自己偏好的路径，而不是宣称部署没有风险。
谈到网络防御，Altman 说 PHP 事件的初期反应比他最坏的担忧要好，用户利用模型制作补丁和加强防御。他明确表示还不能宣布胜利。他也提到专家担心，新发现可能使当前威胁模型所依据的假设失效。
沙箱与智能体团队
Altman 将隔离、监控和对齐描述为不同层次。两人讨论多个智能体是否能提高韧性。
Collison 问，强大的模型能否被关在沙箱中。Altman 说，当前安全措施能够而且应该改进，但他质疑，面对一个假设中远超人类研究者的系统，是否可以无限期信任任何沙箱。这里讨论的是未来可能性，并非已经证明沙箱不可能的定理。
Altman 提出分层思路：对某些能力使用隔离，对更先进的系统使用监控，最终还需要对模型对齐有很高的信心。他也认为让智能体团队互相检查或制衡，在能力和安全方面都有潜力，同时承认这些想法还需要研究。
Collison 观察到，先进用户在数学和安全研究中使用智能体团队的程度，高于普通企业用户。Altman 从一个问题能够有效使用多少算力的角度解释这种差异。他认为，更好的推理和测试时计算，使更长时间的工作和并行团队变得更有用。
算力预算与研究
他们讨论昂贵的智能体实验、所报告的数学工作以及对研究群体的影响。
两人讨论算力预算。Altman 说，OpenAI 给员工较大的自主权，用于有价值的内部工作，但不会因消耗大量 token 而奖励员工。Collison 问，如果单个项目变得极其昂贵，这种方式如何持续；两人都认为分配问题尚未解决。
Altman 介绍了使用智能体团队处理数学问题的一段探索期。他提到一项 Navier–Stokes 证明，并估计其算力成本约为 1000 万美元，同时说后来的工作成本降低。访谈没有独立验证该数学说法，也没有证明它解决了某个特定的开放问题。
他认为，新方法最初应当在能力边界附近得到探索，随后再进行大幅优化。他预测，更好的模型和技术能够显著降低类似工作的成本。这些是预测和内部估算，不是已经测得的未来结果。
两人讨论 AI 辅助发现对社会的影响。Altman 说，基础知识应当分享，但研究人员也从发现中获得职业发展和满足感。他希望找到方式，让公众受益的同时尊重推动这些领域发展的群体。
Altman 回忆观看模型处理困难研究问题时的兴奋，也提到自己出乎意料地感到悲伤，因为熟悉的科学研究方式可能改变。Collison 将这种感受比作见证旧技术时代的结束；Altman 则强调这项工作对人的意义。
多元性与基础设施
Altman 倾向于多个相互作用的智能体，并介绍降低算力成本的愿望。两人分析供应限制。
回到安全话题，Altman 说，许多相互合作和竞争的智能体，可能保留他在多元社会中看到的一部分韧性。他倾向于拥有许多能力略强于人类的系统，而不是一个能力压倒一切的系统，同时说实现这种结果需要有意识的选择。
关于算力，Altman 预计短缺、过剩和狂热会交替出现，但他相信对能力强、价格可负担模型的需求会继续增长。他说 OpenAI 正在研究芯片和数据中心，并设想长期利用机器人帮助扩建基础设施。
Collison 质疑数据中心的主要瓶颈是否是劳动力，而不是许可和零部件。Altman 同意，设想中的机器人贡献是更长期的解决方案。两人随后讨论，为什么高昂的内存价格还没有带来预期中的大量新供应。
Altman 推测，内存制造商记得过去的繁荣与萧条，因此对投入资本可能比较谨慎。他还认为，从全球利用率的角度看，稀缺内存大量闲置在个人电脑里，可能不如共享云端容量高效。
AI 研究与企业支出
Altman 介绍实验中的 AI 辅助研究。Collison 询问企业应如何分配日益增长的算力预算。
谈到芯片设计，Altman 区分了专业制造和他认为 AI 可以协助的设计工作。他说 OpenAI 不仅将 AI 用于研究和软件工程，也越来越多地用于采购等任务。这些是公司对自身实践的描述。
被问到 AI 驱动的 AI 研究如何运作时，Altman 说当前系统可以帮助完成范围较窄的优化目标，但还没有人知道如何可靠地要求它产生类似 Transformer 的架构突破。他预计人们会继续试验模型和智能体团队。
Collison 回到企业算力预算。他说 Stripe 不对个人设置硬性用量上限，但预计 token 支出会占运营成本越来越大的比例。Altman 承认自己的商业立场可能带来偏见，并认为目前很多公司使用 AI 太少，未来最终需要更认真地优化支出。
算力成本与个人智能体
两人讨论基础设施经济和个人智能体可能采用的界面，同时承认存在不确定性。
两人转向每吉瓦算力成本。Altman 希望随着产能扩大，基础设施成本下降。他们以五年总成本 700 亿美元作为示例，并讨论假设中的 200 亿美元目标；这两个数字都没有作为经过验证的市场基准提出。
谈到个人智能体，Altman 说智能、上下文和工具都很重要，但他认为这一类别还没有迎来面向大众的突破。他预计成功产品会与当前助手相似，但足够可靠，能够处理更复杂的任务。
Collison 问，如果网站抵制代表用户操作电脑的智能体，会发生什么。Altman 说，消费者可能期待这种能力，但他对冲突最终如何发展没有很高的把握。两人的讨论区分了期望中的用户体验与已经确定的规则。
Collison 认为，企业持久的优势可能来自品牌、商品选择和履约能力，而不是具体的网页界面。Altman 表示赞同，同时承认自己作为平台方可能有偏见，并以自己对 Amazon 履约和退货服务的信任为例。
两人都认为，反复填写表单可能让人感觉是在做可以避免的工作，并设想智能体承担更多这类任务。Collison 将企业不愿交出客户界面的态度，与早期对移动应用商店的担忧作比较。这种转变是否会如他们预测般发生，仍然有待观察。
基准测试与计价单位
Altman 讨论模型质量的衡量方式，以及客户对容易理解的计价单位的需求。
被问到是否针对基准测试优化模型时，Altman 说他同时关心科学能力和模型是否让人愿意与之合作，而他认为现有测试都不能完美衡量这两点。他说 OpenAI 尽量不只为基准分数优化。
最后，Collison 质疑把 token 作为计价单位。Altman 说 OpenAI 曾考虑直接为每项任务报价，但客户希望有更一致、容易理解的衡量方式。两人讨论了透明单位、实际商业价值与估算模型用量所带来的认知负担之间的张力。
