ARC-AGI、智能体记忆与交互式世界：Forward Future 直播

Matthew Berman 与联合主持人 Nick Wentz 开启 2025 年 8 月 22 日的 Forward Future 直播，带来一系列 AI 新闻。嘉宾包括 ARC Prize Foundation 总裁 Greg Kamradt、Letta 联合创始人 Charles Packer 和 Skywork AI 多模态总监 Alan，他们将分别讨论基准测试、智能体记忆和交互式世界模型。

主持人首先讨论 DeepSeek V3.1，这个混合模型既提供思考模式，也提供非思考模式。Berman 说较慢的推理有助于处理难题，但他自己的大多数工作更看重速度，只偶尔使用 GPT-5 Pro。Wentz 通常也偏好快速模式，并询问观众额外思考在哪些场景有用。

Wentz 认为，除了混合推理，智能体技能的提升也是前沿模型的一大趋势。两位主持人都说，选择快速响应还是更审慎的回答取决于使用场景；观众也分享了自己的例子。

他们讨论了当时的一项比较：SWE-bench Verified 得分为 66%，API 每百万输入 token 为 0.56 美元、每百万输出 token 为 1.68 美元。所引数据及相对价格属于历史时点的模型厂商数据，取决于基准设置和定价条件。Wentz 说，如果实际使用中这些数字成立，低价模型会很有吸引力。

Berman 认为该模型性价比很有吸引力，包括其可下载的权重，但也指出需要最强编程表现的开发者可能会选择其他模型。接着，主持人讨论大量 Grok 对话出现在搜索结果中的报道。

他们担心分享功能在缺少足够明确警告的情况下暴露敏感对话。报道中的 Grok 问题涉及用户通过链接分享的聊天，而非所有私人聊天。Berman 将其与 ChatGPT 相比，但后者独立的搜索可发现性功能要求用户先选择分享，再主动选择加入；他关于自动加入的说法不能视为既定事实。

Wentz 说，他经常向 AI 助手透露个人细节，因为这些上下文能改善回答，这使用户对隐私的预期尤其重要。两位主持人希望明确提醒用户，分享的对话何时可能被索引。

随后他们讨论 Meta Superintelligence Labs 以及 Alexandr Wang 领导下的重组。他们提到有关研究领导层变动的报道，以及 Yann LeCun 对大语言模型单独实现人类水平 AI 的怀疑。两人关于内部摩擦的说法属于推测，并非已确立的内部关系描述。

Kamradt 介绍非营利组织 ARC Prize Foundation 的目标：推进公开可用的 AGI 研究。基金会通过竞赛、论文奖和 ARC-AGI 基准鼓励公开研究。他说，这种衡量智能的方式刻意体现了特定观点。

Kamradt 说基金会举办公开竞赛、颁发论文奖，以推动有用的研究。他强调，ARC 对智能的理解刻意采用特定定义，而不是行业普遍接受的定义。

他将这一观点追溯到 François Chollet 2019 年的研究：在此框架下，智能关乎高效习得新技能。一个系统可以非常擅长国际象棋或围棋，却未必能广泛适应陌生领域。基金会以人类作为通用智能的实践参照。

ARC-AGI-1 和 2 展示简单视觉变换的例子，再要求测试者应用学到的规则。ARC-AGI-3 将这一构想扩展到交互式游戏：智能体进入陌生环境，试验、发现规则并努力达成目标。

在交互版本中，测试者必须通过行动和反馈发现陌生环境的规则。Kamradt 将这一过程与利用大量领域数据学习某项狭窄技能进行对比。

Kamradt 说，基金会寻找人类能解决而当前系统难以解决的任务。他提出一个刻意设定高门槛的 AGI 行为定义：看人类是否仍能找到自己能做而 AI 不能做的任务。这是他的框架，并非普遍接受的定义，也不是单项基准能够裁定的结论。

展示 ARC-AGI-2 谜题时，Kamradt 指出示例中的彩色形状和线条。任务是推断颜色和方向如何决定输出，再填入新网格。模型以 JSON 接收数据，可以选择内部表示方式。

谜题分为学习和应用两部分。Kamradt 说，系统必须推断输入输出示例之间的关系，再在新网格上展示相同的转换。

Kamradt 说，每道题测试的是不同的小技能，而不是反复要求相同变换。ARC-AGI-2 包含 1,300 多项任务，测试中每项都有多个人类解决。他报告当时领先的 AI 得分约为 16%；这是基准的历史快照，而非永久排名。

Kamradt 说基金会招募了约 400 人，并回忆称平均每人解决了分配任务的约 70%，而各组共同解决了全部任务。他不确定每组的确切人数。这些是他对特定评测的回忆，并非每个人与每个模型在每项任务上的直接比较。

被问及前沿模型缺少什么时，Kamradt 提到持续学习、测试时适应和样本高效的泛化。他说上下文能提供新信息，但超出既有领域的任务仍然困难。他没有声称自己知道完整的架构答案。

尽管 ARC-AGI-2 尚未饱和，团队仍提前着手 ARC-AGI-3，因为开发基准需要时间。2025 年 8 月，Kamradt 预计会在 2026 年推出，但没有承诺日期。他说，找到人类能做而 AI 不能做的问题正变得越来越难。

Kamradt 说，创建和维护基准需要大量时间和资金。提前开始是为了跟上模型进步，而不是表示 ARC-AGI-2 已经解决。

新基准采用交互推理，而非单次静态问答。Kamradt 将其与终端和客服环境类比：智能体采取行动、查看反馈并调整。在 ARC 游戏中，测试者必须弄清规则并找到出口。

Berman 回忆说，团队去掉了游戏名称，以免提供提示。Kamradt 补充，英文名称会让英语使用者占优势，而目标是尽量减少针对任务的准备。人类和 AI 应获得相同的可用信息并接受相同标准。

去掉描述性游戏名称也能减少特定语言带来的优势。Kamradt 说，不会英语的人仍然可能具有通用智能，测试应避免把语言熟悉程度与学习能力混为一谈。

Kamradt 演示 LS20。画面显示可用动作，但玩家最初需要自己弄清哪个物体会移动、符号与出口有何关系，以及逐渐减少的紫色标记意味着什么。试验表明，行动能量有限，需要补充。

后续关卡增加了颜色变换，迫使玩家管理移动和能量。Berman 承认自己曾卡住；Kamradt 说，团队计划只纳入多名普通电脑用户无需事先说明就能解决的关卡。

随着演示继续，一个钥匙的颜色发生变化，玩家必须学会新变换，同时保留足够能量移动。Kamradt 说，公众测试将决定哪些游戏和关卡符合要求。

对智能体的具体指令当时仍待完善。Kamradt 预计会使用最基本的提示，解释目标和允许的动作，并向人类测试者提供相同信息。他希望比较尽可能公平。

交互式任务增加了效率这一维度。Kamradt 将行动次数与关卡进度绘图，提议把 AI 行动次数与人类基线比较。探索环境和执行解法的行动都计入，因此可以区分暴力试错达成目标与高效学习。

拟议图表以行动次数为横轴，关卡进度为纵轴。Kamradt 说红色曲线代表人类平均游戏过程，团队还计划进一步测试人类以建立基线。

Wentz 询问，优先考虑效率是否会让创造力吃亏。Kamradt 说创造力很重要，但这一基准专门针对狭窄领域内的高效泛化。要更全面地评估人或 AI 系统，需要一组评测。

基金会举办了一场为期 30 天的预览赛。屏幕展示的私有评测排行榜显示，Tufa Labs 的 StochasticGoose 完成 18 个关卡、得分 12.58%，使用了 255,964 次行动。Kamradt 提醒，评分方式仍在调整，并将行动次数与他粗略估计的人类次数比较；这些设置和总数不应误认为受控且普遍适用的比率。

展示的排行榜包含三个尚未发布的游戏组成的私有集合。冠军得分属于预览结果，Kamradt 说最终评分机制可能改变；进度和行动次数都是重要背景。

在回放中，获胜智能体尝试大量动作，并学习哪些动作会改变画面。Kamradt 认为这是令人印象深刻的能力演示，同时指出大量行动次数并非样本高效的智能。他说学习会跨关卡延续，但他认为不会跨游戏迁移。

Berman 询问，最终解决基准的是广泛扩展规模还是专门技术。Kamradt 认为通用方法会很重要，但希望获胜研究能揭示几项有用技术，供研究人员发表并应用于其他地方。他没有声称赢得基准的智能体会自动成为自主员工或 AGI。

Kamradt 希望未来强劲参赛作品背后的方法能够公开发表，让其他研究人员提取有用技术并用于其他领域，而不是把基准解法本身当作完整的通用系统。

轻松聊过 Kamradt 的举重后，主持人回到新闻。Berman 说，他愿意为可靠的语音助手付费，让自己开车时处理邮件、会议和预订。Wentz 说，现有对话语音功能很有用，但可靠地执行操作是更进一步的要求。

Steven Zhang 回应 Berman 的帖子，迅速制作了 Work From Car 演示。视频中，获得账户授权后的语音界面读取邮件、发送简短回复并查看日历。主持人喜欢这个快速原型，但 Wentz 说他还不会放心地用它处理个人信息。

Berman 说，与邮件和其他服务的连接让理想体验显得近在眼前，但信任和交互层仍需改进。令人信服的演示不能证明助手已足够可靠，可以在无人监督下管理敏感账户。

Wentz 讨论一位开发者偏好 Cursor 而非 Claude Code 的观点，以及编程智能体领域的更广泛竞争。当模型提供商推出竞争工具时，建立在前沿模型之上的编辑器需要在速度、上下文和集成方面形成自身优势。Berman 回忆自己曾基于 Twilio 创办公司，后来却发现自己与供应商竞争。

Wentz 认为，AI 编辑器不能只依赖供应商提供的同一个模型。他指出速度、集成和上下文可能成为差异化因素，同时承认开发者对界面也有不同偏好。

主持人讨论 ChatGPT 学习模式和闪卡。Wentz 认为这是一种促进采用和留存的策略：随着记忆和个性化增强，切换产品可能更困难。Berman 喜欢引导学生找到答案而非直接给出答案的做法，但将这种战略解读视为假设。

他们查看当时的 LM Arena 排行榜，显示 Gemini 2.5 Pro 与 GPT-5 接近。Berman 解释说，用户根据偏好在匿名回答间选择，这可能反映风格，也可能反映正确性。Wentz 认为偏好有参考价值，但同意排行和评测方法存在局限。

Berman 引述 Sébastien Bubeck 的报告，称 GPT-5 Pro 帮助处理了凸优化中的开放问题，并提到 OpenAI 关于改造 Yamanaka 因子变体的公告。他和 Wentz 对 AI 辅助研究的可能性感到兴奋，但节目中两人都没有独立验证数学结果。

主持人将 OpenAI 关于改造 Yamanaka 因子的公告作为 AI 辅助科学的另一例子。报道涉及蛋白质设计和实验室评估，并非已经证实的治愈方法或完成的临床疗法。

Berman 将未来的科学与数学辅助联系到可能的递归改进。这是一条设想中的路径，而非自主自我改进循环已经存在的证明。蛋白质研究由 OpenAI 与 Retro Biosciences 合作并经过实验测试；细胞重编程标志物改善本身不能证明出现了治疗人类衰老的方法。

Charles Packer 加入节目，解释 MemGPT 和 Letta。他说，基于工具的记忆是最初 MemGPT 构想的核心：模型可以在对话后决定创建或编辑保存的记忆。他将其与围绕语言模型构建操作系统的更广泛愿景联系起来。

Packer 说，问题在于如何构建一个系统，让强大模型能够长期保留经验并改进，而不是最终丢失上下文或偏离轨道。他设想的运行十年的智能体是研究目标，并非已经展示的能力。

Berman 询问这项工作的灵感，以及研究论文如何演变为一家公司。Packer 回忆说，不同背景的研究人员对 GPT-4 感到兴奋，并利用新推出的函数调用试验持久记忆。

他与 Berkeley 的合作者 Sarah Wooders 和 Kevin Lin 对 GPT-4 感到兴奋，试验通过工具调用接入记忆库。Packer 说，早期方法的效果出乎意料地好。Letta 源于寻找超越 MemGPT 的方法，以支持有意义的长期改进。

Packer 说，当时的编程智能体和简单的记忆编辑还不应被称为有意义的自我改进。他理想中的例子是一个在工程师整个职业生涯中陪伴其工作的编程助手，随着时间推移变得更有用；他认为这会很快到来，但那只是预测。

他将语言模型比作 CPU：强大的计算能力仍需要操作系统和层级结构，在有限的工作记忆中调入调出信息。检索增强生成是一个简单例子，但由人编写的检索算法决定什么进入上下文。

Packer 设想让模型通过工具自行管理更多上下文，在不同记忆层之间移动信息。更好的工具使用能力可能让这种编排更灵活，不过它能否可靠地产生长期学习，仍是开放的工程问题。

Berman 提出记忆锁定的风险：一家持有多年个人交互记录的公司可能让用户难以更换提供商。他询问用户是否需要开放的记忆标准，或者一个能被不同模型访问的独立记忆库。

Berman 询问，记忆能否独立于模型提供商存在，以便用户将其带到另一个系统。Packer 同意需要某种开放形式的记忆，并设想智能体能在更长时间内积累经验。

Packer 主张建立用户能够控制和转移的开放记忆。他预计用户会跨越多代模型积累有价值的个人上下文，担心更换服务时失去这些内容。他是在为可移植性辩护，并非证明所有提供商目前都禁止导出。

Packer 认为，将智能体状态与提供商分开保存对企业和消费者都重要：如果企业依赖的提供商后来消失，业务可能陷入困境。他预计，随着底层模型不断更替，积累的记忆会变得更有价值；这种长寿命智能体仍是一种愿景。

Packer 说，Letta 的核心技术和 REST API 采用 Apache 2.0 开源许可证，但免费网页试验界面并不开源。他称可移植、可本地保存的记忆是避免锁定的预期方式。

Packer 说 Letta 专注于长期运行的智能体，并以客户 Bilt 为例：该公司使用智能体根据交易数据建立用户画像，用于推荐。他描述每位客户拥有多个智能体、客户数达数百万；这一规模来自公司的说法，并非独立审计。

Berman 质疑“无限上下文窗口”这一说法。Packer 同意，计算机中没有什么是字面上无限的：底层模型的上下文有有限上限。Letta 的做法是结合滑动上下文、压缩和搜索已存对话历史的工具。

例如，即使模型支持更大窗口，系统也可以选择 30,000 token 的工作窗口。窗口填满时，Letta 会总结较早内容，同时保留部分近期上下文。Packer 说窗口内的摘要有信息损失，但智能体可以搜索外部数据库中保留的历史记录。

Packer 将搜索智能体已存历史比作搜索聊天应用中的消息。即便工具能检索较早记录，模型的即时上下文仍然有限；检索质量和存储数据是否可用仍然重要。

Berman 问，更大的模型上下文窗口是否仍有帮助。Packer 将其比作增加电脑内存：容量越大，应用的上限越高。他尤其预计图像和视频等多模态输入会消耗大量 token，而常规智能体工作流可能受益于有选择的上下文管理。

Packer 说，图像或视频数据消耗大量 token 时，更大的上下文窗口可能特别有用。对于一系列客服工单操作，他预计仔细选择和总结相关信息仍有价值。

Packer 说，假设存在完美、无损的压缩系统，较小的工作窗口可能有助于集中注意力或降低成本。这是理想化目标，并非对当前压缩技术的保证。较大的窗口也能减少智能体压缩历史记录的频率。

Berman 询问，当前模型架构能否在不更新内部学习内容的情况下达到 AGI。Packer 认为现有模型加上合适的外部架构可能产生自我改进的智能，同时承认这是困难的研究问题。他将权重调整和外部记忆视为互补选择，而非坚持单一机制。

Packer 认为，长期运行的智能体可能多次更换底层模型，因此外部记忆作为持久记录尤其有价值。它也可能定期利用这些记录微调模型。这是在讨论未来可能的架构，并非智能体已持续运行数十年的证据。

Packer 提出，即使智能体最终更换底层模型，存储的经验也可以为定期微调提供数据。他强调外部记忆，是因为更换模型时可能不必丢弃智能体积累的状态。

Packer 介绍睡眠时计算：智能体不必只在用户提问时才运算，还可以在空闲时处理此前的交互或准备有用的上下文。他设想系统能预判需求并在对话后整合记忆。更多计算对某些任务可能有帮助，但额外思考不能保证结果更好。

Berman 提出，后台工作可能将计算转移到较不繁忙的时段，并在用户返回时降低延迟。这些收益取决于基础设施、工作负载和成本。Packer 说 Letta 已有睡眠时智能体，在另一个智能体处理对话的同时异步更新共享记忆。

Berman 提出，可以将工作安排在非高峰时段，可能改善面向用户的延迟和成本。这是系统设计可能带来的收益，并不保证后台推理总是更便宜。

Packer 举了具体例子：对话智能体可以立即回应自我介绍，另一个进程同时记录姓名，而不让用户等待记忆工具调用。他说 Bilt 的推荐部署也使用睡眠时计算；这是公司对自身部署的介绍，而非独立性能评估。

后台进程可以创建 Packer 所说的“学习所得上下文”：一个经过多轮推理不断完善的记忆块。他认为长期个人上下文很有价值，用户应该能够下载和转移，而不是被锁定在单一提供商。Berman 表示赞同并感谢他。

Packer 认为，多年交互产生的记忆本身可能成为有价值的资产。因此，在他看来，用户应该能够在不同服务和不同代模型之间转移这些记忆。

Berman 回到新闻，提到马斯克认为 Grok 5 可能成为真正的 AGI。他提醒观众区分这一主张与宣传热度，并指出马斯克过去提出过雄心勃勃的时间表。未来产品名称或基准得分不能证明 AGI 已经实现。

Berman 说，“Grok 5”这个名称本身几乎不能说明模型最终的能力。他赞赏 xAI 构建模型的速度，同时提醒产品预测和时间表存在不确定性。

该帖子比较 Grok 4 和 GPT-5 在 Vending-Bench 上的表现，称前者净资产约为 4,600 美元、后者约为 3,500 美元，前者销量也更高。Berman 将其描述为真实自动售货机，但原版 Vending-Bench 模拟的是自动售货业务。这些历史模拟数据不应被说成现实商店收入。

Berman 展示 Figure Robotics 的人形机器人穿越不平坦碎片的画面。Figure 的 Corey Lynch 将全身控制器归因于从仿真到现实的强化学习。片段展示的是一次特定穿越演示，并非对各种条件下可靠性的全面评估。

Boston Dynamics 的 Atlas 片段展示机器人处理物品，同时有人改变周围环境。Berman 注意到演示中的应对能力，并表达对家用机器人的期待。精选演示不能证明通用家用部署已经准备就绪。

他还提到 Goodfire 关于检测模型后训练后罕见不良行为的研究。他没有在节目中逐步讲解技术方法。主题是寻找部署前可能遗漏的故障，而非声称所有此类故障都可以消除。

Skywork AI 多模态总监 Alan 加入节目讨论 Matrix-Game 2。Berman 将交互式生成环境与 Google 的 Genie 3 相比。Alan 说，团队也从事图像、多模态推理和生成媒体工作，目标是将研究与产品连接起来。

Alan 将自己描述为专注多模态、生成音乐和空间智能的研究人员。他说 Skywork 的项目包括图像理解与生成模型，以及多模态推理模型。

Alan 认为世界模型近期的发展部分归功于更多算力和更好的视频生成基础模型。为这些模型加入行动控制可以实现交互体验。这是他对研究趋势的解释，而非唯一已确立的原因。

被问及这些系统是否已经算游戏时，Alan 说目前通过键盘和鼠标移动仍然相当乏味。他认为用户与非玩家角色之间有可能出现更有趣的互动，但称目前仍处于早期概念阶段。Berman 询问未来一年可能实现什么，并谨慎看待马斯克关于游戏开发的时间预测。

Berman 询问有关完全由 AI 生成 AAA 游戏的预测。Alan 认为更简单的类游戏体验可能先出现，同时强调现有交互视频模型在记忆和控制方面有重大限制。

Alan 推测，简单的开放世界或第一人称体验可能很快可以游玩，但指出记忆和实时生成存在重大限制。他说当前模型可保留数百或数千帧，相当于几分钟，而非持久世界。这是技术限制，不是对商业游戏的承诺。

他解释，自回归扩散系统根据先前帧生成新帧。更长的缓存可以延长历史，而跨时间检索可能是找回早期画面、在用户回到重叠区域时保持一致性的研究方向。

关于算力，Alan 说 Matrix-Game 2 有 18 亿参数，可以在单张 H100 上运行，但帧率和分辨率需要权衡。项目文档还列出经过测试的 A100、H100 配置及 GPU 显存要求；硬件需求和性能取决于配置。

Alan 确认项目发布了模型权重，并称开放是 Skywork 方法的一部分。他说，分享研究组件可以降低门槛、获得社区反馈，同时公司在此基础上开发产品。Berman 欢迎能够独立检查和运行模型。

Alan 说，发布组件和权重可以帮助研究人员在现有工作上继续开发，并获得多样化反馈。他称，基于共享研究开发产品是公司商业策略的一部分。

展望未来，Alan 希望模型更大、分辨率和帧率更高、控制更精确。他还设想多个用户，以及与其他玩家或非玩家角色的语音互动。这些是研究方向，并非采访中已演示完成的功能。

作为语音互动的例子，Alan 设想一人要求建造小屋，另一人在附近种树。Berman 询问多位玩家如何处于同一个生成世界中。Alan 说，即使他们共享核心模型，视野重叠时保持一致性仍是挑战。

Alan 说，一种可能的多人架构可以共享核心模型，但重叠视野必须保持一致。他承认存在技术障碍，并没有展示完成的多人实现。

Berman 进一步追问持久性：玩家离开后第二天回来，可能希望此前的改变仍然存在。澄清问题后，Alan 建议将保存的历史帧作为记忆，用于影响后续生成。他将其作为待探索的方法，而非已证明能够维持持久共享世界的解决方案。

对于 Skywork，Alan 将 Matrix-Game 定位为更广泛交互式 AI 战略的一部分。他以消防员训练为未来可能的模拟应用，并说团队正在研究推理成本、更长序列和一致性。扩展到数百万用户仍是早期目标。

Alan 认为，降低推理成本并延长一致的生成序列，是打造可扩展玩家驱动体验的前提。消防员训练是拟议的模拟用途，并非已经落地的部署。

Alan 介绍了 Skywork 用于文档、幻灯片和网站的生产力套件，以及音乐和视频创作产品。他说共同目标是降低创作门槛。Berman 指出，Matrix-Game 2 的权重和代码可在 Hugging Face 和 GitHub 获取，随后感谢 Alan 和其他嘉宾。

Berman 最后感谢嘉宾和观众，并提到 Forward Future 新闻简报。直播中的历史产品说法与预测反映的是 2025 年 8 月 22 日的讨论；技术演示和拟议的未来能力都应放在这一背景下理解。