GameNGen 模拟 Doom：AI 编程、安全与推理新闻加速涌现

这期 2024 年 8 月的新闻回顾从神经模型模拟 Doom 开始，随后涉及编程工具、机器人、计算机视觉、AI 监管、产品公告和推理硬件。这里按照当时的情况讨论这些进展和预测。

Google Research、特拉维夫大学和 Google DeepMind 的研究人员推出 GameNGen：这个模型响应玩家操作，生成类似 Doom 的交互游戏画面。研究人员在[论文](https://arxiv.org/abs/2408.14837)中报告，其配置在单个 TPU 上达到每秒超过 20 帧。

生成的画面包含武器、生命值和环境等游戏元素。我注意到敌人消失，以及界面数字不一致地变化。这些瑕疵表明模拟并不完美；它没有证明游戏逻辑在所有情况下都可靠正确。

原版 Doom 采用传统编程方式开发，研究人员用现有游戏生成的游戏过程数据训练模型。神经模拟在推理时生成画面，而不是运行原版游戏引擎；它并非在没有软件或先前游戏数据的情况下创建。

我想象未来的游戏和电影能够为单个人量身定制，根据描述创造世界。这是我的预测，并非这次演示已经证实的能力。该模型模拟了一个经过训练的游戏，不能证明它能构建任意要求的世界或保持任意程度的长期一致性。

Elon Musk 回应称 Tesla 能用真实世界视频做类似的事情。我猜测这涉及车辆数据和世界模拟器，但这一简短发言不能确定系统的设计或能力。

Cursor 是一款面向 AI 的代码编辑器，用户可以要求生成代码、用自然语言编辑并迭代。我预计这类工具会让更多人能够创建软件；我进一步预测开发者最终不再需要，这只是推测，并非受控研究的发现。

风险投资公司 Andreessen Horowitz 宣布参与 Cursor 的 A 轮融资。其投资文章称主流模型在基础编程任务上的准确率超过 90%，但这一数字取决于基准和条件，不应应用于所有软件工程工作。

维护、调试和理解现有系统仍然困难。更大的上下文窗口、检索和代码库映射方法可能帮助助手找到相关代码，但用户仍需评估变更并理解其后果。

Cursor 基于开源 VS Code 代码库，强调预测编辑、自然语言修改和代码库聊天等功能。我认为开发者与模型之间的界面越来越重要，而“任何人都能构建任何东西”的说法体现的是我的热情，并非保证。

Boston Dynamics 展示电动 Atlas 机器人俯身、做俯卧撑并站起来。这段短视频展示了这些动作，并非对家庭自主能力的普遍证明；我希望人形机器人进入家庭，是对未来的期待。

Reflect Orbital 提议通过轨道反射器重新引导阳光。展示的视频附有其为模拟画面的提示；它不能证明轨道服务正在运行。公司的想法很有趣，但实际效果和经济性仍有待证明。

我设想利用反射光在日落后帮助太阳能发电场，同时也提出潜在滥用的可能。太阳能板可以全天满效率运行的说法是假设，并非已演示的结果：几何位置、卫星经过时间、天气和系统损耗都会产生影响。

Meta 的 Sapiens 研究提出以人为中心的视觉任务模型，包括二维姿态、身体部位分割、深度和表面法线。研究人员表示，他们用超过 3 亿张人体图像进行预训练，并将模型适配这些任务；示例不能证明它在所有真实环境中都表现可靠。

OpenAI 前员工发表了一封[信](https://static.politico.com/ed/a3/b49946554f5ead081a5df2063048/letter-from-openai-whistleblowers-on-sb-1047-2024-08-22-2.pdf)，支持加州 SB 1047 和举报人保护。他们认为先进系统可能带来严重风险，并批评 OpenAI 反对该法案。

信中指控，限制批评以及在印度过早部署 GPT-4 与公司宣称的谨慎做法相矛盾。这些是作者的指控，并非视频独立证实的调查结果。前员工还将有关事件和安全人员离职列为担忧的原因。

我担心呼吁安全监管与反对这项特定加州法案之间存在落差，尽管我自己也不一定赞同该法案。OpenAI 对某项政策的反对不应被视为其反对所有监管的证据。州长 Gavin Newsom 后来于 2024 年 9 月 29 日[否决了 SB 1047](https://www.gov.ca.gov/wp-content/uploads/2024/09/SB-1047-Veto-Message.pdf)。

Microsoft 的 Recall 原本计划在符合条件的 Copilot+ PC 上保存屏幕快照，让用户搜索自己的活动。在隐私和安全问题引发反对后，Microsoft 推迟预览，并表示用户需要主动选择启用；视频讨论的是当时的 10 月目标，并非已经完成发布。

我期待在本地搜索自己的活动记录，但研究人员对敏感信息及已存数据访问的担忧同样重要。Microsoft 介绍了包括自愿启用和额外保护在内的安全调整；加密不能消除所有隐私或安全风险。Windows Insider 预览最终于 2024 年 11 月开始。

Salesforce 宣布面向销售流程的 Einstein SDR 和 Sales Coach 智能体。演示配置智能体规则并分配销售线索，随后展示它发送和回复消息。演示说明的是预期行为，并非所有客户都能取得的经验证结果。

我曾管理销售团队，因此能理解组织为何希望自动化重复的外联工作。但作为收件人，我担心更多自动生成的陌生邮件会增加噪音，让人更不愿意回复。

一位观众指出 Chatbot Arena 上的实验性模型，Google 则宣布了三个实验性 Gemini 变体：更小的 1.5 Flash-8B、更强的 1.5 Pro 和改进的 1.5 Flash。我的测试结果没有排行榜高名次所暗示的那么令人印象深刻；一道谜题或一个排名都不能衡量全部能力。

Musk 发布了一段 Tesla 正在奥斯汀建设 Cortex AI 训练集群的视频。我猜测它可能支持自动驾驶或其他 AI 工作，但视频本身不能确定具体训练的模型或其能耗。

我再次讨论关于 OpenAI 代号 Strawberry 和 Orion 项目的报道，包括某个模型曾向联邦政府展示、并可能为后续模型生成合成数据的说法。这些是当时关于未公开项目的报道，不是 GPT-5 训练过程的确证，也没有证实这些代号之间的关系。

当人类创建的高质量数据有限时，合成数据是生成额外训练样本的一种可能方法。它能否提升模型取决于数据、流程和评估；相关项目的报道不能证明某个前沿模型主要使用合成材料训练。

我倾向于让模型和代码更加开放，并质疑 OpenAI 对私下开发和政府合作的做法。这是我的政策偏好；社交媒体账号对一个代号的预测不能独立证实所报道的项目。

Cerebras 推出使用自家芯片的推理服务。其 2024 年公告称，Llama 3.1 70B 可达到约每秒 450 个词元、采用 16 位精度，价格为每百万词元 0.60 美元；更小的 8B 模型吞吐量更高。与 GPU 的速度和价格比较属于厂商针对特定配置的说法，历史价格也可能变化。

我邀请观众思考这些进展，从生成式游戏模拟到企业工具和高速推理，并结束本期回顾。