NVIDIA GEAR 研究、Gemini 1.5 与高速 AI 推理

NVIDIA 研究员 Jim Fan 正在共同创立一个专注于通用具身智能体的团队，我很期待 AI 能够在虚拟和物理环境中行动的可能性。这是一项研究愿景，并非 NVIDIA 已经实现 AGI 的证明。我还会介绍 Andrej Karpathy 离开 OpenAI、Gemini 1.5、ScreenAI 以及 Groq 的高速推理。

Fan 表示，他与 Yuke Zhu 教授正在 NVIDIA 组建 Generalist Embodied Agent Research，简称 GEAR。他们提出的目标是打造一个能在多个世界学习有用技能的基础智能体。该团队关于能力广泛的机器人和模拟智能体的愿景仍然只是目标，并不能证明某个系统现在已经可以在所有环境中运行。

早期项目让我们得以一窥这一研究方向。Voyager 使用大语言模型探索 Minecraft 并建立技能库；它是 Minecraft 研究智能体，不是能在所有游戏中无限运行的通用智能体。模拟环境可以产生训练经验，但将技能迁移到实体机器人仍是另一项挑战。

Fan 强调了 Eureka：它使用 GPT-4 帮助设计强化学习的奖励函数，并在加速模拟中测试灵巧操作任务。视频提到了五指机器人转笔的例子。模拟可以加快实验，但这个结果不能证明机器人在任意真实世界任务中都能可靠运行。

MineDojo 为智能体研究提供 Minecraft 环境和来自互联网的材料。VIMA 研究用于机器人操作的多模态提示：指令可以结合文本和视觉示例来指定任务。示例中，研究人员先把虚构的物体名称与图像关联，再要求机器人重新摆放物体。

Fan 还介绍了结合人类玩耍和机器人远程操作数据的 MimicPlay，以及在模拟中生成额外示范的 MimicGen。远程操作是指由人控制机器人，产生可供策略学习的示例。泛化程度和迁移是否成功，需要针对每个设置分别评估。

合成数据可能有助于扩充稀缺的机器人示范，不过我也想知道未来架构能否像人类似乎经常做到的那样，用更少的数据更高效地学习。仅靠合成数据是否足以实现 AGI，以及 transformer 是否是正确架构，都是尚未解决的研究问题；这些例子不能给出定论。

Fan 列出的项目还包括 Prismer，一个结合预训练视觉专家的多模态模型。这些项目共同解释了我为什么关注新的 GEAR 团队，但它们是评估方式各不相同的独立研究系统，并非一个已经完成的基础智能体。

Andrej Karpathy 表示，他在 OpenAI 工作约一年后离开，并称离职并非由特定事件或争议导致。他说自己将从事个人项目。我希望他继续开展教育工作，因为他能以非常易懂的方式解释困难的 AI 主题，但我并不知道他的具体计划。

Karpathy 还提到了 Nicholas Carlini 的编程基准：该套件从真实的大语言模型对话中提取了近 100 项测试，并提供可扩展的评估框架。任务包括转换代码、解释压缩后的 JavaScript、识别编码以及编写解析器。我在考虑将更结构化的编程评估加入自己的非正式提示测试。

画面显示的结果中，GPT-4 通过了约 100 项测试中的 49%；Claude 2.1 为 31%，GPT-3.5 为 30%。这些数字只描述当时特定测试套件和模型的表现，并非所有编程工作的总体排名。基准中的示例和评分方式决定了这些分数的含义。

Google 推出了有限预览版 Gemini 1.5 Pro，提供一百万 token 的上下文窗口。我很想给它一个大型代码库或长文档，再提出针对性问题。长上下文并非无限上下文，能够把信息放进提示词，也不保证模型会可靠地利用其中每一部分。

“大海捞针”测试将某个特定事实插入长输入，再检查模型能否在不同位置找回它。此前关于“迷失在中间”效应的研究发现，检索表现可能随信息位置变化。一次成功的检索测试衡量的是这种查找能力，并不能证明模型能完美推理所有长输入。

Google 的 ScreenAI 研究针对界面和信息图理解。论文介绍了一种视觉语言模型，它标注界面元素的类型和位置，再利用这些描述生成问答、导航和摘要训练示例。识别一个元素本身不能证明系统可以可靠地自主控制计算机。

拟议的数据流水线先标注截图，再使用语言模型生成任务，并可选择由模型或人工验证。论文展示的数据量包括数亿个标注示例和数百万个其他生成任务。我认为这可能是更自然的计算机交互方式的一块基石，但鼠标和键盘会被取代仍然只是我的预测。

Phind 推出了基于 Code Llama 的 70B 编程模型，并在自己的评估中报告 HumanEval 得分为 82.3%，对比某个 GPT-4 Turbo 版本的 81.1%。其 CRUXEval 比较结果低于报告的 GPT-4 得分。这些是厂商在特定条件下报告的基准结果；Berman 录制视频时，70B 权重尚未发布。

Stability AI 宣布采用扩散 Transformer 架构的 Stable Diffusion 3，并开放候补名单。该公司声称模型在多主体提示、图像质量和拼写方面有所改进；本视频没有独立测试这些说法。我还提到自己对未来开放视频工作的未经证实的印象，并未将其当作正式公告。

NVIDIA 的 Chat with RTX 演示旨在让用户使用检索增强生成和 RTX 加速，查询自己的文档及其他本地内容。我没有在这期视频中测试它。本地运行可能很有用，但质量和速度取决于硬件、配置以及被检索的材料。

回到 Gemini，Google 在预览中向部分开发者提供百万 token 上下文，并表示已经在内部测试更长的上下文。Jeff Dean 报告称，画面所示、最长达 1000 万 token 的大海捞针检索测试召回率超过 99.7%。这是那些检索测试的结果，并非任意问题的 99.7% 准确率，也不能证明上下文无限。

Google 的一段演示向模型提供了超过 80 万 token 的 three.js 示例代码。旁白要求它找到动画示例并解释特定场景的控制方式。演示报告每次回答约需一分钟，并提醒随着实验功能优化，延迟可能有所变化。

随后 Google 旁白要求 Gemini 添加一个控制动画速度的滑块。生成代码实现了画面展示的修改，但旁白指出回答引用了一个该示例中并不存在的初始化函数。这个例子说明，即使结果有用，生成的代码仍需要检查。

在另一个例子中，旁白给模型一张截图，要求它在提供的代码中找到对应示例。模型识别了一个示例，并建议如何让地形变得更平坦。它还给出了材质属性的修改方式，使一个三维文字场景看起来更具金属质感。

Google 还展示了视频分析示例：以每秒一帧的频率采样 Buster Keaton 的 45 分钟无声电影《Sherlock Jr.》，约为 68.4 万 token。模型被要求识别一张纸及其在影片中出现的时间。经过挑选的示例展示了一种可能的长视频工作流，不能证明模型能可靠理解每一帧或每个事件。

我展示了另一个比较直接音频输入与“转录加模型”流水线的说法，觉得很有意思。图表对应的是一项特定的报告测试，不能证明某个系统在所有音频任务中都会胜出。我计划亲自测试 Gemini，而不是把选定示例当作全面评估。

最后，我尝试 Groq 的推理服务；它不同于名称相近的 Grok 模型。高 token 吞吐量可能对智能体工作流有用，因为系统之间交换文字的速度可以超过人的阅读速度。速度本身不能衡量输出质量、端到端延迟或可靠性。

使用 Mixtral 时，我要求写一个一万词的故事。服务在这次运行中显示大约每秒 500 个 token，但即使我重复要求，模型仍给出了较短的故事。第二次使用 Llama 2 70B 的测试速度较慢，但我仍觉得很快。这些只是简短演示，并非受控的性能比较。