Voyager：GPT-4 智能体如何学习 Minecraft 技能

2023 年的 Voyager 论文探索了由 GPT-4 驱动的智能体如何在 Minecraft 中执行任务、收集资源并建立技能。研究人员来自 NVIDIA、Caltech、UT Austin、Stanford 和 ASU 等机构。我将介绍这个系统、实验比较以及尚存的局限。

Voyager 结合了自动课程、不断增长的可执行技能库和迭代提示。运行期间，智能体可以自行提出并执行任务，无需人类选择每个下一步，但环境、提示、API 和系统设计均由研究人员提供。它将 GPT-4 当作黑盒查询，而不会更新模型权重。

我提到此前 MineDojo 项目收集的 Minecraft 视频、维基页面和 Reddit 讨论，以此说明游戏领域可获得的知识。这些数据集的数量并不能证明 GPT-4 使用了该特定集合训练。Voyager 利用预训练模型知识，论文还描述了它为某些问题使用基于维基的上下文。

自动课程利用智能体当前状态和探索进度提出任务，让挑战既多样又不至于超出当前资源所能完成的范围。提示中包含物品栏、装备、附近实体、生命值、饥饿度、位置，以及此前完成或失败的任务。GPT-3.5 帮助生成问题，再由维基知识库回答以补充上下文。

技能库将成功行为保存为可执行程序。技能描述被转为嵌入以便检索，智能体遇到相关任务时可以复用对应代码。通过组合先前保存的程序，Voyager 能构建更复杂的行为，而不必每次都从头开始。

第三个组成部分是迭代提示循环。GPT-4 生成代码以调用游戏控制 API；系统执行代码后，返回环境反馈、程序错误以及由另一次 GPT-4 调用给出的自我验证判断。验证器可以判定任务失败并提出批评，但基于模型的验证并非不会出错。

一次失败可能显示智能体缺少制作配方所需的材料，从而促使它调整计划去收集材料。论文允许系统对一个任务最多进行四轮代码生成；如果仍然卡住，自动课程可以提出另一个任务。这个过程改进的是程序和保存的技能库，而非 GPT-4 参数。

研究人员将 Voyager 与为 Minecraft 环境适配的 ReAct、Reflexion 和 AutoGPT 进行比较。这些基线经过重新设计以适应环境，因此结果仅涉及特定实现和实验设置，而不代表这些方法的所有可能版本。

在报告的试验中，Voyager 移动的距离是所比较基线的 2.3 倍，并在 160 次提示迭代内发现了 63 种不同物品，约为对照方法的 3.3 倍。地图显示，在所展示的运行中，基线智能体停留在更接近起点的区域。

论文报告，Voyager 达到木制、石制和铁制工具里程碑所需的提示迭代次数分别快 15.3 倍、8.5 倍和 6.4 倍；这不一定代表实际耗时快相同比例。在测试方法中，只有 Voyager 达到了钻石级别。科技树表格报告了三次运行，因此这些比例仅适用于该评估。

作者还在新初始化的世界中清空智能体物品栏，评估它向未见任务的迁移能力：保存的技能库帮助 Voyager 解决了测试任务。这是该实验中迁移能力的证据，并不能证明它在其他游戏或任意任务上都具备通用能力。

局限同样重要。当时 GPT-4 API 调用成本较高，智能体仍可能卡住或无法生成正确技能。自我验证器也可能出错，因此自动判定通过并不等于成功得到保证。

虚构任务和代码也是问题：自动课程可能要求制作不存在的铜剑或铜胸甲，生成的程序也可能调用不可用的函数。作者公开了代码和提示，但运行该研究系统需要相应依赖和模型访问权限。我对游戏中自主角色的可能性感到兴奋，但这是一项研究演示，而不是完成的游戏功能。