Microsoft Research 如何使用 ChatGPT 指导机器人和无人机

摘要

30 秒看懂

Matthew Berman 介绍 Microsoft Research 利用 ChatGPT 为无人机和机械臂生成代码的早期实验。这些例子展示了自然语言任务请求和人工反馈，但依赖预先定义的机器人接口与仔细审核，不能视为不受限制的自主控制。

1从语言到机器人代码Microsoft 的研究通过提示词、预设 API 和人工反馈，将语言模型用于机器人任务。
2人负责监督Berman 将这种方法描述为人不必编写每次迭代，而是监督和改进输出；人仍要审核生成的代码。
3无人机任务例子包括用镜子自拍、扫描货架以及绕开障碍物。
4机械臂与模拟涡轮机演示还包括模拟检查，以及用积木拼出 Microsoft 标志。

要点建议

研究人员向 ChatGPT 提供任务描述和高级机器人函数库。
人在部署前审核生成的代码，并可通过反馈改进其质量和安全性。
演示包括寻找饮料、检查物体、避障和摆放积木。
风力涡轮机检查是在仿真环境中进行的，研究人员提醒不要未经仔细分析就部署生成代码。

主题Robotics Human-AI Collaboration 智能体 Prompting & in-context learning

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

机器人的自然语言接口

Berman 介绍 Microsoft Research 在 2023 年的研究，并与手写机器人任务代码作比较。他设想家庭机器人能够接收普通语言请求。

如果能通过说话控制机器人会怎样？Microsoft Research 发布了一项研究，探讨如何用 ChatGPT 帮助普通语言控制机器人。能响应“整理我的床”这类请求的家庭助手似乎更近了一步，尽管研究演示的范围比这一未来场景窄得多。

如今，控制机械臂或复杂机器人通常需要编写代码或详细指令，这一过程需要专门的技术技能。软件开发也有类似门槛，而 GitHub Copilot 和 ChatGPT 等工具可以根据语言描述生成代码。我认为机器人技术是这一思路的自然延伸。

研究方法与人工审核

团队利用任务提示词和预先定义的高级 API 生成机器人代码。部署前由人检查并改进代码。

Microsoft 团队介绍了将 ChatGPT 接入机器人所用的方法和遇到的挑战。一个例子让无人机寻找饮料，随后又要求它找到含糖且带红色标志的饮料。研究系统使用了已有的感知和机器人函数；这一演示并不意味着单靠语言模型就能控制任意机器人。

这个思路是让人处于监督环节：人不必手写每一次迭代，而是监督结果并用语言提供反馈。我预计这可以加快迭代，也可能让技术背景较少的人管理这一过程。不过，人仍然负责判断输出。

首先，研究人员定义高级机器人 API，也就是特定机器人可以执行的动作，例如移动无人机。然后，他们向 ChatGPT 提供任务及可用函数。模型生成代码后，人会在部署前检查准确性、质量和安全性。Microsoft 还建议使用仿真并仔细分析，而不是直接部署生成的输出。

无人机示例

视频展示了自拍、货架检查、兰花检查和避障算法。某些任务需要额外的人工反馈。

幻灯片 2 / 3自拍提示词与生成代码画面上的请求明确要求使用反光表面，代码使用了镜子对象。

另一个例子让无人机利用反光表面自拍。我把请求描述为单纯的“自拍”，但屏幕上的提示词明确提到了反光表面。生成的代码使用了镜子对象。另一项请求让无人机以割草机式路线检查货架：来回移动，同时逐渐升高。

另一条指令要求无人机检查兰花、绕其飞行半圈，并避开椅子。团队还要求 ChatGPT 利用前向距离传感器编写一个到达目标并避障的算法。模型写出了大部分算法，但人仍需通过进一步对话指出遗漏，包括无人机的朝向问题。

仿真与机械臂

涡轮机检查在仿真环境中进行，机械臂则摆放积木。最后 Berman 展望更强的语言控制机器人。

幻灯片 3 / 3模拟风力涡轮机检查视频展示的是仿真检查场景，并非在真实涡轮机旁飞行。

Microsoft 还展示了一架无人机在仿真中检查风力涡轮机，以及机械臂用彩色积木拼出 Microsoft 标志。我说模型需要别人描述标志；Microsoft 则表示模型先回忆并画出了标志，再组合机器人动作。这些是研究演示，不能证明机器人可以安全地完成任意家庭任务。我很期待未来有更多机器人能够理解自然语言指令。