测试一个能够操作电脑的 AI 智能体

摘要

30 秒看懂

Matthew Berman 演示了一个早期电脑操作项目。它使用 GPT-4 Vision 理解屏幕截图，并操作图形界面。安装项目并授予 macOS 权限后，他让它打开 Sublime Text 并找到自己的 YouTube 频道。有限的演示让他既印象深刻，也对赋予智能体电脑访问权限感到担忧。

全文

对照原始文稿

Berman 预览智能体移动光标并找到自己频道的过程。他解释了该电脑操作项目如何读取屏幕并执行操作。

我要把电脑的控制权交给人工智能，看看会发生什么。预览中，它打开 Chrome、移动鼠标并导航至我的 YouTube 频道，而我的手离开了键盘。它有点慢，我还担心它可能展示我不想公开的内容。

这个项目叫 Self-Operating Computer，来自 OthersideAI。它使用 GPT-4 Vision 读取屏幕上的内容，然后通过人们使用的同类输入方式操作电脑：鼠标点击和键盘输入。你只需给它一个简单提示，它就会通过界面执行操作。

他设置仓库、Python 环境和 API 密钥，随后授予 macOS 屏幕录制和辅助功能权限。

为了试用项目在 2023 年时的版本，我克隆其仓库、进入文件夹，并创建一个使用 Python 3.11 的 conda 环境。我激活环境，找到其中的 Python 可执行文件，再用它安装依赖和项目本身。

接下来，我重命名示例环境文件并设置 OpenAI API 密钥。我表示会在发布视频前撤销视频中显示的密钥。由于预期的权限提示没有出现，我手动将终端加入 macOS 的屏幕录制和辅助功能权限列表，然后重启终端。

这有一点危险，但我觉得很有趣，想测试一下，让大家自行判断。回到项目目录后，我重新激活环境并运行 operate 命令。程序询问我要做什么时，我让它打开 Sublime Text。

Berman 要求智能体打开 Sublime Text 并找到他的 YouTube 频道。它的控制能力让他印象深刻，也令他感到不安。

我听到它截取屏幕的声音，起初看不出是否有任何动静。随后我看到 macOS 搜索打开，应用启动，鼠标也自行移动。即使知道是我启动了程序，看着光标自己移动仍然感觉很奇怪。

接下来，我让它在 YouTube 上搜索 Matthew Berman 的频道。它再次截图、打开 Chrome 并将光标移到地址栏。起步有些慢，但随后它输入搜索内容并点击了我的频道。我担心它可能展示出私人内容。

我暂停了自动播放的视频，但智能体还在尝试操作，我能感觉到鼠标被它拉走，所以我结束了运行。我想知道有一天是否能在早晨输入一个提示，让它替我完成所有工作。这只是推测：这次演示只展示了少数导航任务，并不能说明它能可靠地自主完成一整天的工作。