思维可视化与开源 Windows 助手

一个开源 Windows 助手展示了如何通过自然语言控制应用，而 Microsoft Research 的一篇论文探讨了相关问题：语言模型能否更有效地进行空间推理？我会先讲解论文，再看看这个助手在桌面上操作的例子。这个助手 PyWinAssistant 是独立项目，并非我开头所说的 Microsoft 发布的项目。

空间推理是理解二维或三维空间中物体及其运动之间的关系。Yann LeCun 曾指出，这方面的局限会影响更通用人工智能的发展。这篇论文测试了一种特定的提示方法能否改善模型在空间问题上的表现；理解结果时要结合其研究任务的范围。

想象一下，你从北极点出发，朝一个方向走 50 码，然后左转并一直走下去。你会再次经过起点吗？这个例子的重点是，人们在脑中追踪空间中的位置和方向时，往往无需用语言描述每一次移动。

研究人员将他们的方法称为思维可视化，简称 VoT。他们以人类的“心灵之眼”作类比：人们把信息组合成脑中的表征，并用它指导决策。对于语言模型，实际做法是在推理时生成基于文本的状态表示，而不是只给出最终答案。这个类比并不能证明模型拥有类似人类的心理图像。

普通提示从输入直接走到输出；思维链提示则要求模型给出中间推理。VoT 在每一步推理之后加入可视化表示，将文字推理过程与不断变化的状态交替呈现。这样，后续步骤就有了一个明确的空间草稿板可供参考。

论文使用零样本指令，不依赖少样本示例或单独的文生图模型。研究人员评估了自然语言导航、视觉导航和视觉铺砖。对于两项视觉任务，他们用特殊字符表示合成的二维网格世界，让文本模型能以结构化的方式处理布局。

在导航示例中，房子代表起点，办公室代表终点，障碍标识无法通过的格子。简单地图可能只需向右走两步、向上走两步；更大的地图会让路线追踪变得困难。研究人员改变网格和障碍，让模型对多次移动进行推理。

论文将空间推理与导航、机器人和自动驾驶联系起来，但实验本身是在网格世界中进行的测试。在视觉导航任务中，模型必须向上、下、左或右移动，同时避开障碍。研究人员评估了完整路线规划和下一步预测；规划整条路线更难。

第二项视觉任务类似于在有限空间内放入俄罗斯方块。给定部分填充的网格和四格长条等形状，模型必须确定各个形状能放在哪里。每放入一个形状，可用空间就会改变，挑战在于持续追踪形状和空格之间的关系。

核心指令很简单：在每一步推理后将状态可视化。在导航过程中，模型可以记录每次移动、更新地图，再选择下一步。在铺砖任务中，它可以放入一个形状，表示更新后的网格，然后推理剩余形状的位置。

自然语言导航的方向则相反：模型收到网格描述和一系列步骤，然后要回答最终到达哪里或发现了什么。示例在连续步骤中标出当前位置，让推理过程显示位置如何变化，而不只是给出最终答案。

比较包含四种设置：采用普通思维链的 GPT-4、被提示不要可视化的 GPT-4、采用思维链的 GPT-4V，以及采用 VoT 的 GPT-4。在论文表格中，VoT 在每项报告指标上都领先。路线规划成功率方面，VoT 为 14.72%，不使用可视化的设置为 10.28%：相对提升约 43%，但绝对差距只有 4.44 个百分点，成功率仍然偏低。

在这项评估中，VoT 的下一步预测得分为 54.68%，视觉铺砖为 63.94%，自然语言导航为 59%。这些结果适用于论文所用的特定模型、提示和数据集，不能证明空间推理已经普遍解决。原始[研究论文](https://arxiv.org/html/2404.03622v1)指出，任务越复杂，性能越会下降。

作者还考察了模型是否在整个求解过程中追踪视觉状态。完整追踪意味着每一步都有可视化，部分追踪则意味着至少出现一次。在讨论的示例中，普通思维链有时即使没有明确的可视化指令也会产生追踪，而 VoT 更稳定地促成了这一行为。

这种方法也有局限：它依赖的能力在较弱的模型中可能不够强，较难的问题仍会导致性能下降。生成的可视化也可能出错。要求模型记录中间状态让过程更容易检查，但无法保证状态或答案正确。

独立的 [PyWinAssistant 项目](https://github.com/a-real-ai/pywinassistant)介绍了一个接受自然语言指令、操作界面元素的开源 Windows 助手。其代码库引用了这篇论文，并讨论了 VoT 风格的推理。演示展示的是计算机界面操作，并未展示物理机器人，也不能证明它能可靠控制所有应用。

第一个演示中，用户依次要求助手打开 Firefox、选择 YouTube、输入搜索词、选择结果并将播放静音。助手会报告选中的应用以及点击时选择的坐标。这是一连串可观察到的桌面交互，过程中各个目标由用户逐一给出。

第二个例子要求助手在 Twitter 发布一条问候帖。画面显示，助手在制定计划之前分析请求、重新表述目标并记录当前状态。它列出打开浏览器地址栏、访问网站和撰写帖文等步骤。

随后演示展示了定位地址栏、输入文字等操作，日志则报告助手正在做什么。查看生成的计划和各个步骤有助于理解所提出的工作流程，但单凭一次演示无法衡量界面变化时的可靠性，也无法证明每一项计划操作都成功了。

项目还列出其他示例，包括在新标签页打开歌曲和操作按钮。我认为把语言指令与明确的界面操作结合起来很有意思，也鼓励读者了解这个项目和研究论文。论文中的受控网格实验与桌面演示探讨了相关想法，但提供的是不同层次的证据。