Shane Legg：如何测量机器智能

在 2010 年奇点峰会上，Shane Legg 首先展示超级计算机计算速度的历史增长。对数图让指数增长显得平常，但他认为其规模令人震惊。

Legg 提到当时对未来 15 年约每秒 10²⁰ 次计算的预测，并以全球海滩沙粒和人类大脑神经元总数作类比。这些类比用于说明数量级，并不意味着一次计算等同于一个神经元。

计算速度本身无法回答他关心的问题。机器可以更快处理表格或更擅长某个游戏，但他想画出的是通用智能是否真正提升的曲线。

要测量智能，首先要定义它。Legg 借用 Russell 和 Norvig 人工智能教材中的区分：目标是模仿人类表现，还是追求理性或最优等理想标准？

第二个区分是内部属性与外在行为：一种理论可能关心思想、情绪、意识或生物基底，也可能主要关心系统的行为。两个维度构成四个大致的象限。

Legg 将图灵测试放在类人行为象限，把 Marcus Hutter 的 AIXI 视作理想行为方法的代表；John Searle 的中文房间论证则质疑外在表现能否证明内部理解。

他认为这些象限提出的是不同问题，而不只是互相竞争的答案。希望机器解决问题的人可能重视结果，而考虑意识上传的人可能更在意意识。他选择研究理想化行为，同时承认其他问题也有价值。

Legg 收集了近 80 个智能定义，发现其中有反复出现的共同主题：智能系统能在多种环境中成功行动，适应不确定性，并追求某种目标。通用性很重要，系统不能只会一种任务。

他将共同思想概括为：智能体与环境互动，在广泛的环境中达成目标。强化学习提供了表达智能体、互动和表现的数学工具。

形式化的总体分数仍需解决一个问题：如何为可能无限多的环境分配权重？Legg 用数列说明，多种规则都可能符合已知数字，但智力测试通常偏好更简单的延续方式。

他以奥卡姆剃刀作为启发式原则：更简单的解释通常更受青睐，但也可能是错的。在他的形式化定义中，算法复杂度更高的环境获得较低权重。

最终公式结合了智能体、环境、成功程度，以及按复杂度加权的一系列可计算环境。Legg 用概率方式描述智能体，并通过互动衡量其预期表现。

Legg 认为定义的价值之一在于明确：研究者可以质疑定义，也可以分析其后果。它把非正式定义中反复出现的要素连接到数学量，并在理论上区分简单学习智能体。

范围的另一端是 Hutter 的 AIXI：一种需要无限计算资源的理想化模型。Legg 称这一指标连接简单智能体与理论理想，但数学性质并不意味着该理想可以直接在实践中实现。

连续分数不同于简单的通过或失败：它可以显示算法修改后是否稍有进步。Legg 也重视这种定义不必依赖人类评委判断行为是否像人。

理论指标包含不可计算的部分，因此实际测试必须近似。Legg 表示他与合作者 Joel Veness 实现了一种方法，并强调结果非常初步。

第一项基本检验比较随机智能体、简单的频率学习器，以及包括 Q 学习变体在内的较复杂强化学习算法。实验分数给出的排序符合研究者预期，但他表示测试仍会继续改进。

第二项实验测试 Monte Carlo AIXI，这是一种通过采样可能模型实现的实践近似。Legg 称该智能体能学习若干简单游戏；实验改变模型的上下文深度，以调整它能够表示的复杂度。

初步分数随着模型规模增加而上升；改变可用计算量的另一项测试也呈现类似趋势。Legg 报告了当时数据点的置信区间和显著性，并指出更多计算资源可以支持更多数据。

可测量的概念既能支持理论，也能支持实验：研究者可以修改算法、运行测试并观察表现是否变化。Legg 提到可能与 Demis Hassabis 合作，将理论神经科学的想法引入系统。

他还建议通过调整测试的划分方式，研究更具体的智能类型。演讲结尾，他主张明确的定义与测量能帮助人工智能研究说清目标并开展检验。

问答环节中，Legg 解释，实践测试从简单计算框架生成的环境中采样，再用蒙特卡洛方法估计预期表现。他提醒，完整实现过于复杂，无法在简短回答中讲清。

在早期测试中，团队需要采样一千多个环境才能获得有用的置信区间。智能体越强，差异可能越细微，因此可能需要更多样本或分层抽样等方法。

有人问学习在公式中体现在哪里。Legg 回答，适应已经隐含在任务中：智能体进入陌生环境，必须学习并在多种环境中取得好表现。

团队尚未正式为人类评分。Veness 尝试了一些生成的环境：有些很容易，有些需要思考，还有些即使看过程序也难以理解。获得完整分数需要进行大量测试。

一位听众建议把系统与不同发展阶段的人比较，让图灵测试更连续。Legg 回应说，幼儿已经具备复杂的身体和互动能力，当时的算法远不能达到。

有人问该方法与统计学习理论的联系以及近似的局限。Legg 表示尚未研究前者；对于后者，他重申实践方法使用有限的蒙特卡洛样本，无法遍历所有加权环境。

最后一个问题涉及排名对环境选择的敏感性。Legg 认同权重是重大难题：简单参考机器更重视计算结构简单的环境，而类似现实世界的参考机器可能更有利于适应现实世界的能力。

他建议将测试看作沿参考机器复杂度分布的一组测试。理论上的理想模型提供共同的比较点，但正如提问者指出的，环境分布改变时如何维持稳定的实践尺度仍是难题。