成功第一步的谬误：Jitendra Malik 谈视觉为何仍未被解决

1966 年，Seymour Papert 和 Marvin Minsky 写了一份名为“夏季视觉计划”（Summer Vision Project）的提案，把在一个夏天内解决计算机视觉的任务交给了一群学生。那份任务清单看上去仍然很熟悉：分割、识别、三维重建、场景理解。Jitendra Malik 在伯克利任教 34 年，是深度学习出现前后这一领域的核心人物之一。他并不嘲笑这些作者。他说，早期的研究者只是不知道自己面对的是什么。

视觉之所以会骗人，是因为它大部分发生在意识之下。你能感觉到自己一步步地证明定理或下棋，那是在意识中进行的。你却感觉不到自己在认出面前的那张脸。这种毫不费力的感觉，让人误以为这个问题在计算机上实现起来很容易。神经科学和心理学讲的是另一个故事：在人类和其他灵长类动物的大脑皮层中，有非常大的一部分用于视觉处理。一个占用如此多神经“地产”的系统绝不简单，而且其中较高层的部分更难。

Malik 对同样的错误今天也不那么宽容。他把它称为“成功第一步的谬误”。许多视觉问题，一分钟能解决 50%，一天能解决 90%，五年能解决 99%，而 99.99% 也许一辈子都等不到。这条曲线解释了这个领域的兴奋与失望循环。每隔十年，就有一种新方法把某个指标从 30% 提高到 60%，随之而来的是各种标题，然后大家才发现，剩下的爬坡路比已经走过的路还长。Fridman 指出，做语言的研究者往往更谨慎；做视觉的人仍然低估了一个静态场景所需要的理解有多少。

Malik 把感觉（sensation）、知觉和认知视为一个连续的问题，而不是一堵墙：墙那边的研究者只研究中间层，并把其余部分称为“认知”而一笔带过。今天的深度学习技术在底层和中层效果最好。高层的认知能力会出现在真实应用中，不管这个领域是否准备好了。需要多少这种能力，取决于风险大小。图像搜索可能出错，但不会有人因此丧命；以时速 60 英里（约 97 公里）开车，就不行了。

Fridman 把特斯拉 Autopilot 描述为一个以视觉为主的系统：8 个摄像头，一个 Karpathy 团队称之为 HydraNet 的多任务网络，多个输出头共享同一个核心表示。Malik 的回答分成两部分。受限场景是可以解决的。高速公路驾驶，1980 年代 Ernst Dickmanns 在慕尼黑做过演示，1990 年代卡内基梅隆大学的 Navlab 做过，2000 年代伯克利和斯坦福大学的团队也做过。难题在于一个能在所有驾驶条件下工作的自动驾驶系统，感知、控制和边缘情况会同时到来。他自称在近期完全自动驾驶问题上是悲观的，因为总会有那 0.01% 的情况，需要复杂的认知推理。

他还把预测其他智能体纳入视觉的范畴。知觉与认知交织在一起；它必须说明将会发生什么，而不是现在是什么，因为“现在”很无聊，而且已经过去了。我们是在未来中行动的。他自己有一辆特斯拉，并且亲眼看到它对一个滑板少年反应错误：模型见过很多行人，但滑板者的运动是另一种模式。原则上，足够多的数据可以覆盖这种情况，而任何一个具体的故障，六个月后也许就消失了。更深层的问题是样本效率。当前的计算机视觉系统要获得与人类相同的能力，需要的数据远多于人类，而剩下的长尾，正是认知所在的地方。

Malik 认为，深度计算机视觉中效果惊人的，是白板式（tabula rasa）监督学习：一个空白系统被喂入海量带标注的样本，直到它学会把输入映射到输出。人类驾驶并不是这样。一个 16 岁的少年走进驾校时，已经是视觉天才了。到两岁时，这套能力大部分已经就位：世界是三维的，物体从不同角度看会不一样，会有遮挡，人和动物以各自特有的方式移动，还有一点直觉物理。驾校教的是操控，比如平稳地转向和刹车，以及对典型交通状况的感觉。课程可以很短，因为学员并不是从零开始学习视觉世界的。

后来真正重要的情况，从来不在课堂上出现。Malik 在驾校里可能从没遇到过滑板少年，也没见过一辆卡车后门打开、把垃圾倒在路上。他仍然能够应对，靠的是通用的视觉知识，而不是某条驾校规则。这正是他希望学习方法弥补的差距：长期积累知识，而不是为每个任务重新做一次映射。

他认为，原则上没有理由说神经网络做不到这种积累，但这些技术必须远远超出今天这种 x、y 配对的监督式饮食才行。人类的学习要丰富得多。一个孩子拿起一件物品、转动它，并从自己选择的角度观察它；数据是由学习者自己安排的。儿童发展心理学家已经描绘出许多这样的组成部分。监督学习只是故事的一小部分。研究计划就是为其余部分建立模型，并依照这套协议训练系统。

1990 年代，Hans Moravec 的估算划出了一条权衡：神经元速度慢，但数量多，而且连接密集；晶体管快到纳秒级，但连线稀疏。Malik 说，到 2020 年，最新的 GPU 集群在原始计算能力上可能与大脑处于同一数量级，但风格不同。GPU 的耗电量远高于生物计算。他认为，在有人建造真正大规模的现实系统之前，能效问题必须先解决。

当被问到计算机视觉的一般性问题时，他拒绝把分割、重建和检测当成问题本身。那些只是科学家强加的结构。在生物学中，只有与行动耦合，知觉才会带来好处。他把时钟拨回 5 亿年前的寒武纪，那时最早的多细胞动物已经能够移动，并以某种方式感知光线。运动让你能在新的地方找到食物，但你仍然需要知道该往哪里去。最早的循环很简单：找到食物，或者不让自己变成别人的食物。

之后，进化让知觉服务于更多目的，直到人类能够为外部世界构建内部模型。这个模型并不完美，心理学家很喜欢罗列其中的错觉，但它与寒武纪的那个循环相比已经走得很远。物体检测和三维重建之所以能够同时进行，是因为它们最初都是为行动服务的。Fridman 开玩笑说，在现代生活中，所谓的行动可能只是一份 Netflix 订阅。Malik 在与公司打交道时，以“经济人”（homo economicus）的角色而言，认可这一点。但根本上仍然是行动。

计算机视觉的大部分进展，包括 Malik 自己的工作，都是在静态图像上取得的。这在一定程度上是硬件导致的。1970 年代、1980 年代和 1990 年代，研究者在 256×256 图像上检测边缘，其余部分全部丢弃，因为存储和算力都很稀缺，而人类能读懂线条画。现在已经没有人这么做了，卷积网络直接处理像素。视频仍然很昂贵。大学实验室可以在相当规模的视频数据集上训练大型网络。但在谷歌或 Facebook 的规模上，这仍然极其困难。Malik 刚刚与 YouTube 搜索与发现部门的工程副总裁交谈过：对整个 YouTube 进行操作，仍然主要依赖基本上是 1990 年代水平的技术。

他有一句工作口号：视频识别落后于物体识别大约十年。在困难的视频数据集上，动作分类的准确率大约停留在 30%，大致相当于 2009 年物体检测的水平。能否在另一个十年内追上，是另一个问题；他希望用不了那么久。他承认，只盯着单帧，可能会错过视频本来能提供的信息。

他同意 Fridman 的看法：长时理解需要知识。心理学家把它称为图式（schema）。经典例子是餐厅：你走进去，有人带你入座，服务员送来菜单，食物上来，然后账单送来。1970 年代，AI 用人工方式把这类东西编码为框架、脚本（script）和图式，然后用脚本推断故事中没有明说的内容。针对几秒视频的三维卷积，是为短时理解设计的，而不是为这种理解设计的。长时理解需要目标、意图性和功能性。Malik 宁愿学习这些脚本，也不愿手工编码，因为学到的知识更稳健；而且通常没有哪位母亲会陪着孩子把餐厅的每个环节都讲一遍。十次家庭晚餐就够了。

在《计算机器与智能》接近结尾处，图灵问，为什么我们应该模拟成人的心智，而不是孩子的心智。Malik 认为这一点被严重低估了。今天的视觉基准测试瞄准的是成人表现：1000 个物体类别，排行榜分数。缺少的是类似孩子的测试，以及孩子实际接触到的数据，即语言环境和视觉环境，这引发了一些群体已经在努力应对的隐私问题。他认为这个方向很有前景。随后，他举出了一个他还没理清的反例：飞机并不扑翅膀。自然界并不总是获胜的蓝图。目前，他押注的是像孩子那样学习。

孩子的优势在于互动性。学习者与数据集玩耍，选择看什么、摸什么。Malik 希望同时用真实机器人和模拟器。物理身体有动力学、质量、惯性和摩擦；机器人通过行动来学习这个身体。他在 Facebook 的研究组做出了 Habitat，这是一个逼真的房屋与城市室内模拟器，在其中，移动会得到准确的视角。他预计后代的系统也会正确掌握力、质量和运动方向，而不仅仅是像素。

在世界中行动，是打破相关与因果之间那道屏障的一种方式。他注意到，Judea Pearl 曾把深度学习的成功说成是曲线拟合，并指责这个领域忽视了因果性。Malik 认为 Pearl 说得过头了，但同意因果性很重要，而且它也不是什么单一的灵丹妙药。医学中最可靠的工具是随机对照试验。孩子们一直在做小型版本的这种试验。他的同事 Alison Gopnik 的书《摇篮里的科学家》，书名本身就点明了这一点：科学家通过控制实验建立因果模型，婴儿也是如此。图形学社区从追求视觉逼真，走到能模拟玻璃碎裂，在他看来说明：没有根本性的障碍阻止模拟器不仅做到照片级逼真，还做到生命级的逼真。

在最底层，图像统计主要学到的是冗余。这就是压缩之所以有效的原因，也是一种生物学约束：大约 10^8 个感光细胞输入约 10^6 根视神经纤维，压缩比大约是 100 比 1。人工网络的早期层做的正是类似的工作。公司已经在用神经方法压缩图像和视频；Malik 的一位前学生就在这个行当里，并取得了不少有趣的结果。像素级压缩不等于“这是一只猫”这句话，语义压缩则是另一回事。

他真正的不满在于架构。在测试时，当前系统是纯粹自下而上的：原始像素前馈到“猫”或“不是猫”。在训练时，它们又高度自上而下：人类标注猫、狗、斑马。生物系统并不是只用其中一种。从视网膜往里，视觉皮层大约有七八层，而不是 ResNet-50 的 50 层，但它存在反馈，这对处理模糊的刺激很有帮助。带有三轮反馈的网络展开之后，就是一个深三倍的前馈网络，两者在功能上等价。他希望在测试时有更多的自上而下处理。

训练时，他希望反过来：减少带标注的自上而下信号。人类在远弱于此的监督下进行分割。一匹马在视频中移动，像素便自然地聚合成一组；格式塔心理学家把这称为“共同命运原则”（common fate），它是一个自下而上的过程。机器视觉几乎完全依赖自上而下的训练信号。即使是一位只关心工程、不关心大脑的硬派工程师，他说，也应该关心这一点，因为如果这个思路行得通，你所需要的训练数据就会少得多。

分割的价值不在于画出更漂亮的框。它让你能够说，某一组像素就是一个物体，而无需给它命名，也无需知道它的属性。一旦孩子能从世界中切分出实体，母亲说一句“把你的奶瓶拿起来”或“猫今天的表现有点怪”，就能把一个词映射到一个物体上，而不必指着每一个标签。弱监督要在你能够创建物体之后才有效。这也有现实需要：他的团队研究过脑外伤的 CT 扫描，放射科医生必须勾勒出可能的出血区域。早期计算机视觉的错误在于把分割当作纯粹的自下而上过程。经验会修正对实体的划分。一个穿着衣服、关节可动的人，即使各部分独立运动、颜色不断变化，仍然是一个物体。

大约在 2010 年，Malik 开始推动一个三部分框架，取代低级、中级和高级视觉的划分，因为后者与人们真正关心的任务对不上。识别就是贴标签：猫、吉娃娃、鸟的品种，或者抽象的标签“动物”。重建是逆向图形学：给定一张图像，恢复其中的物体、视角、形状、纹理和颜色，也就是对外部世界的内部模型。重组与心理学中的“知觉组织”相关，指的是形成实体和关系的过程。世界并不是以像素网格的形式存储的。分割只是迈向这种结构的开端。

这三者构成一个自我供养的三角形。重组界定实体，识别为它们命名，重建则推断出原始像素中从未包含的信息，比如三维形状。2010 年，这个领域仍把每个问题当作一场孤立的数据集竞赛。他希望把其中的联系明确地说出来。深度学习革命之后，共享一个公共表示的多头网络，恰恰就是这样的架构。他已经不需要再宣讲这个框架了，它已经是解空间的一部分。

这并不意味着他想要在一个巨大数据集上做一劳永逸的端到端监督学习。今天所说的端到端，通常指的是有监督的端到端，他认为这太狭隘了。他更倾向于儿童发展和终身学习的视角：先构建某些能力，再在它们之上构建其他能力。一个精确标注的任务，只是学习的一幅有限图景。

Malik 指向 Linda Smith 和 Michael Gasser 的一篇论文“婴儿期的六堂课”（The Six Lessons of Infancy）：要多模态、渐进式、具身、探索性、社会性，并且要使用语言。这些在儿童发展领域是常识，在计算机视觉和机器学习中却不是。他认为自己的角色，就是在两者之间架起桥梁。多模态是他最喜欢的例子。一个孩子拿着一个球，会得到一种稀疏的触觉信号，其中包含三维形状，同时还有一种来自完全不同感受器空间的视觉信号。两者指的是同一个物体。这种交叉校准是强有力的、自监督的、无标注的。孩子不必知道这东西叫球。

声音和视觉的运作方式也是一样的。一只玻璃碗掉下来摔碎了；你既听到了碎裂声，也看到了碎片，两者在时间上对齐，并且有因果关系。鸡尾酒会问题，也就是从混合声音中分离出说话人，是听觉领域的经典问题，而一旦你能看到谁在说话，它就容易得多。时间是免费的连接者。他在 2020 年说，这一领域仍然研究不足。

Fridman 提出乔姆斯基的观点，即语言或许处在认知的核心。Malik 毫不犹豫：视觉是母体。先看系统发育：视觉大约有 5 亿年的历史。在过去 700 万年里，人科与其他灵长类分化，直立行走解放了双手，工具使用和大脑体积都在增长，而语言，正如乔姆斯基所说是人类独有的，因为其他灵长类没有语言，是在这个基础之上出现的。个体发育也支持这一点。三四百万年前的祖先就已经具备空间智能：物体、关系、因果互动，以及在空间中的运动。语言借用了空间和时间的概念；这些概念不可能来自语言本身。

Malik 不想要单一的智能测试，正如他不想把 IQ 当作一个单一数字。图灵 1950 年提出的模仿游戏在当时说得通；70 年后，它把研究引向了一个能在五分钟内骗过某人的聊天机器人。他宁愿保留一份大约十项任务的清单：操作、导航、视觉理解、读完一个故事并回答问题。他最喜欢的语言任务，是读完一部小说并回答关于它的任意问题。在这张清单上，语言是最难啃的硬骨头。用拉姆斯菲尔德（Donald Rumsfeld）的说法，视觉和机器人学大多是“已知的未知”：他知道该往哪里去。自然语言和高级认知，仍然隐藏着“未知的未知”，所以他不肯给出时间表。

被问到计算机视觉有哪些希尔伯特式的难题时，他首先选择了长时视频理解：智能体、目标、意图、预测，而不是坐下或接球这样的原子动作。这与认知交织在一起，所以很难。第二个问题是对世界更丰富的三维理解。多视角几何可以从多张图片重建场景，但对单张图片则无能为力。单视角三维方法在训练时依赖有监督的 CAD 模型，这种监督并不自然，毕竟人脑里不会被植入 CAD 模型。他希望三维是通过在世界中移动来学习的，然后迁移到一张照片中的新椅子上，并且预测新视角的能力隐藏在表示之中，而不是作为图形资产存储下来。

在许多场景中，他对不可解释的网络并不反感，因为人类彼此之间也并不能完全解释清楚。医学诊断是个例外。在美国三四十岁男性身上训练的模型，未必能迁移；参照类（reference class）错误和缺失的误差线，会改变你选择的治疗方案。在那里，他想要的不只是一个答案：还要有界限、质量说明，以及保留几分怀疑的余地。原则上，高性能的黑盒仍然可以接受。Fridman 指出，讨人喜欢的人会用故事来解释自己，不管真假；Malik 同意，网络也能学会讲这样的故事。

原则上，Malik 认为达到人类水平甚至超越人类的智能是可以实现的。但如果以 20 年为时间表，他猜测做不到。深度学习让他感到意外：2010 年，他所信任的数学是凸优化和理论保证，而不是那些过参数化的非凸网络，玩弄它们的人把它们当作黑魔法。令人意外的是，它们在各种问题上都表现得非常稳健。不过，历史大多比人们预期的要慢。他说，人们担心十年或二十年内出现通用人工智能，依据的是对这个领域发展速度的完全不切实际的模型。

他不会推迟的担忧，是今天的部署。AI 已经用于医学诊断、驾驶和简历筛选。当这些系统出错时，后果是真实的，而人们在某种意义上也负有责任。他想要的是一种持续的工程伦理：能力越大，责任越大。而不是为 2079 年某一天设计的巧妙技巧。亚利桑那州的那起行人死亡事故就是他的例子。那起事故里没有超级智能，一个非常笨的系统撞死了一个人。

Fridman 认为，Twitter、Facebook 和 YouTube 上的推荐系统，已经决定了数十亿人会看到什么；YouTube 挑选下一支视频的算法，放到人口层面看，已经算得上一种超级智能。Malik 则认为，这种威胁是现在进行时，而非将来时。平台如今拿视觉技术去解析影片的内容，并判断它该推给谁，这条路可以通向好几个方向，其中有些并不好。把产品关掉依然可能，人们对它的依赖也不是什么无法撼动的自然规律。要紧的是，趁这些系统还这么笨，就先想清楚它们会造成哪些伤害。

Malik 不会挑出某一个最幸福的时刻。他说，科研上的运气，就是在对的时间身处对的地方。太早做，前提条件缺失，你只能撞墙。太晚做，领域已经成熟，你只是在装饰细枝末节。他已经在伯克利任教 34 年，久到能在计算机视觉还是一个疯狂、完全无用的小领域，什么都做不成的时候进入它，也能看着它开始解决实际问题，并为生物学和天文学提供工具。他说，这个领域已经成熟，但并未完成。Fridman 怀疑，500 年后的人会笑话“成熟”这个词。Malik 说，这很有可能。

谈到培养顶尖学生，他小心地把功劳归于伯克利：才华横溢、勤奋、富有创造力的人会主动找上门来。他认为自己添加的，是对问题的品味。短期的科研成功靠的是技术能力，比如快速的数学和扎实的代码。长期的进步则在于提出正确的问题。他引用 Peter Medawar 的《可解决的技艺》（The Art of the Soluble）：找那些尚未解决、但又可以着手的问题。好问题有一个柔软的腹部，你可以在那里刺中猛兽。没有这种直觉，你只能一头撞在墙上。他最自豪的，是学生离开他的课题组 20 年后，仍然保有这种感觉。

他带来的另一样东西，是知识广度。他在心理学、神经科学和应用数学上花的时间，让他能指出一个埋头于某一口深井的学生可能忽略的联系。伯克利的新生往往深度狭窄，而他提供的是浅而广的视野。他说，两者结合起来才有价值。对话回到了开头的地方：视觉这个年轻的领域，用惨痛的方式领教了看得“最后几个九”究竟有多昂贵。