Andrew Ng：AI 最难的部分，很少出在算法上

Lex Fridman 开场就问，Andrew Ng 是什么时候第一次爱上计算机的。Ng 在香港和新加坡长大，五六岁就开始写代码，他把书里的 BASIC 程序抄下来，好在自己的机器上玩粗糙的射击游戏。十几岁时，他当医生的父亲把讲专家系统和神经网络（neural networks）的书交给他。点燃他的，是另一件事：他发现敲键盘居然能变成一场游戏，而计算机有朝一日也许会显得聪明。

真正留存下来的那个动机，来自他在新加坡读高中时的一次实习。他复印文件、做办公室杂事，还把碎纸机当作这份工作最大的亮点。少年时的他心想：如果软件能把这些做掉，他就可以去做别的事了。他说，后来的很多工作仍然围绕这一主题展开。在他现在的描述里，机器学习就是一种编写算法的方式，用来自动化人们已经在做的事。

同样的本能也出现在课堂上。Ng 每年要给大约 400 名学生讲斯坦福大学的机器学习课，他发现自己每年都要在同一间教室里录制同样的讲座，讲同样的笑话。为什么不重用去年的视频，把省下来的时间用在和学生建立更深的关系上？这个问题催生了最早的公开在线课程，后来发展成 Coursera。第一门课上线时，视频还没录完，就已经有大约十万人报名。和朋友吃完晚饭后，他会问自己：是回家，还是去办公室？那些学习者想象中的面孔，把他送进了一间小录音棚，他在那里调好罗技摄像头、Wacom 数位板和领夹麦克风，常常一直录到凌晨两三点。

Fridman 问，凌晨一两点独自回家，知道视频会先到几千人、再到几百万人，是什么感受？Ng 说那让人谦卑，而他当时并没有去想自己看起来怎样。从早期开始，他就告诉整个团队，头号优先级是为学习者做最好的事。在录音棚里，他脑子里唯一的问题，是如何把一个概念讲得尽可能清楚。讲师很容易为了让学生引用，而去讲自己的论文。他说，这条原则杀死了这种诱惑。

有人曾问他，为什么花那么多时间去讲梯度下降（gradient descent）。他的回答是，扎实的基础，比带大家逛一圈他最新的研究，更能服务一个更长的职业生涯。课程的受欢迎程度，还暴露了一件狭义 AI 圈子低估了的事：兴趣不只局限于那些去 NeurIPS 的人。俄罗斯、印度、中国、南美以及世界各地的开发者，都想加入。他很容易想象，将来有一天，超过一半的开发者会以某种形式从事机器学习工作，包括模型周边的基础设施，就像现在大多数软件工程师都对云计算有所了解一样。

这一切都没有一夜之间成功。他先把斯坦福的讲座发到 YouTube 上，然后搭建了四五个后来被遗忘的网站，让团队弄清楚什么才有效。他曾为一项功能感到自豪：让两个人登录同一个浏览器，这样两人一起看视频，都能算作学习。他们在旧金山的一所学校 Sacred Heart Cathedral 推出了这项功能，大约面向二十名用户。结果零人使用。在线学习者想要自己暂停、倒带，而不是以成对的标签身份去学习。一个纸面上看起来很聪明、做起来也谈不上多难的设计，最终毫无作用。

Fridman 注意到，生物学家、化学家、物理学家和机械工程师，如今都坐拥大量他们从未打算用程序去处理的数据集。Ng 借用了一个历史类比。曾经只有一小部分人会读写，因此很容易认为，几个作者和几位公众读者就够了。普及的读写能力提高了人类交流的带宽，包括为一个读者写作，比如写一封邮件。他认为，计算机仍处在“抄写员稀缺”的阶段：程序员大多只能为大批受众写作，因为真正会写代码的人本来就少。

他希望，一家夫妻店的老板能为这周的特价，定制电视上的展示内容。这就是人机之间的沟通，正在追赶人与人之间的书面交流。Ng 过去跟普通工作的人聊天时，缺少一个清晰的理由来说服他们学编程。机器学习和数据科学改变了这套说辞。他猜想，在日常工作中对数据科学有具体用途的人，可能比对传统软件工程有具体用途的人还要多。一个能分析销售和顾客数据的店主，立刻就能得到价值，也许比写软件得到的还多。招聘人员、会计和工厂工人，只要学了一点数据科学，当天就能用在工作中。

Fridman 接着问，在一个人人都用 PowerPoint 的世界里，Ng 为什么还拿着马克笔和白板走上讲台。对于数学来说，一边说话一边一步步写出方程，能加深理解。写字很慢，如果你需要一个很长的句子，这确实是个真实的缺点。但这种慢恰恰是它的意义所在：它迫使他把一切都化简到几个基本点。好的演讲，应当把几个简单的想法讲清楚，内容不必塞满；白板会强迫他保持这种极简。

Pieter Abbeel 如今是世界领先的机器人学家和强化学习研究者之一，他是 Ng 的第一位博士生。Ng 说得很清楚：他长期的职业成功，建立在 Abbeel 起了关键作用的早期工作之上。Abbeel 的论文用强化学习来驾驶直升机，包括那些倒飞特技，在 2008 年前后斯坦福的老视频里看上去仍然令人惊叹。大多数人从来看不到的，是研究到底有多难。Abbeel、Adam Coates、Morgan Quigley 和 Ng 花了数年时间，去做直升机的各种版本，而其中很多版本根本无法工作。

最糟糕的瓶颈，出在搞清楚直升机倒飞时到底在哪儿，学习算法本身倒在其次。一个 GPS 单元失效了，因为天线朝着地面。两个单元，一个朝上、一个朝下，也失效了，因为朝下的那个在快速翻转时无法同步。Quigley 花了大约一年时间研发专用硬件来解读 GPS 信号，结果依然不行。Ng 记得自己和 Abbeel 坐在办公室里，盯着最新一次的失败，说了一句：“该死，现在怎么办？”后来在 Coates 的帮助下，解决办法是在地面上装摄像头。一旦外部系统解决了定位问题，团队才终于能够专注于强化学习和控制。

当时关于强化学习的理论论文很多，真正的物理应用却几乎没有，这也是那架直升机出名的原因。Fridman 问，理论才是最有声望的道路，Ng 为什么还愿意待在这些又脏又累的应用工作里。Ng 喜欢理论，但当他能看到一条通向帮助某人的路线时，会更有动力。他曾问一位数学教授为什么要做研究。那位教授满眼放光地说，他是在宇宙中发现真理与美。Ng 对此完全尊重。他只是在团队的工作能帮到人的时候，更有动力。这个世界两种人都需要。他自己也愿意为了一个能飞的系统，耗掉一年做失败的 GPS 硬件。

Fridman 问，在深度学习流行之前，Ng 看到了什么。Ng 把早期的岁月分成两部分：做错了什么，做对了什么。错的是，他低估了无监督学习会有多核心；早期的谷歌大脑在这方面投入了大量精力。大约在 2005 年，NIPS 会议结束之后，他和 Geoff Hinton 坐在会场外的一家食堂里。Hinton 掏出一张餐巾纸，画出了一个说服了一代人的论证。大脑大约有 10^14 个突触连接。一个人的一生大约是 10^9 秒。如果每个权重只有一个比特，那你每秒就需要学习 10^5 比特。Ng 当时有一个一岁的女儿。“我觉得自己是个很有爱心的父母，”他说，但他不打算每秒给她 25 个标签。他们的论证大意是：我们所知道的大部分东西，都不可能只靠监督标签到达。

他仍然认为无监督学习很重要，但他也认为，那次押注在近期未必是正确的路线。他们做对的部分是规模化。当时还在 Ng 斯坦福团队里的 Adam Coates 做了实验，把结果画成一条曲线：模型与数据的规模拉大，性能随之上升，曲线朝右上方延伸。仅凭这张图，Ng 就有了信心，与 Sebastian Thrun 一起向谷歌提出了这个项目，它后来成了谷歌大脑。更大的数据集能带来更好的性能，这个想法简单，而在当时却颇具争议。一些出于好意的资深朋友试图劝阻他：这谈不上新架构，只是规模化，是一步很糟的职业选择。Ng 回答说，如果你想要突破，有时候就得有信念，在它流行起来之前就去做。

Fridman 把旧的争论带到了今天。有人如今说，数据集已经足够大，前沿在于样本效率（sample efficiency）和更好的学习机制。Ng 的回答是，两者都重要，取决于问题。在一些数据集上，我们已经接近贝叶斯误差（Bayes error），或者超过了人类水平，因此再多的数据也会碰到天花板。在很多其他数据集上，我们离二者仍然很远，用现有的神经网络加上更大的数据，不需要新架构，也还能持续推动进展。近来语言模型的突破，是新架构与规模的结合。回看 GPT-2 和 BERT，他说，规模是故事的很大一部分，而被悄悄忽略的，是这些模型训练所用的网络数据那种弱监督的质量。

代码有成熟的版本控制，数据却没有。Ng 记得，在人们使用 CVS 或 Git 之前，他就通过邮件传递 C++ 文件。他认为，行业在管理数据方面仍然很不成熟，尤其是杂乱的数据。制造业让这种差距无法忽视。在视觉检测中，他的团队会把一个塑料零件拿给一位检测员看，那位检测员十分确定它是不合格的缺陷。另一位同样确定的检测员则会说，那只是一个很小的痕迹，应该出货。有时候，同一个人在下午看到同一个零件，又会很有把握地推翻上午的判断。

如果一个人在几个小时之内都无法和自己的判断保持一致，那学习算法又该拿这个标签怎么办？拥有十亿用户的消费互联网公司，可以把噪声平均掉。其他行业没有大数据，它们只有小数据：也许一种缺陷只有一百个样本。如果其中十个标签是错的，那就是数据集的 10%。把它清理干净，决定由谁来标注、分歧如何解决、该花多少人力，这些都算不上算法论文的内容，属于流程。在斯坦福，他越来越多地告诉学生，去找你自己的期末项目和你自己的数据，而不是下载一份干净的公共数据集。干净的数据集更容易，而杂乱的数据集，才是你遇见真实世界的地方。

当时，Ng 同时在推进三项事业。DeepLearning.AI 制作课程，帮助个人进入这个领域。Landing AI 帮助成熟企业采用 AI。AI Fund 则是一个从零创建公司的工作室。当被问到初学者该如何开始时，他推荐 Coursera 上的 Deep Learning Specialization，它会从神经网络讲到卷积网络（convnets）、序列模型和注意力机制（attention），并配有 Python 编程练习。数学门槛是刻意降低的：高中数学和矩阵乘法就够了；微积分有助于建立直觉，但并非必需。官方的课程长度大约是十六周，不过也有人不到一个月就学完了。他特别强调，如果付费对你是负担，可以申请经济援助，免费学习。

他对这门专项课最自豪的，是其中的实操经验：如何判断自己是否过拟合（overfitting），什么时候该收集更多数据，什么时候根本不必费这个事。他仍然看到工程师花上六个月去收集数据，因为更多的数据总让人觉得有价值。其实，几个测试在几个月前就能显示，更多数据并不能解决这个问题，那段时间应该拿去研究架构或别的想法。他把这比作学编程。语法很重要，但更大的技能，是如何把代码行组织成函数和抽象。Ng 在卡内基梅隆大学有一位朋友，靠删掉所有有语法错误的行来“调试” C++。这在普通编程里只是个笑话。而在机器学习里，调试确实是另一门学问。

你无法对神经网络做二分查找，也无法在调试器里单步执行它。问题在于，它为什么还不起作用，以及你能否指望它起作用。能够系统地回答这些问题的人，速度可能快上 10 倍，甚至 100 倍。选项是熟悉的：改架构、加数据、加正则化（regularization）、换一个优化器、换一种数据。深度学习的难处，和数学一样，在于一整套想法层层叠加，单看某一步操作并不难。漏掉一个，后面的内容就失去了前提。这门课程试图把每个概念拆成足够小的单元，好让后面的步骤下面仍然有一块地基。

Fridman 注意到，许多学生第一次对神经网络产生“原来如此”的顿悟，来自深度强化学习：一个什么都不知道的网络，去探索，然后学习。Ng 仍在斯坦福的课上讲授强化学习，并且依然喜欢这个领域。不过，如果他想教的是今天最有用的技术，他会缩短在这上面花的时间。它在生产环境里还谈不上真正起作用。一群资深机器学习研究者曾经围在一起，问有没有第一个真正落地的强化学习应用。当时出现了一些新兴的例子，但并不多，至少在游戏之外不多。他的团队现在也在研究把强化学习用于一些机器人控制任务，但就影响力占比而言，仍然很小。

教学中的张力是真实存在的：能点燃热情的工具，不一定就是最值得投入最多课时的工具。他宁愿把强化学习当作从零学习的生动画面，然后把课程的核心放在监督学习和真实数据集上。即使在机器学习内部，他认为如果人人都只学深度学习，也会很可惜。有些日子，他的制造业团队用神经网络；有些日子，他们用 PCA 残差；有时候，他们用概率图模型（probabilistic graphical model）。这些工具有巨大的工业影响，学界的讨论却少得多。方法的多样，才能为任务找到合适的工具。

当被问到深度学习中最美的想法是什么时，他并没有选规模。如果他的工作只是学术研究，经费不限、没有短期压力，他会把全部时间都花在无监督学习上。目前最让他兴奋的分支是自监督。拿一些未标注的图片，把每张随机旋转 90 度的整数倍，然后训练一个网络去预测原始方向。标签是免费的、无限的，因为是你自己制造出来的。研究者随后把隐藏的表示迁移到其他任务上，效果出奇地好。变体包括 Jigsaw，它把一个 3×3 的网格打乱，然后问它来自 9! 种排列中的哪一种；还有 word2vec 式的缺词预测。OpenAI、Facebook、谷歌大脑、DeepMind 等都在这条路线上。他认为这只是拼图的一块，它会先在计算机视觉和视频领域接近真正的影响力。此前有十年，稀疏编码（sparse coding）和独立成分分析的关注度，随着监督学习表现越来越好而逐渐下降。

Fridman 问，一个学习深度学习的人，每天应该怎么安排。Ng 的回答是规律。他的团队每周三都会发送时事通讯《The Batch》，读者因此知道什么时候该花几分钟来补上最新进展。他自己则在周六和周日学习。他不会在周六醒来后琢磨自己有没有读书的心情，那只是他做的事。刷牙要花两分钟，有点烦，但作为一种习惯，它几乎不消耗脑力。每天都要做决定，才是最累人的部分。他甚至每天吃一样的东西，又少做了一个决定。

Fridman 补充了他自己的吉他规则：每天至少练五分钟，哪怕看起来很荒唐，一两年下来，结果就不再荒唐了。Ng 说，突击式的爆发和通宵并不会产生复利，因为你只能这样做有限的次数。读研究论文也是一样。真正的力量，来自一年里每周读上几篇：读过大约一百篇之后，你会真正学到很多东西。课程学习是进入一个领域的高效方式；他的斯坦福博士生如果一上来就直接搞研究，常常会被要求先花一两年上课。等课程修完，下一步是小型项目，然后是论文和博客文章。无论是个人还是公司，都从小处开始。

当他想深入学习某件东西时，他仍然会手写笔记。他最近学了一门 Coursera 上关于临床试验的课程，桌上放着一本 Moleskine 笔记本。手写更慢，你没法逐字抄录，只能把讲座重新编码成更少的文字，而这种更深的加工正是长期记忆的来源。打字总比不做笔记好；但完全不做笔记上课，就更糟了。与手写相比，打字让人更容易照抄原话，记住的也更少。同样的直觉，也体现在他剪辑视频的方式上：每一个字都得为自己争取存在的理由，因为一分钟的浪费，乘以数百万观众，就是别人时间的巨大损失。

谈到职业，Ng 拒绝只有一条路。一个排名前 50 的博士项目可以是很好的经历，在顶级团队里工作也一样。如果目标是成为顶尖大学的教授，博士学位是必需的。如果目标是创办一家技术公司，那么去做、去搭建，同样是很好的选择。比起学术界还是工业界，或者这个 logo 还是那个 logo，更影响你每天生活的，是你和谁打交道。走进一座大楼，门楣上的标志其实没那么重要。重点是你每天交谈的十个人、三十个人。我们会变得越来越像身边的人。优秀的同伴会让你进步得更快。

在拿到 offer 之后，他的实用建议很直接：问清楚你的经理是谁，你的同事是谁，你会跟谁打交道。如果公司说有轮岗制度，入职之后再看怎么安排，他觉得这个回答令人担忧，因为你可能会被分到一个做的事情并不让你兴奋的团队。找到这些人是一件难事，和找朋友或伴侣是同一类难题，所以你应该在还有谈判筹码的时候，坚持问清楚。他在斯坦福的 CS230 课上做过一场一小时的职业讲座，包括求职策略，视频是公开的。

AI Fund 的诞生，源于 Ng 在百度主管 AI 小组时身兼两职：一是支持现有业务，二是系统性地开辟新业务线，其中包括一个自动驾驶团队，以及一个在亚马逊 Echo 发布之前就宣布过的智能音箱项目。第二项工作才是乐趣所在。这家基金是一个创业工作室，邀请创始人加入，有时是带着现有的想法来，试图让公司的创建变得可复制。对客户的执着是一个过滤器：从长远看，只有客户会投票。他们一直在打磨：多少次客户访谈才算验证，如何判断一个一两年前的算法能否在生产环境中存活，以及团队如何在教育、医疗或制造业中积累领域知识。更深层的价值，是对抗孤独。大多数创始人并不知道什么时候该招第一位工程副总裁，如何做 B2B 销售，或者如何在不把钱砸在广告上的情况下做营销。在关键决策点上有一个生态，能提高成功率。他们也会刻意放弃一些想法。有一个商业方案和营收计划都没问题，但那个产品会让人们看更多某一类狭窄的视频。Ng 看过之后说，他不想做这件事。

Landing AI 的工作，是帮助已经存在的公司。Ng 把 AI 称为一种通用技术，将改变每个行业。软件和互联网已经走过了这场变革的大半路程；即便是前几名之外的公司，也都具备了一定的机器学习能力，或者正在获得。看看制造业、农业、医疗、物流和交通运输，机会巨大，而投入其中的团队却很少。他引用了麦肯锡（McKinsey）的一项估计：全球经济增长将达到 13 万亿美元，而美国 GDP 大约是 19 万亿美元；另一些估计则是 16 万亿美元。对他来说，真正重要的是结构：这份影响中的很大一部分，落在软件互联网行业之外。

在工厂里，仍然有人站在生产线旁，用肉眼检查智能手机零件上的划痕和凹痕。摄像头加上深度学习，可以同时提高良品率、质量和产量。实际问题却不是论文里的那些问题。数据集很小。灯光时开时关。一座工厂烧毁后重建，训练环境也随之消失。窗外的一棵树被砍掉，光照变了，模型就崩溃了。当测试分布与训练集相差很远时，学术界在这方面仍然薄弱，即便已经有领域自适应（domain adaptation）和迁移学习（transfer learning）方面的工作。学习模型可能只占代码行数的 5%，甚至更少。其余部分都是软件工程：可靠性、维护，以及与现有工厂设备的接口。

他已经听过太多次同样的对话。做机器学习的人说，算法在测试集上表现很好。做业务的人说，谢谢，但这模型太烂了，根本不管用。他们谈论的并不是同一个对象。他说，机器学习是吃了激素的自动化。如果你把视觉检测自动化，你可能就得重新设计周边的工作：如果模型标记了缺陷，你是报废、返工，还是交给人工？在一家科技公司，语音系统一旦宕机，就会响起警报，领导可以点名二十名工程师。工厂里可没有二十名随时待命的机器学习工程师。维护、审计和事故响应，都得从头发明，而且往往还没有共同的术语。

公司的第一步，正如他在公开的《AI Transformation Playbook》中所说，是从小处开始。他见过的因为一开始就做得太大而失败的案例，远多于因为一开始做得太小而失败的。谷歌大脑本身也颇具争议：人们认为深度学习已经试过，而且失败了。他的第一个内部客户是谷歌的语音团队，搜索和广告都排在后面。第二个是地图，从街景图里读取门牌号。只有在这两场胜利之后，他才和广告团队进行了认真的对话。第一台 GPU 服务器放在某个人的办公桌下，教会了大家多个用户如何共享一池 GPU，这一课后来被扩大到了更大的规模。小项目能换来信任，也能让组织理解这项技术究竟能做什么。

Fridman 问，除了应用层面的自动化，Ng 是否也怀有人类水平甚至超人智能的古老梦想。Ng 很希望人类能建造出通用人工智能。至于这需要 100 年、500 年还是 5000 年，他觉得很难估计。谈到生存风险，他说他确实担心人类的长期命运。他也担心火星上的人口过剩问题，只是眼下还不急。在一场演讲之后，有人剪了一段视频，指责他对火星上濒死的孩子们冷酷无情。他向未来的观众道歉：他是在乎的，只是现在还不知道如何有效地着手。在他看来，关于对齐（alignment）的争论和回形针问题（paperclip problem），是对我们真正能够处理的那些更难问题的巨大分心。

自动驾驶汽车是他举的例子。人们把电车难题当作伦理学的核心谜题。他问，开车时你有多少次会面临那种两难？自动驾驶汽车遇到它的频率，大概跟我们差不多。真正的失败，是路上横着一辆大白卡车，正确的动作是刹车，而系统却没有刹车。偏见是一个现实问题。财富不平等也是。互联网加速了权力的集中，因为数据和算力都在集中化，赢家通吃的动态正在一个行业接一个行业地蔓延，就像优步（Uber）和 Lyft 冲击出租车行业那样。巨大的财富正在被创造出来；真正悬而未决的问题是，它如何被分享，以及如何帮助那些工作被取代的人。教育是答案的一部分，但可能还不够。

他担心团队有时会在遥远的问题上大声疾呼，却忽视了眼前具体的问题，这可能是无心之失。当监管机构说你的产品正在造成伤害，而修复可能冲击收入时，谈论承诺不会借这个界面毁灭人类，就轻松得多。回顾过去，他犯过太多错误，以至于每一个洞见出现时，他都会想：自己应该在五到十年前就想到。有时他读到一本书，希望自己十年前就读过它，然后才发现那本书当时还没有写出来。探索的过程，总是不断找到事后看来显而易见、却又总是来得太晚的东西。问到他为之骄傲、为之快乐的事，他说了两件：他的女儿 Nelva，他怎么也陪她陪不够；还有帮助别人。用他的话说，人生的意义，就是帮助他人走向自己的梦想，让人类变得更有能力。Fridman 以 Ng 自己的一个检验作为结束：如果你正在做的事情，超出了你最狂野的梦想而取得成功，你是否已经显著地帮助了其他人？如果没有，就继续去找。