30 秒看懂
George Hotz 对费米悖论的回答是:智慧文明确实存在过,然后自己毁灭了自己。在这场与 Lex Fridman 的对话里,其余话题都围绕他认为真正重要的东西展开:密码学胜过核武器,能交付的产品胜过研究表演,端到端的神经网络胜过手工编写的驾驶任务,能带来实际能力的理论胜过空谈。他创办 Comma AI,是要解决自动驾驶,同时卖一台 1000 美元的设备,让现有汽车保持在车道内。至于 UFO、通用人工智能的炒作和收购报价,他都拿来检验:一件事是真的,还是只是人类发明的一场游戏。
- 1Hotz 对费米悖论的回答很直接:智慧文明确实存在过,然后毁灭了自己。在他看来,Eliezer Yudkowsky 那句毁灭世界所需的智商每年降低一分,正是背后的机制。
- 2当所有人都在下游打补丁时,就往上走一层。Optimism 那套 3000 行的字节码转译器,本质上是编译器问题,却被放错了地方;Hotz 则用一个 300 行的 C++ 编译器补丁解决。
- 3Comma 的使命刻意多了第二条:解决自动驾驶的同时,交付能卖出去的中间产品。没有可卖的东西,你可以达成任何里程碑,却依然离真正的目标无限远。
- 4他认为 MuZero 才是自动驾驶的解法。这并不是因为深度学习无所不能,关键在于它是在学到的模拟器里对失败的智能体进行优胜劣汰,而不是拿到路上去做。
- 5学会编程只有一条路:推进一个真实项目,一直做到卡住为止。要问的是具体问题,比如盒子里的通心粉不够,而不是怎样去“应用机器学习”。
- 6关于做自己:不要让大脑里的限制,把你压进社会定义好的模具。他愿意闪耀,成为什么样的人,由他自己选择。
按章节阅读完整文稿
智慧文明曾经存在,随后自我毁灭
Lex Fridman 开场就问,这位第二次做客的嘉宾 George Hotz(人称 Geohot,iPhone 越狱者、PlayStation 3 黑客,也是 Comma AI 的创始人)宇宙中是否存在别的智慧生命。Hotz 对费米悖论的标准回答一直没有变:智慧文明确实存在过,但一个都没有留下来,因为它们毁灭了自己。
Eliezer Yudkowsky 有句话被他拿来引用:每过一年,毁灭世界所需的智商就少一分。按这种叙述,技术是在把毁灭平民化。密码学是少数还能守住的地盘,因为核对一个签名比伪造它来得容易。核武则是反过来的局面:做出一个可以炸开成一百份的弹头,比做出一套能在半空截住一百个小弹头的系统,简单得多。“也许我们的出路在加密技术上,”他说。
银河系直径约 70000 光年,他半开玩笑地把这个数字归功于《星际迷航:航海者号》。一个以亚光速飞行的 von Neumann 探测器,可以在 100 万年内把它填满。显然这没有发生,所以必定有什么东西阻止了扩张。他会寻找的特征是废热:不断扩张的文明会消耗越来越多的能量,而热力学不会让残留的热量藏起来。他承认,银河系另一端的物理学可能比我们想的更古怪,但他愿意赌它并没有那么古怪。
UFO 视频是心理战,人类的大多数游戏都是假的
Fridman 提到五角大楼公布的 UFO 视频、海军飞行员 David Fravor,以及那些被昵称为“Tic Tac”的不明飞行物。Hotz 的回应只有一句:他认为这些新闻都是心理战。他听过 Bob Lazar 在 Joe Rogan 节目里的讲述,说自己信其中的每一个字,紧接着又说,那大概是某种 MKUltra 式的行动。他们造出了一个古怪的东西,称它为外星飞船,或许目的只是刺激年轻的物理学家,看看他们会发明出什么。
他觉得最有用的阴谋论是:阴谋论本身是中情局在 1960 年代发明的,目的是抹黑真实的东西。按这种看法,地平说和比萨门(Pizzagate)的存在,就是为了稀释真相。中国把发现新冠病毒的医生关了起来,这件事确实发生过。钱以前有黄金做担保,现在什么也不担保,这也确实发生过。政府过去靠审查控制信息。互联网出现之后,它们学会了爱尔兰小精灵的把戏:在金子上插一面旗,再把整片田野插满旗子,让人找不到真正的那一面。
他在 2019 年西南偏南(SXSW)的演讲“破解模拟世界”,被广泛误读为一份实际计划。他说,那场演讲的重点是理论物理:如果你想要一个大统一理论,就去把它建出来。真正想传达的信息要小得多,也苛刻得多:看看你把时间花在什么上。你不过是上帝电脑里的比特。他是资本主义的拥趸,但他不认为资本主义就是人们正在玩的那场游戏。规则是被操纵的。大自然写出了一款真正的游戏。社交媒体版的自然,大的吃小的,为了交配,并不是全部。在他看来,自然是一款开放世界的大型多人在线游戏。他读大学时,曾在《暗黑破坏神》里刷了几百个小时的牛关,但那并不能让它变成值得玩的游戏。
长生不老是目标函数,但只有可证伪的理论才带来力量
那么,要怎样破解真正的游戏?Hotz 想长生不老,但他要的不是那种谁也杀不死的永生,他认为那比现在更糟。他要的是选择自己死亡的权利,大自然不该替他决定。Fridman 反驳说,想知道一切的渴望,可能正是有限生命的副产品;如果时间永远不会耗尽,好奇心就会像晨雾一样消散。Hotz 的回答是工程师式的:改掉大脑里那个提醒他生命有限的部分。也许可以告诉它,生命下周就会结束。他能接受一定程度的自我改造。如果风险是失去好奇心,那就保留自己的备份,让备份去覆盖原本的运行轨迹。
Fridman 把这比作电子游戏里的作弊码:一旦用了,游戏就毁了,而且损害无法撤销。Hotz 对此深有同感。他把它看作当前脑部编辑技术的局限,等技术成熟,删掉那段代码就是。他也承认,能自我修改的系统会产生棘手的复杂性,他无法保证自己一定做对,只能说会设置安全结构。
他并不怀疑我们生活在模拟之中。他只是觉得,除非理论能让他对自然拥有力量,否则这件事没有意义。无法证伪的想法不值得在意。他会认真对待的证据,是一个内存泄漏:能读取本不该读取的内存,相当于物理学里的一条捷径。读取还不是最可怕的,写入才是。哪怕只是写入随机噪声,也足以让人心惊。弦理论、Eric Weinstein 的几何统一理论(Geometric Unity)、Stephen Wolfram 的超图,只要它们做出可检验、能带来力量的预测,他都会关注。他想要的是 100 GHz 的处理器,和比原子还小的晶体管,而不是一个美丽却无法检验的故事。
一个 300 行的编译器补丁,以及身价千美元的律师
2020 年年中,Hotz 走进纽约的一家餐厅,遇到了 Optimism 的工程师。Optimism 是 Plasma 的分拆公司,正在为以太坊(Ethereum)构建二层扩容方案。以太坊主链让每个节点都运行每一笔交易,既安全又慢。二层方案把计算移到链下,只把结果发布到链上,再用争议机制兜底:你押上 10000 美元,声称结果是真的;任何能证明你错了的人,都可以拿走赏金。这需要一个沙箱。凡是要写入链上状态的调用,都得改成向虚拟机监控器(hypervisor)发出请求,就像 Chrome 的渲染进程不能直接打开文件,得先请求浏览器。Hotz 替他们解决了迫在眉睫的截止期限问题。
Optimism 已经把 Solidity 编译成字节码,然后又写了一个 3000 行的转译器,把字节码反编译、改写,再重新组装成 OVM 安全的字节码。Hotz 的第一反应是,他们应该去改编译器本身。他先问对方愿意出多少钱,然后写了一个 300 行的 C++ 补丁。被问到怎么做到的,他说不过是想一想,然后动手做,后来他承认这句话没什么实际意义。可以带走的是这一招:当所有人都在下游做逆向工程时,就往上走一层。
他极度看好加密技术这个理念,但并不看好任何一种具体的币。中本聪共识(Nakamoto consensus)是一种相对直截了当的算法,能让一群人达成去中心化的一致,它是 21 世纪最伟大的创新之一。第二项是智能合约。合同一旦发生争议,就要由律师来解释。他说,律师不过是些烂透了、又被高薪供着的解释者。一台还不错的云服务器跑 Python,每小时只要 10 美分;请一位律师却要花 1000 美元。Python 便宜一万倍,而且几乎总能给出同样的答案。一个保险箱,要三方中的两方到场才能打开,它依靠的是银行和律师。智能合约则用密码学检验三把钥匙中的两把,给你确定性,而这正是企业真正想要的。他提到 Viacom 与 YouTube 的那场诉讼:双方都不在乎谁赢,他们只需要一个答案。
他不打算选赢家。他把比特币归入“模因币”的阵营,主要是因为区块大小之争在他看来蠢到不值得参与。由于很聪明的人在研究权益证明,他对它的态度有所松动。即使在分布式系统里,领导者也有用,因为人需要一张脸。以太坊有 Vitalik Buterin,Hotz 认为他之所以能成为那张脸,正是因为他是天才。他希望总统辩论会上有人问一问:第六修正案是什么,四种基本力是什么,2 的 x 次方的积分又是什么。加密世界的另一份礼物是分叉。2012 年他开玩笑说,奥巴马和罗姆尼应该同时当总统,美国人可以把流动性从一方抽到另一方。以太坊确实分叉成了以太坊和以太坊经典。他也想把公司这样分叉:一家闭源的 Comma,一家开源的,一家被通用汽车收购的,一家像安卓那样的叛逆者,然后让市场来决定。
解决自动驾驶,前提是能卖出人们愿意买的产品
Comma 的使命宣言写得很精确:解决自动驾驶汽车的问题,同时交付可以卖出去的中间产品。解决驾驶,意味着造出一个替代司机的东西:坐在驾驶座上,把你送到任何地方,安全性、速度、质量和舒适度都要达到甚至超过人类水平。它并不是要造一辆新车。第二条才是设计的关键。他在 Hacker News 上看到一句话,如今他反复引用:你可以设定任何一个任意的里程碑,并达成它,却依然离解决自动驾驶无限远。没有产品,人很容易以为自己在前进,其实并没有。收入就是诚实的机制:当有人花 1000 美元买下一台 Comma Two,公司至少提供了价值 1000 美元的东西,否则对方不会掏钱。
Comma Two 基本上就是一部手机:搭载高通骁龙 820(Qualcomm Snapdragon 820)、一套散热系统,外加一个汽车接口。它通过 USB 引出四条 CAN 总线。CAN 是汽车本来就用来互相通信的协议,读写它出乎意料地简单。软件 openpilot 包揽了神经网络之外的一切。模型本身是“一团权重”。人们称它为黑箱,Hotz 说,它就是一团权重,你还期待什么?openpilot 负责清洗输入、清洗输出、执行控制、处理传感器与标定,在倾斜的弯道上做反向修正,把日志上传到服务器,并管理发热和磁盘空间。
自上次播客以来,他兑现了一个承诺。横向策略现在几乎全部是端到端的。你可以关掉车道线,它依然能开,只是在高速公路上稍差一点,训练数据来自用户。今年他们希望对纵向控制做同样的事。数据量不是瓶颈,挑选才是瓶颈。他偏好的定义是:在监督学习中,权重取决于数据;在强化学习中,数据取决于权重。最终的状态是:每当汽车犯错,就退出自动驾驶,那段片段成为训练数据,然后发布新模型。他们还没有走到那一步。目前大约每 100 英里发生一次非计划接管,一年前是每 10 英里一次。这是 10 倍的提升,但这本身就是在假设指数式的进步。他们还需要再提升三个数量级,才能达到让系统大体可用的十万英里。指数式增长并不意味着明天就会有 100 GHz 的处理器。
请一个主教专家只是特征工程,MuZero 才是真正的解法
特斯拉把驾驶拆成数百个机器学习任务:车道检测、停车标志、红绿灯、可行驶区域、车辆、自行车、行人、定位、未来轨迹。每项任务都配有一个数据引擎来挖掘边缘案例,并配有一位可能成为该领域全球最强的工程师。Hotz 的问题是:如果你要创办一家国际象棋引擎公司,会去雇一个专门研究主教的人吗?在 AlphaZero 已经存在的世界里,这看上去很荒唐。他并不认为特斯拉的路线不可能走通,只是觉得工程量可能超出人类能完成的范围。对于通往 L5 级的路径来说,端到端要容易得多。
他把特斯拉的做法称作更高抽象层级上的特征工程,也就是任务工程。在他读来,AI 的历史是:特征工程总是输给端到端。把 Stockfish 的代码和 AlphaZero 的代码相比:后者更短、更优雅,开发时间也少得多。Fridman 的异议在于“杀戮”。AlphaZero 可以在模拟中以几乎为零的成本淘汰数十亿个失败的智能体。生物进化让人类诞生,靠的是杀死数万亿个生物。在真实的道路上,你做不到这一点。
Hotz 的答案是 MuZero。他认为,这篇论文会被记住为这个深度学习时代的基石论文。深度学习并非一切,仍缺少一些拼图,但经过一些调整,MuZero 就是自动驾驶的解法。它从观测中学习一个动力学模型,然后在这个学到的模拟器里完成推演,并在其中完成淘汰。他读这篇论文时感到,自己可以坐等解法出现。那一年,他看到了未来:神经网络会解决驾驶问题,别的什么都不需要。时间表是 2020 年代后期。这条路仍然要靠产品一步步走,因此会很慢。他补充说,L2 和它之上的各级别之间唯一的区别,是谁来承担责任,而他不想当那个负责的人。
驾驶员监控是一场对话,他愿意用 10000 美元赌特斯拉会加上它
系统越好,驾驶员就越懒。Comma 的应对方式已经是自适应的。如果车没在动,它就不强制监控。在时速 45 英里、有红绿灯、停车标志、可能还有行人的道路上,策略就收得很紧;而在一条笔直、空无一车的高速上,它会放松。这些都没有写死,由一个模型来估计风险。有人问,为什么要让监控变得不那么激进?因为如果在旁边根本不可能撞到东西的情况下也报警,人们就会学会不理它,甚至在方向盘上挂一个重物。人类始终是自适应系统的一部分。
他愿意用 10000 美元打赌,马斯克会在推出 L5 级之前,先推出驾驶员监控。如果换作他坐在那个位置,他也会公开说监控是错误的路线:你们已经在没有摄像头的情况下造出了庞大的车队,却没法告诉客户他们的车缺少你们现在认为正确的东西。凯迪拉克的超级巡航(Super Cruise)让他看到了失败模式。阳光透过车窗照进来,把摄像头晃瞎了,车子便说他没在注意前方,尽管他正直视着前方;他碰一下方向盘也无法重置注意力,于是系统强制退出。这本应是一场对话。Comma 每个月都会推出新策略,并通过 Discord 与用户协商,力度尽量激进,但要让人们不觉得被盯着。
他认为,驾驶员监控比外部感知容易,理由有两点。人脸和身体的差异,比外部世界小得多;而且对可靠性的要求也低得多。一个只有 90% 正确率的系统,依然能获得几乎全部收益,因为你训练的是一个配合的人类。一头撞上树,就没有余地了。OTA 远程升级,他说在 iPhone 上就该看得出来,正是它让这场对话成为可能。他还希望汽车通过触觉反馈传达不确定性,而不是在失败之前一直摆出很有把握的样子;他正在招聘 UI 设计师,把这一点做出来。
英伟达正在开采一个本可以像英特尔那样经营的垄断
在 Hotz 看来,特斯拉的 Dojo 不是一颗专为驾驶数据设计的芯片,这是特斯拉在走苹果的路子,要掌握产业链的每一个环节。训练硬件市场在他看来只有两个名字:英伟达和谷歌。谷歌云不是真正的选项。至少在他记忆中的版本里,它的服务条款禁止用 Cloud ML 训练自动驾驶汽车,也禁止在未经书面许可的情况下与谷歌竞争。这就剩下一家垄断。
2016 年,他是英伟达的铁杆粉丝。黄仁勋是个很酷的人,股价只有 30 美元。2018 年之后,他看着公司的管理姿态发生了变化:把生态里的每一美元都榨干,比如一张卡卖 10000 美元,而它和 699 美元的 RTX 3080 其实相差不大。从商业角度看,他认为这是在自己伤害自己。如果由他来执掌英伟达,他会以合理的加价把芯片卖给所有人,不设限制,就像英特尔在漫长的鼎盛期那样。把芯片做得过于产品化,攫取的价值就超出了公司能够持续的程度。明天的股价会涨。CEO 要想的问题是:这家公司能被挖空到什么程度。黄仁勋本应是一个有五十年眼光的人,所以 Hotz 无法把这种竭泽而渔的做法和他对上号。他的猜测是,黄仁勋听了错误的人的建议。
他对特斯拉也用同样的逻辑:卖掉加速器。任何人只要肯花钱,都能造出这种芯片;卖掉它可以换来现金,还能让世界去构建工具链,并在软件层修复漏洞。但要留住电池,电池才是与其他车企正面竞争的东西。与此同时,Comma 正在进行自己的重写:从平面世界假设(车道线会随车身俯仰)转向把一切都放进三维的模型,并把技术栈从 TensorFlow 换成 PyTorch。他们有一个粗糙的数据引擎:训练,在十万张图像上运行,挑出损失高的样本,标注一百个,然后重复。但就驾驶本身而言,人类在开车的过程中,已经为数据完成了标注。
Comma 想成为安卓:用户比特斯拉多,收入却永远赶不上
录制这期节目时,openpilot 支持 91 款车型,今年的目标是 100 款。Hotz 推荐 2020 款丰田卡罗拉,或者保留原厂纵向控制、只接管横向的 2020 款现代索纳塔。本田思域也不错,但前提是你要安装修改过的 EPS 固件,而这件事他不会在公开场合帮你。安装难度相当于宜家家具:十分钟,照着 YouTube 视频做,能组装一张桌子就能装 Comma Two。大约 60% 的用户运行原版软件,约 40% 运行分支版本。增加显示信息,或是踩油门时不再退出控制的分支,没有问题;破坏安全功能的分支会被社区禁止。
这台设备售价 1000 美元,车用线束另加约 200 美元,并提供 30 天无理由退款。他说,未来的硬件会更贵。他最看重的是留存率:70% 的 Comma Two 买家是日活跃用户。日活大约在 2000 到 2500 之间,月活超过 3000。他认为,openpilot 有朝一日可能在用户数上超过 Autopilot,就像安卓超过 iOS 那样;但 Comma 在收入上永远超不过特斯拉。特斯拉能从每位用户身上榨出多得多的钱。哪怕只有 10% 的 openpilot 设备是 Comma 官方硬件,对公司来说仍是一笔不小的钱。明年的草图是 10000 台;更远一些的草图是 100000 台,价格更高,那就开始像真正的收入了。
收购报价让他忍俊不禁。并购团队把创业公司当作外包的创新部门,还指望创始人为了一些“骗人的假美元”配合他们。尊重决定了其余的一切。通用汽车:绝不可能。现代汽车:还算说得过去。他说,日本、德国和美国的车企都觉得自己太伟大,用不着担心科技公司。在科技公司里,他最能尊重的是苹果。十年前,他因为对商业模式不认同,离开了 Facebook。在他看来,谷歌在过去五年里衰退得很快。
Waymo 的车能开,产品却不行
Hotz 参观过 Waymo,也坐过它的车。它的工程、研究,以及自建体系的规模,都让他印象深刻。在限定的地理围栏区域里,车辆运行良好,甚至能达到或超过限速行驶。在他看来,问题出在产品上,不在技术。以一位称职的 Uber 司机为基准,Waymo 大约慢 20%。有人会说它以后会更便宜,但乘客早就有了用钱换时间的办法,那就是 Uber Pool 拼车。他估计,不愿做这种交换的拼车用户大约占 15%。与普通网约车相比,这款产品没有竞争力。
在这个市场里,利润依赖垄断。他认为,就算 L4 级自动驾驶网约车的技术真能到来,它也会像电动滑板车市场那样陷入价格战。滑板车公司已经不再假装自己是实用的交通工具,转而卖起了乐趣,他认为这种坦率值得尊重。作为交通工具,滑板车和 L4 级自动驾驶出租车在他看来都说不通。被问到如果他执掌 Waymo 一年会做什么,他说会把 Anthony Levandowski 从监狱里弄出来,让他来掌舵。他是认真的。他认为 Levandowski 是天才,会比 Hotz 想出更好的主意。Waymo 已经亏空了 100 亿美元,Comma 融资 810 万美元。Hotz 想不出能还清这个窟窿的计划;计划必须是一场巨大的冒险,这正是他想要 Levandowski 的原因。
他的另一项批评是文化层面的。Waymo 过早地变得讨喜了。一家还没有交付成果的创业公司,应该像个叛逆者,把工程师推到台前,像 SpaceX 展示火箭失败那样,把失败公开出来。他不接受那些亲切友好的汽车广告。他说,广告里的人是付费演员,不是 Waymo 的用户,他找到了拍摄通告单。你若骗他,他就希望你失败;你若说实话,他就希望你成功。还没有营收,却已经募集了 100 亿美元,这违背了他仍然相信的每一条硅谷直觉:MVP 在哪里,用户在哪里,增长在哪里。他对 Fridman 说,要专注于使命。对别人傲慢,随你便;对自然傲慢,你就是个白痴。赢就是 L5 级。在那之前,你还没有赢。
给时间表开空头支票算不上撒谎,搭建一个奖励残忍的评论区才是
Hotz 不打算兜售通用的创业建议。他愿意担保的只有一句话:技术总会胜出,撒谎总会失败。凯恩斯那句“市场保持非理性的时间,可能比你维持偿付能力的时间更长”,是最明显的反驳,他没有回避,这正是你需要在身下垫着别的东西的原因。他拒绝“假装到成功为止”。诚实一点,然后希望自己能一路走到底。有实物支撑的炒作没有问题,他当年就很爱为买 iPhone 通宵排队。用谎言支撑的炒作就不行。
马斯克总是对时间表开空头支票,然后交付得更晚。Hotz 也一样,他认为这是程序员的通病。如果马斯克说一年内让火箭降落,结果花了四年,但他们一直朝这个目标努力,最终真的降落了,那就不算撒谎。只有当你明知道赶不上期限,还照样那样说,才变成撒谎。按这个定义,“胡扯”要求你清楚自己在说谎。Billy McFarland 或许也相信自己说的每一句话,而邪教就是这样开始的。你需要给自己的承诺打一个折扣系数,还需要能把你拉回来的人。Hotz 认为,人们希望别人失败,是因为别人的成功就是对自己人生的一种判决。一位 36 岁、在大公司里干了一辈子的人,必然会断定那个新奇的东西会失败,因为如果它成功了,就说明他本来也能做点别的。
评论区的人不代表总体。他自己从不发评论。推特的单向点赞让负面情绪通过回复扩散,这是它特有的毒性的一部分;YouTube 有赞踩功能,感觉好一些。如果房间里没有一堆混蛋,大多数人其实愿意开口。平台默认会朝熵增方向滑落。如果你不花力气鼓励细致的讨论,它们就会滑向混乱。小型 Reddit 社区仍保留着快乐和分歧,但那是涌现出来的,不是平台的功能。他认为推特可以被推翻,将来回头看,我们会不敢相信自己竟容忍了这么多毒性。《社交困境》比“你就是产品”这句话说得更仔细:被卖出去的产品,是对你的影响力。在真实的对话里,他会花力气观察自己是不是蠢了或刻薄了。在网上,大多数人不肯付出这个代价。奖励那些愿意付出代价的人,你可能会惊讶于有多少人会出现。
智能就是压缩,开车是通用智能的完整子集,要敢于闪耀
被问到一个完美的高产日子是什么样,Hotz 给出的却是三个日期。第一天是他重读早年的 Eliezer Yudkowsky 论奇点的文章,那时 AI 安全还没有占据整个页面:计算机的性能每 18 个月翻一番,人类的能力却不会,那张图打开了人类被淘汰的大门。第二天是 Hutter Prize。智能等于压缩。他一直在寻找智能的定义,却始终找不到;无损压缩有清晰的定义,他至今仍觉得这种等价关系很有说服力,尽管它在日常中没什么用。他花了六个月在这个奖上,之后又在 Vicarious 工作,追上了现代深度学习。第三天,是在 Gamergate 和 2016 年前夕,他读到博客《Unqualified Reservations》,作者是 Curtis Yarvin。世界突然说得通了;他有了一个框架。他并没有特意去找那些日子,所以他不认为自己现在必须做什么特别的事。他随波逐流,希望再来一天那样的日子。科罗拉多 Monarch 山口的一场暴风雪,逼得他掉头,在 Gunnison 过了一夜。那一天之所以重要,是因为它是真实的。“我的生活里,真实发生的事情本来就很少。”
GPT-3 就其本身而言很酷。它训练时优化的是逐字符的交叉熵,这套目标与通用智能所需的目标并不相同,而且这些模型没有长期记忆,只有写死的上下文宽度。他不相信把它放大后能造出火箭。驾驶比语言更接近马尔可夫过程:状态 t-1 里的大部分信息,已经包含在状态 t 中。语言会让你回过头去看第二页第三段;驾驶很少这样,除非是限速标志之类的东西。把 Transformer 放到 Comma 的感知空间上,不过是把 GRU 换成 Transformer,算不上革命。他不相信硬起飞的通用人工智能(AGI)。奇点说到底是带宽问题:世界已经联网,我们在不断提高这个网络的速度,直到它成为一个整体。驾驶是通用智能的一个相当完整的子集,这就是他在做它的原因。在 AI 领域,人太容易自欺,以为自己已经想通了什么。如果你造出了一辆 L5 级的汽车,那你就毫无争议地造出了某种东西。如果人类必须二选一,他宁愿我们去火星。他是做信息的人,所以他自己的工作也留在这一侧。
酒店房间角落里的一台 MacBook Air 就够用了。他主要用 Emacs 写代码,这是一款 1970 年代的编辑器。在花了几个月把技术栈从 TensorFlow 切换到 PyTorch 之后,他觉得自己白白浪费了好几年;Emacs 就没有这样的问题,因为喜欢就是喜欢,说不清道不明。每个人都应该学写汇编和 C,不必精通,但要足以知道计算机在做什么;然后是 Python,再然后是 Haskell 和依赖类型语言,最后是 SIMD 的世界,在那里一长串指令可以同时执行。Andrej Karpathy 把最新的范式称作“编程 2.0”;Hotz 则更喜欢数据驱动的编程。没有人是靠看一部叫《Learn Programming》的视频学会编程的。他认识的所有编程高手,都是因为有想做的事,去尝试做,然后发现电脑能帮上忙。那些问如何把机器学习用到通心粉奶酪生产上的人,问错了问题。正确的问题是:有些盒子里的通心粉不够。
书单里,《无尽的玩笑》讲的是我们正走向何方。《阿特拉斯耸肩》他不会当作文学来辩护,他说那是“色情读物”,那段 60 页的独白,兰德为了保留它不惜付钱;但它是一套人际关系的框架,而且反派的口号,确实就是共产党的口号。Greg Egan 的《置换城市》讲的是你自己的副本;《Prime Intellect 的变形记》是一部后奇点故事,读起来像是工程师写的,他第一次读是在 15 岁。每个人都应该读《神经漫游者》。《深渊上的火》和《沙丘》也被提到;《基地》则让他觉得太现代主义了。对他来说,爱可以分成三类:阿片、催产素,以及对数学的爱。他对前两者都不以为然,理由和他不吸食阿片或摇头丸一样:有伦理的生活,就是有成效的生活。迷幻药并不是唯一能带来启发的东西。每种药物都会教你一些东西,但你学到的是自己,不是世界。进门看一次就够了,不必一直往里走。他大概一年会再尝试一次小剂量。学习率调得大,有好处也有坏处。按疯狂程度从一到十打分,他给自己打了七分,然后又怀疑这个打分标准。精神分裂和严重的双相障碍是真实存在的。多动症和对立违抗障碍看起来只是正常人类谱系的一部分。他的直播观众以为他总在嗑药。其实他只喝了一杯咖啡,其余都是他大脑的正常运转。要敢于闪耀。不要让你大脑里的限制,把你压进社会说你应该成为的那种模子里。
同频道的其他文章
3:36:56EN → 简体中文
5:15:51EN → 简体中文
3:12:58EN → 简体中文
3:46:18EN → 简体中文
3:51:47EN → 简体中文
2:53:42EN → 简体中文