30 秒看懂
在 Lex Fridman 播客中,斯坦福大学计算机科学家 Daphne Koller 解释了为什么真正的治愈如此罕见,为什么动物模型常常失败,以及 insitro 如何通过生成机器学习真正需要的数据集来扭转药物发现的思路。她讲到了诱导多能干细胞(iPS 细胞)、CRISPR 扰动和类器官(organoid),随后回顾了 Coursera 的起源,以及 5 到 7 分钟一节课的教学思路。对话最后谈到了校准的不确定性、通用人工智能(AGI)为何离幼儿水平还很远,以及一种想在宇宙中留下印记的人生。
- 1阿尔茨海默病、精神分裂症和 2 型糖尿病,几乎都是多种机制的混合体,只是在临床上看起来相似。因此,按表型招募受试者的试验,会把真正有效的药物平均拖成失败。
- 2Koller 的父亲死于一种累及肺部的自身免疫性疾病,当时唯一能用的药是泼尼松;做活检也不会改变治疗方案。病房里能用的手段就这么少。
- 3小鼠自然状态下不会得阿尔茨海默病、糖尿病或精神分裂症。在动物身上治好一种复制出来的表型,通常无法转化到人身上,大多数药物就折在这一步。
- 4全世界的 iPS 细胞存量只有五千到一万份。在固定的遗传背景上做精准的 CRISPR 编辑,可能比粗略观察无数病人更有信息量。
- 5神经网络离训练数据越远,就越容易出错,也越自信,这种失效模式在诊断和驾驶中都可能致命。
- 6今天的模型在训练分布之内是出色的模式识别器,一旦超出分布就完全卡住。离幼儿那样的灵活性我们还差得远,但比它笨得多的复杂系统,已经引发过金融崩盘。
按章节阅读完整文稿
真正的治愈很少,多数重大疾病的机制理解仍接近零
Lex Fridman 开场抛出两个很大胆的问题:我们有朝一日能治愈所有重大疾病吗?人的寿命能延长到长生不老吗?Koller 不认同“永远做不到”这类说法,她认为那是狂妄。“有朝一日”是一段很长的时间。治愈之所以仍然很难,还有一个人们常常忽略的原因:等到发现一种疾病时,很多损伤已经造成了。若要在这个阶段实现治愈,就得假设我们能把身体的部分组织再生回原来的状态,这是一个极具挑战性的问题。
她提到,人类治愈的疾病非常少。治疗手段在不断增加,但能够真正称得上“治愈”的病种仍然很少。如果用 0 到 100 分衡量对基本机制的理解程度,不同疾病的情况差别很大。生物学太复杂了,100 分几乎不可能达到,因为总有新东西冒出来,而且很多东西之前根本没有人想到它们存在;但有些疾病可能处在 70 多分或 80 多分。她说,大多数疾病其实都非常接近 0 分。
阿尔茨海默病离 0 分比离 80 分更近。虽然有各种假说,但都没有得到充分验证,越来越多的人怀疑,传统的解释并不能说明实际发生的事情。精神分裂症几乎肯定也接近 0 分。2 型糖尿病的情况比较复杂:胰岛素抵抗已被认为是相关因素,也得到了验证,但仍有很多机制不清楚。她更深一层的观点关乎分类。阿尔茨海默病、精神分裂症,甚至 2 型糖尿病,几乎都可以肯定是多种机制的集合,只是它们在临床上表现相似,看起来像同一种病。乳腺癌也是这样,后来发现它是多种细胞路径导致细胞不受控制地增殖的结果。
Koller 坚持认为,弄清这一点必须先于寻找具体机制。如果一个临床诊断标签其实对应十种疾病,那么针对其中一种机制的药物,在另外九种里都会失败。试验是按表型招募受试者,并不区分分子亚型,然后把结果平均起来,宣布失败。这种药可能对它本该针对的那部分病人确实有效。
值得追求的是健康跨度(healthspan),长生不老不在其列;衰老与疾病只有部分重叠
被问到疾病研究与长寿研究是否完全重叠时,Koller 表示,两者的机制肯定有交叉,但并不完全相同。除了儿童疾病,大多数疾病的患病风险从大约 40 岁起每年呈指数级上升,这条曲线就是人们熟知的关联。衰老在没有任何具体疾病的情况下也会发生,而有些疾病机制与衰老几乎没有关系。
在细胞层面,她已经能列出一些磨损的表现:细胞分裂时积累的 DNA 损伤,修复过程又无法完全纠正;错误折叠、聚集在一起的蛋白质;以及这些过程又会推动的炎症。她确信还有很多机制尚未被发现。Fridman 由此岔开,提出一个哲学层面的看法:死亡是一种让新事物得以生长的机制,也是一种学习,既悲哀又美丽。然后他问,她会不会选择长生不老。
她说,“长生不老”就是一段非常漫长的时间,未必是她想要的。大家真正追求的是更长的健康跨度,也就是更多年保持健康、精力充沛,感觉像 20 岁时那样。人会在身体和头脑上逐渐衰退,这很令人难过。一个很好的社会目标,是活到《圣经》里说的 120 岁,并且生活质量很高。到底是 100 岁、120 岁还是 150 岁比较合适,值得讨论;但放在宇宙的时间尺度上,这些年头都很短。
机器学习在药物发现中几乎没起过作用,因为合适的数据集一直不存在
到目前为止,Koller 认为数据和机器学习在理解疾病、消除疾病方面还没有起到什么大作用。强大方法所需要的数据集其实一直不存在,只有零零碎碎的一些数据,有些有趣的数据科学研究,但谈不上一场革命。过去几年开始有所改变:数据集越来越大,同样重要的是,出现了能够大规模产生数据的技术。
这些工具几乎从来没有被刻意用来为机器学习生成数据。生物学家产生数据,是为了推动科学发现;机器学习只是附带的产物,是第二阶段稍微更花哨一点的分析。Koller 在 2018 年创办的公司 insitro 则把顺序倒了过来。把细胞生物学家和生物工程师已经发明的各种方法拿来,以新的方式组合起来,然后生成数据集,让机器学习真正能在上面建立强大的预测模型,服务于人类健康。
Fridman 试着概括说,就是把数据放在首位。Koller 纠正他说:数据是手段。最终目标是帮助人类健康。他们选择的方法是预测模型,而这些模型,尤其是更强大的那些,只有在数据的规模和质量都足够的前提下才管用。这就是为什么他们要从实验台上产生数据的那一端开始。
病房里唯一能用的药是泼尼松
她对健康领域的兴趣可以追溯到 2000 年代初。那时,机器学习的同行还在对 20 Newsgroups 数据集做分类,那是一堆词袋,而那个概念如今几乎已经不存在了。生物学数据集即使规模很小,在技术上和理想上都更有意思。她想做对社会有用的工作,后来对生物学本身越来越感兴趣,有时发表的论文里几乎没有机器学习的内容。
药物研发对她来说变得切身,是在这次访谈大约 12 年前,那时她的父亲去世了。他患的是一种自身免疫性疾病,病灶落在了肺部。医生说,他们能做的只有一件事:给他用泼尼松。有一次,一位医生建议做肺部活检,以查明他到底是哪一种自身免疫性疾病。Koller 问,这样做会不会改变治疗方案。答案是不会,泼尼松是唯一的选择。后来,做风湿科的朋友告诉她,如今美国 FDA(食品药品监督管理局)绝不会批准泼尼松,因为它的副作用与疗效的比例大概不够理想。
如今,根据自身免疫性疾病的不同,已经有多种药物可以帮忙,其中很多在 12 年前还不存在。她认为,现在是研发更安全、更有效药物的黄金时期。缺的是对生物学和机制的足够理解,以便知道该把这台引擎对准哪里。她说,这正是机器学习能够帮上忙的地方。2016 年 8 月,她在一篇博客文章中宣布从 Coursera 退下来:是时候转向另一个关键挑战了,即把机器学习应用于人类健康。这次对话是在新冠(COVID-19)疫情暴发之前录制的。
动物模型复制的是表型,没有复制机制——小鼠本来就得不了阿尔茨海默病
insitro 的押注,Koller 称之为“培养皿疾病模型”(disease-in-a-dish model),适用于那些常规动物模型行不通的疾病。动物模型通常是小鼠,先用外部手段人为造出一种疾病,然后尝试治愈它,希望由此得出的结论能推及外表相似的人类疾病。问题在于,动物是通过何种方式生病的,往往和人类疾病的成因毫无关系。它复制的是表型,是临床结果的一个副本,但底层机制可能大不相同。
小鼠自然状态下不会得阿尔茨海默病、糖尿病、动脉粥样硬化、自闭症或精神分裂症。在这些动物身上取得的治疗效果,通常无法转化到人身上,这正是大多数药物失败的地方。培养皿疾病模型是在过去 5 到 10 年才变得可行的。取一个人的细胞,比如一个皮肤细胞,把它逆转为多能干细胞状态,再分化为你需要的细胞类型:这个人的神经元、心肌细胞或肝细胞,带着这个人自己的基因。
如果某种疾病的遗传负担会在那种细胞类型中体现出来,你就可以比较患病细胞和健康细胞,测试那些可能把病变细胞拉回正常状态的干预手段。治愈细胞并不等于治愈病人,可转化性(translatability)的缺口依然存在。对于由人类遗传因素驱动、进而表现为细胞表型的疾病,有理由希望:把疾病起源的细胞逆转回去,能够改善更多整体性的临床表型。这一逆向步骤用的是山中因子(Yamanaka factors)。她说,在这项成果出现之前,很少有人能预料到它是可行的。最初这个过程很挑剔,现在已经几乎实现了工业化:合同研究机构接收人体样本,把它们逆转回去,而且成功的比例相当高。细胞也并非总是完美的,它们有时会残留一些“记忆”,比如自己曾经是皮肤细胞,或者受过环境暴露的影响,但总体上相当不错。
只要能用 CRISPR 编辑一个基因组,就不需要 100 万名病人
把细胞逆转为干细胞,目前还不是几万到几十万规模的操作。Koller 上次查看时,全世界的诱导多能干细胞存量在五千到一万之间,再加上学术界冰箱里存放的那些。在这种情况下,你不可能从 100 万人身上生成 iPS 细胞。也许你根本没有必要这么做。
有了 iPS 细胞这个起点,就可以对它施加扰动。过去十年的另一个奇迹是 CRISPR 基因编辑。取一名健康人的细胞,引入一个已知的致病突变,然后在其他条件全部保持不变的情况下,把健康细胞和突变细胞逐一对照。你就能具体看到,这个突变在细胞层面到底起了什么作用。多样性当然更好,族裔背景很重要,但你未必需要为每种疾病的每一位病人都准备一条细胞系。
人与人之间的差异,一部分来自基因型不同,另一部分则出于尚未完全弄清的原因:有些人的干细胞分化得比别人更好。真正重要的差异在于疾病负担:有些人携带更多致病变异,较少携带保护性变异。多基因风险评分(polygenic risk score)就是把这些变异加总起来。对于研究得足够充分的疾病来说,风险最高十分位组的人,可能比风险最低十分位组高出 10 到 12 倍。遗传因素并不能解释全部,但信号确实存在。她认为,从这些基因组衍生出来的细胞中,信号还要更多。原则上,所有信号都在 DNA 里;但实际上,我们对生物学的理解非常有限,因此观察细胞,比盯着序列看,要接近临床结果得多。
数一数转录本,软塌塌的细胞就变成了数字
Fridman 提出了一个外行的问题:细胞是软塌塌的,怎么把它们接入计算机?过去十年的另一场革命,是能够对细胞进行定量测量。Koller 在 1990 年代末和 2000 年代初开始接触生物学时,微阵列芯片可以在一次实验中读出样本里每个基因的表达情况。正是这项技术揭示了癌症的分子亚型。在那之前,诊断只能说“你得了乳腺癌”;而分子数据显示,在基因活性层面,这些亚型可能看起来完全不同。
如今,单细胞 RNA 测序能够对每个细胞里的每个基因的 RNA 进行测序。字面意义上说,你就是在数转录本。这就把软塌塌的东西变成了数字。超分辨显微镜通过数字重建,能够显示细胞内部的结构,有时甚至能分辨出低于光学衍射极限的细节。很厉害的科学家还在不断发明新的单细胞读出方法。这些数据集可以用三种方式使用。第一种是逆向的:观察细胞表型,然后借助已知的生物学知识,推断哪些基因和通路可能导致它。第二种是正向的:扰动某个基因,看表型是否与病人相似,如果相似,就说明该基因可能是致病原因。insitro 走的是第三条路:把大量数据集合丢进机器学习,找出临床上看起来相似、但在分子数据上彼此不同的亚型,然后施加一种药物或 CRISPR 干预,看疾病状态是否会朝健康细胞的方向逆转。
第三条路的假设驱动程度要低得多。它可能会发现一些干预手段,其靶点与其他人正盯着的目标并不相同。之后仍然需要验证。Koller 不会承诺他们一定能治好某种疾病,她更希望先交付成果,再做承诺。在以下情况下,这种方法更有可能奏效:疾病有很强的遗传基础,细胞模型足够可重复、能在低噪声下生长,而且相关生物学可以被限制在一种或几种能放进培养皿的细胞类型中。广泛的、全身性的、远端的东西,很难硬塞进体外实验中。生物工程师们不断改进这些系统:五年前,干细胞衍生的模型几乎还不存在,人们只能用癌细胞来做研究,而癌细胞对大多数人体生物学来说是很糟糕的模型。现在出现了类器官,也就是小小的多细胞器官系统,有脑的、肝的,也有肾的。脑类器官也许是她见过的最酷的东西。把它们连接成多器官系统仍然很难;三到五年后,会出现一些今天没人能做出来的疾病模型。那些经过反复传代、基因组已经不稳定的癌细胞系,代表的不是这样的未来。
一篇《纽约时报》的文章,没有广告投放,几周内就涌入十万名学生
话题转到 Coursera,它是 Koller 与 Andrew Ng 共同创办的公司。它的起源可以追溯到 2000 年代末斯坦福大学的一些实验,探索如何在线授课,同时兼顾质量和规模。Ng 主持了 Stanford Engineering Everywhere 项目,把 10 门斯坦福课程以视频讲座的形式放到网上。Koller 则牵头做了另一项工作,把课程拆分成更小的单元,并嵌入互动环节。大学领导层很看好这种做法,认为它是通往如今所说的翻转课堂(flipped classroom)的一条路。
这些尝试相互促进,迸发出一股能量。2011 年秋天,斯坦福的第一批 MOOC 上线了。MOOC(大规模开放在线课程)这个缩写不是她发明的,她也不太喜欢它,就像“大爆炸”并不是宇宙起源的好名字一样,但既然已经这么叫了,也就只能用。当时并没有真正做宣传,只是一篇《纽约时报》的文章迅速走红。几周之内,每门课都有约 10 万名学生,甚至更多。
她记得和 Ng 的那次谈话:这里确实有真实的需求。他们两人都是成就很高的学者,本可以回去继续写论文。如果那样做,这件事就不会发生,而他们觉得它太重要,不能就这么不了了之。他们在几种方案之间权衡过:斯坦福内部的项目、营利性公司,还是非营利组织,最后选择了 Coursera 这条路,从 2012 年初开始以公司的形式运作。在她看来,人们渴求的并不只是全球化。世界变了。50 年前,大学里学到的技能基本够用一辈子的职业生涯。如今,许多工作需要的技能,在你上大学时还不存在,而那时存在的许多工作正在消失。AI 只是其中的一部分。人们需要的是随时获取当下所需技能的途径。
要能趁在儿科候诊室排队的空当看完,视频就得控制在 5 到 7 分钟
他们对教学的认识,分成两类:一类是能够反过来用到校园里的想法,另一类是专门针对那些在忙碌生活中学习的人的想法。短一点更好。在职人员没法腾出一个 15 周的学期。MIT 的 OpenCourseWare 录制的是课堂讲座,每节大约一个半小时;有些人确实从中受益,但如果你有工作、有三个孩子,还要处理各种杂事,这种形式就很难消化。他们先做短模块,后来又把模块做得更短。如果你想趁着排队给孩子看病的空当学习,15 分钟仍然太长。5 到 7 分钟才管用。
课程也应该短,切分成有自然完结点的单元,让人感觉离完成一件有意义的事情很近,并且可以在第二部分回来继续学。压缩内容之所以有效,是因为需要慢节奏的人可以倒回去重看。内容播放期间的参与很重要,反馈越快,学员就越不容易中途离开。在讲座中穿插小测验,以及自动批改的练习,是她一开始就有的直觉,后来得到了数据的验证。他们甚至做过关于性别偏见的 A/B 测试:一位女性讲师作为榜样,能够改变 STEM 课程中男女学生的比例,这种实验在校园里很难做。
就讲座形式而言,简短并不是白来的好处。人需要时间去消化、停顿、反思和练习;MOOC 只给一小块内容,然后就要求你去运用。翻转课堂则是在课前用视频和练习,让面对面的时间可以用在更深入、往往是小组协作式的问题解决上。要超越那种站在讲台上絮絮叨叨讲一个小时十五分钟的教学,需要多得多的准备。她不认为 MOOC 会取代面对面教学。学习往往是社交性的;Coursera 的学员会自发组成学习小组,而那些加入小组的人学得更好。录制的音乐也没有取代现场演出。高中和大学之后的继续教育,会越来越多地搬到线上,因为对大多数人来说,回学校读书并不是一个选项。
对想进入机器学习领域的人,她的建议是:先动手去学,但不要跳过数学、统计和编程这些基础。她见过一些人,没有打好这些基础,就在网上或学校里学机器学习,然后只会照葫芦画瓢地转动现成的模型。他们无法创新,也没法针对手头的问题做调整;更糟的是,他们有时其实是错的,却察觉不到结果中的假象。然后去找实际问题,可以是工作中的,如果没有工作数据,就去 Kaggle 上找,再找一个人一起解决,这样你们可以互相碰撞想法,纠正彼此的错误。多练习。
端到端训练和可复用的表示是最美的想法,过度自信的网络则最危险
被问到深度学习中最美的想法时,Koller 举出两个。第一个是端到端训练:从原始数据一直到你真正关心的结果,整条链路都可以训练。它不必是一整块不可分割的庞然大物,你可以引入在其他任务上训练过的组件,但中间那一大团黑箱并不理想。关键在于整条链路能够被训练。第二个是学习一种表示,即使它是为另一个任务训练的,也能让新任务的起点快得多。这有点像人之所以能成为成功学习者的原因。它在机器学习中还算比较新,以今天的能力来看,仍然没有得到充分利用。
神经网络真能奏效,这件事是否令人惊讶?她惊讶的是,只要数据足够多,就能在极高维的空间里找到有意义的表示。她职业生涯早期,数据集很小,她当时认为,要得到有意义的答案,就需要一个受约束、富含知识的搜索空间。在当时,这是对的。现在的开放问题是,完全不依赖知识的方法会不会成为解决方案。就目前而言,它还不是:用于图像的卷积网络,和用于语言、语音或生物学的网络差别很大,结构设计上仍然需要融入一些洞察。会不会出现一种通用的学习机器?她不知道。她想知道,洞察是否总要以某种方式注入进去,还是说这个要求最终可以逐渐消失。
许多模型都有一个局限,包括她多年研究过的概率图模型和贝叶斯深度学习:它们给出答案,却无法可靠地告诉你该有多相信这个答案。神经网络给出的置信度校准得很差:0.8 和 0.9 之间的差别,并不能真实地反映可靠程度。更糟的是,你离训练数据越远,网络往往就越错,而且对这个错误答案越自信。在医学诊断中,这可能会致命。用某一类病人群体训练,然后输入一个网络从未见过的异常样本,它可能会以极高的自信给出完全错误的诊断。开车时,你希望网络能说:它不知道路上那团东西是什么,于是停下来,而不是撞上一个它认不出来的行人。
现在有人在尝试贝叶斯深度学习、高斯过程,以及在不同数据子集或随机初始化下训练的集成模型,它们有时在表达置信度方面出奇地好。这仍是开放的研究。她说,Stuart Russell 提出的观点,即更强大的系统应当充满自我怀疑,是对的,尤其是在涉及人命的时候。系统需要能够说:这个实例我放弃,因为我从没见过足够相似的东西。
离幼儿水平还差得远,但我们已经被比它笨得多的系统伤到过
谈到通用人工智能,Koller 把可行性、时间表和防护措施分开来讨论。这是一个由来已久的梦想,从图灵测试开始就有了。我们比 70 年前近了很多,但仍然非常遥远。今天的算法,在有足够训练数据的特定领域里,是出色的模式识别器。哪怕只是同一问题的一个不同版本,更别说换一个问题,它们就会彻底卡住。“我们离人类幼儿的通用性和灵活性还差得很远”:幼儿能在不同问题之间切换,用同一个大脑解决不同的问题。
她并不十分担心机器会接管宇宙,为了权力而杀人。在我们甚至还看不清那会是什么样子的时候,去设计针对人类水平甚至超人类智能的防护措施,似乎有些空想。我们确实已经在比它笨得多的系统上惹过麻烦,也很可能还会再惹。我们构建的系统越来越复杂,也越来越难以理解;微小的改动,会产生剧烈而难以预料的连锁反应。这并不是 AI 独有的问题。电网非常复杂,运行金融市场的软件也非常复杂。没有预料到的反馈回路,已经造成过金融崩盘。AI 让问题更加严重,但根源在于复杂性和难以理解。
有两种工程上的应对很重要:更好的可解释性,以及更好的泛化能力测试。你不可能在每一座城市、每一个村庄、每一种天气下都测试一辆车。如果一个系统在一组条件下训练,并且能在 50 或 100 种差别很大的条件下正常工作,我们就有理由相信,接下来的 50 种条件也可能行得通。另一个威胁是滥用。任何强大的技术都可能被用坏:抛射武器变成了枪械,核能变成了核弹。在她看来,如果被用坏,基因编辑和 CRISPR 至少和机器学习一样危险。人们可能制造出非常可怕的病毒。Fridman 补充了安全攻击、监控和杀人无人机。她说,想杀人的人总会找到办法;问题在于我们如何处理这些强大的工具。
多数人本意是好的,而拥有特权的人生,就应该在世界上留下印记
就长期趋势而言,也就是战争更少、暴力更少、人权更多,Koller 总体上是乐观的。多数人本意是好的。这和乐善好施的利他主义者并不是一回事,但多数人并不打算去伤害别人。社会仍然需要建立这样一种规范:做好事与被同伴认可之间是正相关的。打造一个失调的社会很容易。心理学实验,以及不幸的现实事件,都表明人们可能会堕落到这样一种境地:同伴的赞许与残暴的、往往是种族灭绝式的行为相伴而来。
她担心,有些社会在这个维度上并没有向前走,做一个好人,并不总是能让你在同伴眼中显得出色。人很容易滑入这样一个世界:做了非常恶劣的事,却依然被同伴视为了不起。这和她一生投身的那些技术一样,本身就是一个需要加以控制的问题。
是什么让她的生活有了意义?2011 年秋天,他们开始筹办 Coursera 的时候,乔布斯刚刚去世,媒体上满是他的语录。其中有一句让她记住了,因为它与她心里早有的感受相吻合:人生的目标应该是在宇宙中留下一道印记。她希望在临终时,能指出自己让世界变得比原来更好的那些地方。她也这样告诉自己的孩子。她补充说,对生来就有特权的人而言,这份责任更重。她并不算非常富有,但她在受过教育的家庭中长大,父母爱她,她有机会接受很好的教育,也衣食无忧,这已经比绝大多数人拥有的特权要多得多。她的孩子拥有的就更多了。对于拥有这种机会的人来说,用一生让世界变得更好,正是意义所在。
同频道的其他文章
3:36:56EN → 简体中文
5:15:51EN → 简体中文
3:12:58EN → 简体中文
3:46:18EN → 简体中文
3:51:47EN → 简体中文
2:53:42EN → 简体中文