30 秒看懂
Hannah Fry 与 Thore Graepel、Pushmeet Kohli 讨论 AlphaGo 对阵李世乭、自我对弈、算法发现,以及验证和解释 AI 生成结果的必要性。
- 1比赛AlphaGo 以四比一赢得 2016 年比赛。
- 2搜索与学习学习得到的评估引导对未来棋步的搜索。
- 3第 37 手令人意外的一手在眼前地盘和影响力之间作出权衡。
- 4第 78 手李世乭的一手暴露了弱点并帮助他赢得第四局。
- 5自我对弈AlphaZero 在游戏规则内通过自我对弈学习。
- 6AlphaTensor 的结果所引用的矩阵结果有具体的数学范围。
- 7验证提出假设与检验假设是不同步骤。
要点建议
- AlphaGo 以四比一赢得 2016 年比赛。
- 学习得到的评估引导对未来棋步的搜索。
- 令人意外的一手在眼前地盘和影响力之间作出权衡。
- 李世乭的一手暴露了弱点并帮助他赢得第四局。
- AlphaZero 在游戏规则内通过自我对弈学习。
- 所引用的矩阵结果有具体的数学范围。
- 提出假设与检验假设是不同步骤。
按章节阅读整理后的全文
围棋的挑战
这场比赛的意义及 AlphaGo 的下法。
2016 年首尔 AlphaGo 对局十年后,Hannah Fry 与 DeepMind 研究员 Pushmeet Kohli、Thore Graepel 回顾比赛、背后的技术思想及其后来在科学研究中的应用。
AlphaGo 以四比一击败李世乭。[比赛记录](https://deepmind.google/research/alphago/)包括 AlphaGo 第二局令人意外的第 37 手,以及李世乭第四局广受赞誉的第 78 手。
围棋爱好者 Graepel 介绍了这项游戏的魅力:简单规则产生庞大的战略可能性空间。挑战在于不穷尽搜索所有后续变化,也能选择有希望的棋步。
加入 DeepMind 后,Graepel 与早期 AlphaGo 对弈。他回忆自己因系统学习过职业棋局而刻意避免奇怪走法,结果仍然落败;他称这让人谦卑。
Kohli 解释每一步为何都会使搜索空间快速增长。AlphaGo 将对局面和棋步的学习评估,与前瞻可能后续变化的搜索过程结合起来。
嘉宾将这些组件类比为直觉和深思:前者把注意力集中到有希望的棋步,后者探索后果。这是对系统功能的类比,并非声称其内部体验与人类相同。
首尔比赛前,AlphaGo 与欧洲冠军樊麾对弈。Graepel 回忆自己怀疑系统能否取得决定性胜利,而一位同事预测会全胜;内部评估帮助团队校准预期。
首尔对局
李世乭、第 37 手和第 78 手。
李世乭是那个时代最顶尖的职业棋手之一,比赛吸引了广泛关注。团队可以与能接触到的棋手测试,但无法事先知道对阵李世乭的最终结果。
Graepel 回忆第一局前的紧张,以及何时停止修改系统这一难题。继续调优可能提高表现,也可能在公开比赛前引入不稳定性。
第一局中,观察者并未立即就谁领先达成一致。随着后期地盘逐渐明朗,AlphaGo 的优势也变得更明显。
Graepel 记得,一位职业棋手起初批评某一步,后来看到后果后重新考虑。对他来说,这早早表明系统可能提出熟悉模式之外的想法。
第二局中,AlphaGo 的第 37 手让解说员大吃一惊。Graepel 将它解释为在眼前地盘与中央影响力之间作出的不同寻常的权衡,而非边缘常见的局部交换。
这步棋的价值直到对局继续后才更清楚。嘉宾用它说明,系统可能提出专家起初觉得违反直觉的有用棋步,而人们仍需分析和讨论它为何有效。
AlphaGo 赢得前三局后,李世乭在第四局下出第 78 手。这步不同寻常的挖棋暴露了系统应对中的弱点,并帮助他赢得该局。
研究者对李世乭在巨大压力下找到这步棋表达敬意。他的胜利也表明,一个表现出色的系统即使总体赢得比赛,仍可能存在弱点。
嘉宾回忆围棋界反应复杂:人们既为新想法兴奋,也担忧机器实力对这项游戏的意义。他们说,棋手后来使用 AI 工具研究局面和复盘。
通过自我对弈学习
AlphaZero 与新策略。
讨论转向 AlphaZero 及其自我对弈方法。与最初 AlphaGo 从人类棋局开始学习不同,AlphaZero 利用游戏规则,通过自我对弈学习棋类策略。
起初,对弈基本没有经验;通过反复比赛与反馈,系统学习哪些选择和局面更可能带来胜利。搜索和学习在规则明确的游戏环境内相互促进。
嘉宾描述系统重新发现熟悉的开局模式,后来又偏好其他走法。他们想说明,系统的目标可能引导它超越传统人类下法,但结果仍取决于规则、训练和计算资源。
他们回顾团队的希望:为围棋开发的技术最终可能帮助解决更广泛的问题。Kohli 回忆,能够协助解决困难科学与工程问题的 AI 系统曾吸引他。
从游戏到科学
算法发现、验证与解释。
Kohli 指出,搜索是许多问题中的共同成分。科学或工程任务需要合适的表示、目标以及检验候选解的方法,类游戏方法才可能发挥作用。
AlphaTensor 将矩阵乘法算法发现重新表述为搜索问题。智能体提出分解方案,并因找到操作更少或在选定标准下性能更好的正确算法而获得奖励。
[AlphaTensor 论文](https://www.nature.com/articles/s41586-022-05172-4)报告了有限域上 4×4 矩阵相对于两层 Strassen 算法的一项具体改进。论文并未声称所有矩阵乘法在五十年间都没有改进。
两人讨论将相关搜索思路应用于算法和物流。实际收益必须针对具体问题和硬件测量;数学上步骤更少的算法不一定在所有环境中都更快。
Graepel 指出,以最大化获胜概率为目标的系统,可能与追求较大领先优势的人类作出不同选择。看似奇怪的行为可能源于目标不同,不一定是错误。
Fry 询问如何区分原创洞见与幻觉。Kohli 强调生成器与验证器模式:先提出候选,再在存在可靠规则或评估函数时检验它们。
代码通常可以用测试检查,形式化数学证明也可以由机器核验。但测试集可能不完整,许多开放科学问题也缺少简单的验证器。
讨论区分正确性和解释性。经过验证的结果可能是有效的,但仍难以让人理解;科学也需要能把结果与已有概念联系起来的解释。
嘉宾讨论 AlphaProof 与形式化验证。DeepMind 的 [2024 年报告](https://deepmind.google/blog/ai-solves-imo-problems-at-silver-medal-level/)描述了数学竞赛结果及专家评估;不应将其泛化为任意开放问题都已解决。
Kohli 认为,数学家和科学家在选择值得研究的问题、解释输出并将发现置于背景中时仍不可或缺。自动证明检查回答的问题,与结果为什么重要是不同的。
嘉宾重新讨论从人类示例学习,与通过环境交互改进之间的区别。他们认为强化学习和验证可以有益地补充基于已有数据训练的模型。
他们将 AlphaGo 描述为系统在特定领域超越人类表现的转折点。Fry 最后追问,未来系统如何产生新洞见,并将真实发现与错误区分开。
同频道的其他文章
38:10EN → 简体中文
44:25EN → 简体中文
44:41EN → 简体中文
10:52PT → 简体中文
53:05EN → 简体中文
42:38EN → 简体中文