谢青池：从经典论文看 AI 的技术变迁

谢青池说，读懂论文后，就能更直接地理解研究者的分享，接触推动技术发展的思想。张小珺指出，找到值得解决的核心问题同样关键。

张小珺介绍，本期嘉宾谢青池是美团光年之外的产品负责人。他花一年多时间阅读两百多篇 AI 论文，希望把自己的探索过程分享出来，帮助更多人理解技术背后的脉络。

谢青池说，自己本科和研究生都学过计算机，毕业后在豆瓣做产品，也经历了多年创业。GPT 的出现让他感到行业边界正在变化，于是开始系统学习 AI 的基础知识。

他认为，产品经理往往要在既定技术边界内寻找好的解法；当边界变化，最优产品也可能随之变化。读论文是他理解这些边界、寻找较长期基础知识的一种方式。

阅读之前，他重新补习线性代数、概率论、随机过程等数学知识。英文论文也带来困难：刚开始花太多精力处理语言，而不是理解 AI 的问题。

谢青池后来使用翻译工具辅助阅读，并在学习过程中向 AI 提问。他把这描述为用 AI 学习 AI：工具降低了语言门槛，但理解和判断仍需要自己投入。

张小珺问，他身边是否有读论文的环境。谢青池说，同龄产品经理中系统读论文的人不算多，但他有计算机学习背景，也一直认为理解技术边界是产品工作的基础能力。

他回忆在豆瓣做社区产品时，也曾系统阅读城市规划和建筑方面的研究，希望从城市发展与公共空间的经验中获得社区治理的启发。

他认为，移动互联网时代许多产品建立在相对成熟的技术之上；在这次访谈时，AI 的边界仍在快速变化，因此追踪研究进展对产品判断尤其有价值。

谢青池说，读论文最难的地方常常不是某个细节，而是不知道作者为什么要这样做。他试着还原当时遇到的问题、选择的方法，以及工作对后续技术路线的影响。

除了按时间梳理，他还关注研究者的个人轨迹：他们早年研究什么，如何进入工业界，又如何在不同工作之间形成联系。这让技术史不只是论文标题的列表。

另一个视角是范式变化。谢青池认为，研究通常在已有框架中向前推进；当旧方法遇到解决不了的问题，或者原本的支线取得明显进展，新的范式可能走到中心。

在工具方面，他推荐翻译插件帮助阅读英文资料，也建议把 AI 当成可以追问的学习助手。对于模型回答中的错误或幻觉，他建议比较不同模型并回到原始材料核对。

他还提到用模型生成可视化解释，以及在阅读时针对不懂的术语即时提问。不同模型的能力会变化，工具的价值在于帮助学习者跨过具体障碍。

在系统学习资源中，他推荐吴恩达的机器学习课程、李宏毅的课程，以及 Andrej Karpathy 的讲解。他也建议通过李沐的论文精读系列深入理解选中的论文。

谢青池喜欢 3Blue1Brown 对数学和神经网络的可视化解释，也提到其他中文创作者对学习方法、GPU 和基础设施的讲解。视频的优势是入门相对友好。

书籍则更容易形成体系。他推荐《动手学深度学习》的 PyTorch 版本及其配套讲解，也建议数学基础不足的读者补习概率论和线性代数。

他认为，读到更深入的论文时，数学基础会帮助读者理解公式和符号。翻译工具也能让更多人接触英文资料，但语言便利并不能替代理解。

在正式讲解前，谢青池把深度学习发展归纳为芯片、基础设施、数据和模型结构四个要素。接下来分模型范式、基础设施与数据、语言模型、多模态四条线展开。

他从早期 GPU 讲起：为图形渲染设计的硬件逐渐变得可编程，研究者开始考虑，能否把其并行计算能力用于图形以外的问题。

在他介绍的历史背景中，GPU 的并行结构让浮点运算能力快速增长，而科学计算、数据处理和早期神经网络也有大量可以并行的工作。

直接为早期图形硬件编程并不方便：开发者面对低级接口、有限抽象和硬件差异。Brook for GPUs 试图通过更高层的语言与工具，让这些计算更容易表达。

谢青池介绍论文作者 Ian Buck 及其团队，并把这项工作放在通用 GPU 计算的发展脉络里。其核心是把底层硬件细节抽象出来，方便开发者编写并行程序。

Brook 使用流、核函数和规约等概念，并配套编译器与运行时。谢青池把它视为理解后来 GPU 软件生态的一块重要拼图，而不是把它与 CUDA 当作完全相同的产品。

从 GPU 编程走到深度学习，谢青池接着介绍 2012 年的 AlexNet。Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 的工作，把较大的神经网络与 GPU 计算结合起来。

他强调 Krizhevsky 的工程贡献：当时 CUDA 编程仍不容易，高效利用 GPU 本身就是挑战。团队使用多张 GPU 来训练模型。

这一突破也离不开数据。谢青池介绍李飞飞团队建立的 ImageNet 数据集和相关图像识别竞赛；在深度学习取得突破前，很多方法依赖人工设计的特征。

他用比赛的变化说明范式转换：在传统特征工程框架里，研究者已经做了大量优化，但神经网络结合更多数据和计算后，展示出不同的改进空间。

谢青池说，AlexNet 同时扩大了训练数据、计算和模型规模，在当时取得显著结果。它的参数量按今天的标准并不大，但在当时已经是一项重要的规模实验。

在他的解释中，AlexNet 的突破不是单靠一个因素：数据集、GPU 计算和网络规模共同提供了条件。他用这个案例说明，技术进展常依赖多个要素同时成熟。

他认为，明显的识别效果差距帮助深度学习得到更广泛关注。张小珺补充，两人提到的相关历史书中文名是《深度学习革命》。

接下来进入 2014 年的机器翻译研究：序列到序列模型和注意力机制。谢青池指出，当时图像、视频和语言是较分散的研究领域，后来模型架构的发展逐渐加强了它们之间的联系。

当时常见的统计机器翻译系统依赖多个子系统和特征工程。研究者开始尝试让神经网络从数据中学习翻译，减少对手工设计规则和特征的依赖。

翻译是典型的序列到序列问题：输入一句中文，输出的英文长度通常不同。模型需要允许输入和输出具有不同长度，而不是逐位置机械对应。

编码器—解码器结构把输入编码成中间表示，再由解码器生成输出。这个思路让输入和输出长度解耦，也适用于语音识别和问答等其他序列任务。

早期固定长度的中间表示存在瓶颈：输入越长，就越难把所有相关信息压进同一个向量。谢青池用长句中的指代关系说明，远处的上下文可能在压缩过程中丢失。

他介绍 Bahdanau 注意力，说明解码时可以根据当前生成位置，对输入的不同部分分配权重。这个思路后来成为理解 Transformer 的重要背景。

在序列翻译中，注意力可以帮助解码器访问更相关的输入，而不是把整句所有信息都压缩进唯一中间状态。这缓解了长序列处理中的一个限制。

注意力机制先为输入位置形成表示，再在生成每个输出时计算相关权重，组合成上下文信息。这样，解码器不必只依赖一个固定向量来处理整句内容。

谢青池强调，研究者提供的是一种可以学习序列关系的结构，具体权重仍由训练过程调整。他把这看作深度学习从图像任务走向语言序列建模的重要一步。

张小珺追问几位论文作者之间的合作关系。谢青池回忆他们在 Google 等研究环境中的交集，也对自己记不清的个别履历保留不确定性。

到 2015 年，较大的深度网络带来了新的工程问题：推理成本、延迟和部署难度。谢青池用模型蒸馏说明，新范式形成后还需要辅助技术解决它带来的新问题。

蒸馏的目标之一，是把较大教师模型的能力转移给较小学生模型，让后者在更低的计算和部署成本下保留尽可能多的表现。

除了最终答案，教师还可以提供不同答案的概率分布，也就是软标签。学生通过拟合这些信息学习教师的行为；这些额外信息与只学习正确类别的硬标签不同。

谢青池补充，后来一些团队也用其他模型生成的输出训练自己的模型。若拿不到完整概率分布，这与论文中讨论的完整软标签蒸馏并不完全相同。

谢青池把神经网络的拟合与傅里叶分析作类比：借助较简单的成分逼近复杂关系。他说，理解数学工具要追问当时的问题和思想，而不只记住公式。

2015 年的 ResNet 面对另一个问题：网络层数增加到一定程度后，训练效果可能反而退化。谢青池把它放在持续扩大模型规模的历史背景下解释。

他介绍何恺明等作者，并指出这项工作对后来的网络设计影响很大。残差连接出现在许多不同类型的现代架构中。

残差连接给输入提供一条跳跃路径：网络学习的分支与输入相加。直观地看，模型可以学习需要对已有表示作出的变化，而不是每次都从头构造完整输出。

谢青池说，这一变化有助于训练更深的网络，缓解深层优化中的梯度和退化问题。他将其作为一个看似简单、影响却很大的结构设计。

2017 年的 Transformer 则围绕注意力重新组织序列建模。此前循环网络按序处理信息，长距离依赖和并行计算都是研究者关心的问题。

Transformer 保留编码器—解码器思路，并以注意力作为核心计算机制。谢青池还提到，后来许多语言模型采用仅解码器结构；这与原论文的完整架构需要区分。

谈到 Transformer 的研究者时，谢青池说工程实践常常先于完整的理论解释：模型能有效工作，不代表人们已经理解了每个设计细节。他把这看作继续研究的问题。

顺序信息也很重要：“我打你”和“你打我”含有相同的词，却表达不同关系。位置编码给模型提供有关序列位置的信息。

他用句子中相距较远的词作例子，解释注意力如何让不同位置直接建立联系。自注意力则在同一个序列内部计算这些关系。

例如，句子里的“它”可能指向猫，也可能指向垫子。注意力让模型在上下文中计算不同位置之间的关系，为判断指代提供信息。

他进一步概述查询、键、值和加权求和：相关性计算形成权重，这些权重用于组合信息。多头注意力则允许模型并行地学习多种关系。

由于不同位置的许多计算可以并行，Transformer 的结构适合利用 GPU。谢青池把架构选择与硬件能力联系起来，说明二者如何共同影响技术发展。

随后他介绍 AlphaGo Zero，并与早期 AlphaGo 比较。早期系统使用过人类棋谱和设计的特征；AlphaGo Zero 则强调从自我对弈中学习。

谢青池关注的问题是，系统能否超越模仿已有的人类经验，自己探索更好的策略。强化学习提供了与单纯模仿示例不同的学习方式。

AlphaGo Zero 在下棋时还结合搜索。谢青池把这一点与推理阶段投入额外计算的思路联系起来，同时提醒围棋搜索与语言模型生成并不是完全相同的机制。

张小珺问什么情况下可以从头使用强化学习。谢青池认为，规则和奖励比较明确的游戏是一个适合讨论的例子，但这不代表所有现实任务都能轻易获得可靠奖励。

他转向混合专家模型（MoE）的现代发展：把模型划分为多个专家，并通过路由机制为输入选择一部分专家参与计算。目标是在扩大总容量时，不必每次都运行全部参数。

专家模型扩大的是总参数容量，而每次输入只激活其中一部分。实际收益还要考虑专家之间的数据传输、负载均衡与硬件利用率。

谢青池把 MoE 放在模型规模持续增长的背景下讨论。稀疏激活有机会降低每次计算所需的工作量，但训练、路由和系统实现仍然重要。

谈到 GPU 生态时，张小珺追问转折点在哪里。谢青池认为，AlexNet 让更多人看到 GPU 能在神经网络中发挥的重要作用；他把此前长期投入视为生态形成的一部分。

他还回顾 NVIDIA 长期建设 GPU 软件生态的过程。张小珺追问何时出现明显转折，两人把 AlexNet 视为让通用 GPU 计算价值更受关注的一个节点。

回到 MoE，他引用论文中关于模型容量与计算效率的结果，解释为什么一些团队会从成本角度选择稀疏架构。他也提醒，训练和部署这种架构并不简单。

下一篇是 2022 年的思维链（chain-of-thought）论文。谢青池说，当时研究者发现，模型规模增加并不会自动使所有算术、常识和符号推理任务都得到同样幅度的改善。

他解释，在提示中展示中间推导步骤，可以改变模型在一些推理任务上的表现。这让人们更加关注如何引导模型使用已有能力；效果仍取决于模型和任务。

谢青池推荐阅读作者 Jason Wei 的分享，也说读懂论文的收益之一是能直接理解研究者对自己工作的解释，而不必完全依赖二手转述。

他把思维链与后来的提示工程、上下文工程以及推理模型联系起来：输入如何组织，会影响模型可展示的行为。他把这种关系作为发展脉络来讲，而非声称一篇论文独自创造了所有后续技术。

张小珺认为，发现值得解决的问题很关键。谢青池也赞赏能够识别重要问题的研究者：回头看一个问题可能显得直接，但在当时意识到它的重要性并不容易。

两人再次比较监督学习与强化学习。谢青池认为 AlphaGo Zero 的自我对弈、以及推理时额外计算的思路，为后来一些研究提供了启发；他把这些联系明确作为自己的历史解读。

LoRA 是另一种应对大模型成本的技术。对每个任务都保存和训练完整模型副本可能代价很高，研究者因此尝试只训练较小的增量参数。

谢青池用附加模块作直观比喻：保留原模型权重，在旁边学习低秩更新。具体部署方式会影响开销，不能把所有微调方法的性能或延迟当作相同。

他指出，LoRA 最初针对 Transformer，后来也被广泛用于图像生成模型，例如让模型适应某种风格。不同任务能达到什么效果，需要实际评估。

ReAct 论文把推理、行动和观察连接起来。模型可以先决定需要什么信息或操作，执行动作后观察结果，再继续下一步，而不是只生成一个与外部环境脱节的回答。

谢青池说明，智能体的概念早于大语言模型；语言模型只是后来驱动智能体的一种方式。他认为 ReAct 值得注意的一点，是在 ChatGPT 普及前就探索了这种交互循环。

ReAct 的循环包括根据已有信息作出下一步选择、执行操作并查看反馈。谢青池将其作为智能体研究的一种早期语言模型范式，而不是保证每个动作都正确。

讨论 ReAct 后，两人再次谈到发现好问题的重要性。谢青池认为，提出一个后来被广泛关注的问题，和解决一道技术难题一样，可能产生长期影响。

张小珺问研究者通常在职业生涯的哪个阶段最有产出。谢青池认为情况因人而异，并提到年轻研究者的开放视角与资深研究者积累的工程经验各有价值。

他观察到，一些科技公司管理者仍亲自写代码、跟进技术前沿。张小珺追问这种工作方式背后的文化，两人讨论管理分工与动手实践之间的差异。

谢青池举自己做产品前端的例子：当构想者也能直接实现时，一些文档与交接环节可以减少。但不同团队仍需要根据规模、专业分工和协作方式作选择。

模型范式部分以 Richard Sutton 的文章《The Bitter Lesson》收尾。谢青池说，文章回顾 AI 历史，强调能够随着计算资源增长而扩展的通用方法。

文章所说的“苦涩”，在于研究者精心写入的人类知识有时能在短期取得收益，长期却可能被更能利用计算的搜索与学习方法超越。谢青池把它当作一种观察历史的视角。

他并不因此否认现实中的工程价值：在当前能力和成本约束下，人工设计的流程仍可能有帮助。产品团队需要在眼前可用性与长期技术方向之间做取舍。

他用工具调用规则作例子，说明一个系统可以暂时由人指定何时使用工具，而未来更强的模型也许能自己学习这些判断。这是他对未来的推测，并非已经验证的保证。

谢青池说，通用方法同样需要人设计架构和训练方式；区别在于是否试图事先穷尽问题中的所有具体知识。他认为这篇文章值得反复阅读。

文章对通用方法的强调并不意味着模型没有人为设计。谢青池指出，注意力计算、架构与训练目标本身仍是研究者作出的选择。

Sutton 提出的搜索和学习是谢青池反复讨论的两个关键词。他认为，人设计的结构仍然存在，但系统应有机会从数据与交互中发现具体规律。

第二部分转向基础设施与数据，首先介绍 ZeRO 和 DeepSpeed。模型参数增长快于单张 GPU 显存时，就需要把训练工作分配到多个设备。

谢青池把 ZeRO 的作用概括为减少分布式训练中的内存冗余，让更多集群显存用于有效训练状态。增加 GPU 并不自动保证更高效率，通信和系统实现也会形成瓶颈。

接着讨论 Scaling Laws 与 Chinchilla。给定有限的计算预算，研究者需要决定如何在模型大小和训练数据量之间分配资源，而不是只追求更多参数。

这些研究观察不同计算量、数据量和参数规模下的损失变化，并尝试用较小实验预测更大训练的趋势。谢青池强调，这类规律来自特定实验条件，不能替代实际验证。

预测扩展结果的价值在于减少昂贵的大规模试错，但经验曲线有适用范围。数据、架构或训练方式发生变化时，预测可能不再准确。

谢青池解释小规模实验的实用价值：每次都用最大模型试错既耗时又昂贵。如果规律在目标范围内可靠，就可以用较小实验帮助筛选值得放大的方案。

大规模训练还需要处理不稳定和恢复。两人提到损失突然恶化时使用检查点继续训练，并认为训练稳定性本身体现了工程能力。

他比较早期 Scaling Laws 与 Chinchilla 的结论：后者强调在计算预算下，模型规模和训练 token 数需要一起考虑，许多大模型可能没有接受足够数据训练。

较小模型在更多数据上继续训练，可能增加训练成本，却降低大量推理时的成本。谢青池指出，训练最优与最终使用成本最优并不是同一个目标。

接下来是开源图文数据集 LAION-5B。他先解释 CLIP 的图文联合表示：相关的文字和图片被映射到可以比较的表示空间，为检索和多模态应用提供基础。

谢青池介绍开放数据的动机：如果重要数据长期只掌握在少数机构手里，外部研究和复现会受到限制。他认为开源社区建设数据资源具有重要意义。

他介绍利用 CLIP 对网页图文对进行筛选的思路，以及 LAION-5B 的大规模数据。数据从哪里来、怎样筛选和标注，是理解模型能力与局限的重要线索。

谈到敏感内容时，他讨论数据标记、训练选择和输出控制之间的取舍，并分享自己与研究者交流得到的看法。具体数据影响和各家处理方式不能一概而论。

RefinedWeb 关注另一个问题：能否对公开网页进行系统清洗，得到足够有用的语言模型训练数据。谢青池说，这为获取大规模语料提供了可研究、可复现的方向。

他建议有兴趣的人阅读数据清洗流水线的具体说明。去重、过滤和质量判断等步骤，会影响最终模型；“互联网数据”并不是未经处理的单一原料。

MegaScale 将讨论带到更大的 GPU 集群。谢青池强调，把很多卡连接起来是一回事，让它们协同完成同一个训练任务并保持高效率和稳定性，是另一回事。

大集群中的设备和数据会出现故障，因此系统需要监控、定位、恢复和检查点。训练效率也可能受通信限制，设备数量增加并不保证吞吐量按比例提高。

这引出算法与基础设施协同设计：模型如何切分、计算如何安排，都要考虑网络带宽、设备和训练系统。张小珺将资源约束概括为推动效率创新的压力。

谢青池以 DeepSeek 的论文为例，解释计算和通信重叠的目标：尽可能让设备在数据传输时也有工作可做。他对具体切分细节表示记不清，因此没有把数字当作确定结论。

语言模型部分从 Word2Vec 开始。谢青池解释，研究者希望把词表示为向量，让相似语义在表示空间中具有可利用的关系，进而改善搜索等下游任务。

他区分离散的词和连续向量：向量中的数值由训练过程学习，并非人手工为每个概念逐项填写。表示的质量可以通过实际任务来检验。

词向量的用处之一是让机器计算词之间的相似关系。谢青池举搜索为例：有意义的表示可以帮助系统发现不完全相同但相关的内容。

早期词向量可以预先学习并用于下游模型，后来语言模型中的嵌入也可以随整体训练调整。两种做法都把离散符号映射为可计算的向量。

现代语言模型通常先把文本切成 token，再把 token 转换为向量。切分方式并不一定与人看到的单词或字母边界一致，这会影响模型处理字符细节的方式。

他提到拼写计数作为例子：token 不总对应单个字母，因此字符级问题可能需要模型间接处理。切词只是影响因素之一，不应被当成所有计数错误的唯一解释。

谢青池建议读者借助可视化切词工具观察自己的文本如何被拆分。通过实例可以看到，模型处理的单元与人的直觉并不总是一样。

接着他介绍 Google 神经机器翻译的工程化工作。早期神经翻译要在速度、低频词和译文完整性等方面解决实际困难，才能在大规模服务中使用。

谢青池认为，这项工作的价值不仅是某一个算法，还在于把已有研究成果整合成稳定运行的生产系统。模型架构、数值计算与并行工程都需要一起考虑。

张小珺把神经翻译的落地概括为找到一个实际工业场景。谢青池赞同，并强调将学术方法变成可靠服务，需要解决模型之外的大量工程问题。

GPT-1 将生成式预训练与下游微调结合起来。谢青池说，当时很多自然语言任务需要分别准备数据和训练模型；通用预训练提供了一种复用知识的途径。

他把这个思路与计算机视觉中的迁移学习比较：先从较广泛的数据学习表示，再适应具体任务。GPT-1 使用 Transformer 的解码器方向，并以预测下一个 token 为训练目标。

GPT-1 先在通用文本上训练，再针对下游任务微调。这个流程让多项任务共享预训练阶段学到的表示，而不是每次都从随机参数开始。

随后 BERT 用双向上下文和掩码预测取得强劲的语言理解结果。谢青池介绍它如何根据被遮住位置前后的词来预测缺失内容，并指出它在当时的多项测试中表现突出。

张小珺问 BERT 与 GPT 的根本区别。两人把双向表示与自回归生成视为不同的设计选择；它们适合的任务和评价方式并不完全相同。

BERT 的掩码预测可以同时使用缺失位置左右两侧的上下文；自回归模型在预测下一个 token 时使用已有前缀。不同信息条件影响各自的训练和应用。

BERT 的双向上下文尤其适合某些理解与标注任务；GPT 的自回归方式则直接围绕续写展开。谢青池讨论的是不同训练目标的取舍，而不是一个架构对所有用途的绝对胜负。

谢青池提出一种解释：在多样的文本中预测后续内容，可能推动模型学习跨任务的规律。他也明确说，对这些能力如何形成，研究领域并没有完全一致的解释。

谢青池用跨数学与其他文本的例子解释他的直觉：多样任务可能鼓励模型形成更通用的表示。他同时强调，这只是解释之一，不能证明模型以某一种确定方式理解世界。

他还提到研究者公开演讲对后来团队的启发。对于模型能力形成的原因，他将这些观点作为不同研究者的解释来介绍，而不是把推测写成定论。

GPT-2 继续扩大数据和模型，并探索不经任务专门微调的泛化。谢青池说，其结果并非在所有任务上都超过 BERT，但给后续的通用语言模型研究带来鼓励。

GPT-2 的训练数据比 GPT-1 更广泛，模型也更大。谢青池说，论文展示了不为每个任务单独微调而执行多种任务的可能性。

讨论 GPT-3 时，两人把模型扩张与组织、数据和计算资源联系起来。谢青池根据公开的人员与投入变化推测团队当时对这一方向的信心，并承认外界无法知道所有内部原因。

GPT-3 的开发涉及从研究到工程化的扩大：数据、基础设施和评估都需要专门投入。两人把论文作者和团队结构的变化当作观察规模变化的线索。

张小珺提醒，即使参与同一研究项目的人，也未必对它的未来方向持相同信念。谢青池同意，回看组织决策时应避免把团队想象成意见完全一致。

更大规模的训练不仅要增加计算，还要清洗数据、组织评估并维护训练系统。谢青池认为，这使 GPT-3 更像一个多角色协作的大型工程项目。

GPT-3 扩大了参数和数据规模，并展示通过上下文中的说明或少量例子适应任务的能力。谢青池解释，上下文学习不需要为每个新任务重新更新模型权重。

模型面对不同任务时，可以通过提示里的例子推断所需格式或行为。谢青池把这种能力与后来更加系统的上下文设计联系起来。

上下文学习的一个直观例子是给模型任务说明和示例，再让它完成新的输入。这里的适应发生在提供的上下文中，而不是一次新的参数训练。

但基础语言模型并不天然等同于好用的助手：它可能生成不真实、有害或不符合用户意图的内容。谢青池用 InstructGPT 说明后训练为何重要。

他概述 InstructGPT 的流程：先用人工示范进行监督微调，再用人类对多个回答的偏好训练奖励模型，随后通过强化学习调整模型行为。

人类排序可以提供相对偏好信号，尤其适用于难以写出明确自动评分规则的任务。谢青池认为，这让研究者能够把“更符合用户期望”纳入训练。

他引用论文的比较：在论文的人类偏好评估中，较小的 InstructGPT 模型可以优于大得多的基础 GPT-3。这个结果说明训练方式重要，但不意味着较小模型在所有任务上都更强。

从基础模型到助手，监督示范和偏好优化各有不同作用。谢青池认为，这个阶段的进步改变了用户与语言模型交互的方式。

最后他推荐 Allen Institute for AI 的 Tulu 3，作为研究开放后训练流程的资料。它公开模型及相关数据、代码和训练配方，让外部研究者更容易理解和复现这类工作。

多模态部分从早期视频理解开始。谢青池介绍 Andrej Karpathy 等人的工作：研究者把深度学习从图像扩展到视频，并构建较大规模的视频分类数据集。

视频由连续图像组成，计算量大，相邻帧的信息又高度相似。如何采样、学习时间变化并利用已有图像模型，是视频建模面临的挑战。

这项工作使用图像预训练知识，并比较不同的融合方式。谢青池把它与更一般的多模态问题联系起来：不同来源的信息应该在模型的哪个阶段结合？

他认为早融合与晚融合各有工程和效果上的取舍；哪一种更好取决于方法、数据和任务。这个问题在后续多模态系统中仍然值得研究。

较早或较晚地融合多种信号，可能改变模型能学习的关联和系统的复杂度。谢青池认为，没有一种时间点可以脱离任务与实现条件被普遍判为最好。

谢青池指出，早期视频网络相对单帧图像模型的增益有限，说明仅仅输入更多帧并不一定能让模型有效学习运动。

双流网络把外观信息与运动信息分别处理，再结合结果。谢青池用光流解释视频中位置随时间变化的线索，认为这让网络更容易利用运动信息。

两条视频处理流分别提供空间外观和时间运动的线索。最终融合这些线索，让分类结果同时考虑画面内容与动作。

接着是 2014 年的生成对抗网络 GAN。它把生成器与判别器放在竞争过程中：生成器尝试产生逼真样本，判别器尝试区分真实与生成数据。

谢青池用画家和鉴别者作比喻。判别器提供的反馈帮助生成器改进，但两个模型的训练也可能不稳定；这是一种把判别任务用于推动生成任务的设计。

生成器和判别器的关系也带来训练上的平衡问题：如果一方过强或反馈不合适，另一方可能难以继续改进。谢青池把这作为 GAN 训练挑战之一。

他把早期扩散模型放在 GAN 和 VAE 等生成方法的背景下。研究者希望既能表达复杂数据分布，又能让训练和采样在计算上可处理。

他比较 GAN 与 VAE 在当时的典型取舍：前者可以生成较清晰的样本但训练可能不稳定，后者训练方式更稳定，但早期样本质量也有局限。具体效果依模型而异。

扩散模型的直观过程是逐步向数据加入噪声，再学习反向过程，将噪声逐步转化为具有结构的样本。这个过程借鉴了物理扩散的思想。

谢青池说，早期扩散方法并未立即成为主流，后来研究不断改进训练目标和生成质量。他以此说明，一项方法的影响有时要经过多年迭代才显现。

早期扩散工作的历史让他想到，今天看似边缘的方法可能在改进训练、效率或数据后重新受到重视。不过，并非每种边缘方法都会成为主流。

2020 年的去噪扩散概率模型 DDPM 是其中的重要节点。它使用预测噪声的训练目标，并结合适合图像处理的网络结构，推动扩散模型重新受到关注。

谢青池把预测噪声与学习完整结果作比较：训练目标的设计会影响问题是否容易优化。后续工作继续改进采样速度与高分辨率生成。

Vision Transformer（ViT）把 Transformer 引入图像识别。面对二维图像，它先将图像拆成小块，再把这些图像块表示为模型可以处理的序列。

ViT 的一个关键设计是把图像切成固定大小的 patch，再投影成向量。模型处理的是这些向量组成的序列，而不是把图片中的每个像素都当成一个自然语言词。

谢青池解释，图像块还需要位置信息，否则模型难以知道原图中的空间关系。把数据转换成序列后，可以利用已有的 Transformer 算法和软件生态。

图像块序列保留位置线索后，模型可以学习不同局部之间的关系。谢青池认为，这展示了序列模型能够迁移到原本不是文字的数据。

他指出，论文中的效果与数据规模有关：大规模预训练使这种方法更有竞争力，而数据不足时，它未必优于卷积网络。架构和数据条件必须一起看。

相同的序列化思路后来也影响了视频和多模态模型。文本、图像和视频的表示可以在不同阶段结合，但如何融合仍有许多工程和研究问题。

CLIP 通过大量图文对学习视觉和语言的共同表示。谢青池说，网络上的自然语言描述可以成为训练信号，减少对固定图像类别人工标注的依赖。

在共同表示空间中，匹配的图片和文字更接近，模型因此可以比较一张图片与不同文字描述。这样的表示支持零样本分类等任务，但效果取决于数据和具体评估。

谢青池也把 CLIP 与文本引导图像生成联系起来：语言表示可以作为生成系统的条件，让用户对输出内容施加控制。

Stable Diffusion 的讨论从计算成本开始。直接在像素空间对高分辨率图像反复去噪，训练和推理都需要大量计算。

潜空间扩散先把图像压缩成较小的表示，在该空间进行扩散计算，再解码回图像。这样可以减少处理高分辨率图像的计算负担，但压缩也有信息损失与设计取舍。

谢青池说，他起初对压缩后仍能取得好效果感到意外，后来用抽象和学习作类比。他把这个类比作为理解潜空间的直觉，而非证明压缩总会提高效果。

他用人从较低分辨率图像辨认对象作类比，解释压缩表示为何仍可能保留有用结构。这个类比帮助理解思路，但不能替代对模型的实证评估。

文本编码还可以通过交叉注意力影响去噪过程，使生成结果受到提示词引导。潜空间计算与条件控制共同构成他对 Stable Diffusion 的主要解释。

Diffusion Transformer（DiT）进一步探索用 Transformer 作为扩散模型的骨干网络。它借鉴图像序列化的方法，让去噪模型利用 Transformer 训练与扩展的经验。

谢青池强调，这类架构的优势需要结合数据和计算规模来看。采用 Transformer 并不自动保证更好结果，但统一架构可以复用已有软件、优化方法和研究经验。

他提到 DiT 与后续视频生成研究之间可能存在的联系，并区分论文中展示的结果与外界对具体产品实现的推测。

论文讲解结束后，张小珺总结说，架构创新不仅要看算法，也要看它是否能有效适配硬件。谢青池认为，新的计算平台未来也可能催生新的模型结构。

两人认为，科技进展往往由许多工作逐步构成，而不是靠一篇论文独立完成。谢青池说，最初想用十篇论文讲清历史，后来发现需要三十多篇才能建立较完整的脉络。

张小珺问他从哪里找到读几百篇论文的毅力。谢青池说，主要是好奇技术边界，并把过去两年的许多休息时间、出差时间和周末投入学习。

最初直接读 Transformer 论文时，他发现背景知识不足，感到像置身信息海洋。视频课程和书籍帮助他先建立框架，再回头追问每篇论文想解决什么问题。

他举注意力机制为例：不只看 Transformer 如何使用注意力，还追问这个概念从哪里来。把前因后果串起来，是他学习陌生领域的重要方法。

谢青池坦言，最初几个月经常一知半解，阅读进展缓慢。跨过这段时期后，他开始更能理解日常 AI 工具的能力和局限，也更享受阅读。

他举会议转录为例：自动转录可能有错字和口语杂质，他尝试提供领域背景，让模型协助整理。这个做法来自他的实际经验，结果仍需要结合原始记录检查。

准备这次分享也迫使他重新读论文、检查没有核实的细节，并重写材料。他认为，把知识讲给别人听本身就是一次重新学习。

张小珺问他是否找到了 AI 技术边界的答案。谢青池说只找到一部分：他更能判断模型能否完成某项任务，也更能猜测失败原因，但许多问题仍没有答案。

他认为了解模型的变化节奏，有时能帮助团队决定是否等待，而不是立即投入数月构建临时解决方案。这是一项需要结合产品时限、成本和风险作出的判断。

他举客服模型为例：团队曾在能力、延迟和部署条件之间权衡；等待后出现的新模型改善了此前难以覆盖的一些场景。这是他在特定时期的项目经验。

读论文也让他对每天不断出现的新闻不那么焦虑。理解较长期的研究问题，使他能够接受当前产品的不完美，同时规划可能随模型改进而实现的功能。

关于扩展规律是否会遇到天花板，谢青池持乐观态度。他认为数据利用、训练方法和推理时计算仍有探索空间，但这是录制时的判断，不是对未来进展的保证。

谈及当时的 OpenAI 产品，他认为模型连接工具与应用可能形成新的交互层。他把“下一代操作系统”作为对产品方向的比喻，而不是一个已经完成的事实。

张小珺问，从研究者故事中能看到什么共同点。谢青池欣赏他们愿意押注不同方向，并在机会尚不明显时持续投入；他也承认技术发展往往需要等待其他条件成熟。

给想进入 AI 行业的人，他的第一条建议是多使用工具，积累对模型能力和局限的实际感受。他认为，熟练使用本身需要持续练习和判断。

第二条建议是学习编程和工程基础，让自己能够把想法变成可运行的东西。即使自然语言工具降低了门槛，理解技术细节仍有助于检查和改进结果。

第三条建议是有条件地阅读论文。谢青池承认它耗时且有难度，但认为理解原理可以帮助产品、工程和算法人员持续跟踪长期变化。

对于已经在大公司从事特定职能的人，他建议尝试理解相邻岗位：产品人员可以接触工程，工程人员也可以理解产品目标，从而获得更完整的反馈。

张小珺问小团队和个人公司是否会成为趋势。谢青池说自己不能确定，但工具可能让一些小团队承担更多工作；复杂业务仍可能需要更多人，组织规模也取决于商业模式。

谈到 OpenAI 和 Google 的竞争，他认为两家公司有不同的资源与产品路径，并明确表示很难预测谁会胜出。这些是录制时的观点，不是对之后结果的判断。

谢青池最后把 AI 行业比作个人计算发展的早期阶段。两人以保持好奇、理解技术和持续学习结束这次讨论。