谢清池的 AI 论文阅读路线：从 GPU 到多模态模型

张小珺邀请美团光年之外的谢清池分享 AI 论文阅读之旅。他希望把自己的学习路线整理出来，帮助其他读者理解技术演进。

谢清池本科和研究生学习过计算机，后来从事产品和创业。他说读论文是为了理解技术边界如何影响产品选择。

他回忆重新学习线性代数、概率等基础，也借助翻译工具降低英文阅读门槛。这是他的学习经验，不要求每个人照搬。

他建议用 AI 辅助解释术语和公式，但生成的解释可能出错，仍需回到原论文和其他可靠资料核对。

阅读到一定深度后，数学基础有助于理解公式和符号；遇到困难时可以先弄清论文试图解决的问题，再逐步学习细节。

第一部分是模型范式的变化，谢清池以时间线串联 GPU 计算、视觉、序列建模、Transformer 和后续模型方法。

他介绍 Brook 等早期工作如何让研究者更方便地使用 GPU 计算，减少直接针对图形硬件编程的障碍。

讲到 AlexNet，他把重要条件归纳为数据、计算和模型规模共同增长。这个例子展示了硬件和数据集对模型研究的影响。

序列到序列模型将输入编码后再生成输出。较早方法可能受固定长度表示限制；注意力机制提供访问输入不同部分的方式。

他介绍知识蒸馏：学生模型可以学习教师模型的输出分布，而不只学习最终标签。实际效果取决于训练数据和任务。

ResNet 的残差连接为训练较深网络提供了一种方法，帮助缓解深层网络优化中的退化问题；它并不保证任意模型都随深度提高。

讨论 Transformer 时，他强调架构与工程共同演进，也说许多设计需要实验验证，研究者未必能完全解释每项选择。

他介绍 AlphaGo Zero 的自我对弈和强化学习思路，说明系统可以在特定规则环境中通过大量计算改进。

他接着介绍混合专家模型：不同输入可以激活模型的一部分，从而在总参数规模和每次计算之间做取舍。

讨论思维链提示时，他关注如何通过示例或要求中间步骤改变输出；这并不保证生成的每一步都正确。

LoRA 通过训练较小的低秩更新来适配模型，减少需要更新的参数。效果仍需结合模型、任务和训练方式评估。

他介绍 ReAct 将推理与行动交替组织的思路，认为工具调用让模型可以获取外部信息，但可靠性和权限仍是系统问题。

《苦涩的教训》强调可扩展的通用方法与计算能力的长期作用。谢清池认为手工设计有时有用，也可能随着计算条件变化被替代。

第二部分转向基础设施和数据：模型变大不仅是算法问题，还涉及显存、并行、数据处理和集群稳定性。

他以 ZeRO 解释分布式训练：当单张 GPU 显存无法容纳全部训练状态时，可以将部分状态分摊到多个设备。

他讨论规模规律和 Chinchilla：在有限计算预算下，模型大小和训练数据量需要共同考虑。不同实验的结论不应机械套用。

LAION 等开放数据工作说明，数据集和社区资源能够帮助更多团队参与研究；数据来源、质量与授权仍需要仔细处理。

他讨论网页数据清洗和 RefinedWeb，说明大规模数据不仅是数量问题，还需要筛选、去重和质量控制。

大规模 GPU 集群还需要处理通信效率和故障：更多设备不一定线性提高速度，坏卡或数据错误也可能影响训练。

第三部分是语言模型的发展，从单词向量和神经机器翻译，走到 GPT、BERT 与后训练。

Word2Vec 研究如何把词表示成向量，使相似语义能够用于下游任务。向量关系是训练出的表示，不是对语言意义的完整解释。

大规模神经机器翻译展示了把序列模型、注意力、并行计算等研究成果组织成在线服务的工程挑战。

他介绍 GPT-1 的解码器结构与下一 token 预测，并讨论预训练后再适配任务的路线。

BERT 采用不同的预训练思路，帮助推进语言理解任务。谢清池将它放在当时多个并行研究方向的背景中。

他回顾 GPT-2 对更大、更多样数据的探索，以及研究者对无需针对每个任务单独微调的兴趣。

GPT-3 进一步扩大规模，并引发对少样本提示和模型能力变化的研究；规模与能力之间的关系仍需按具体任务检验。

InstructGPT 和后续工作将人类反馈等方法用于后训练，尝试让模型更符合用户指令；对齐并不意味着模型不会出错。

他提到 Tulu 3 等开放后训练研究，强调公开配方和数据能帮助社区研究，而结果仍依赖具体设置。

第四部分梳理多模态：从视频识别和生成对抗网络，到扩散、视觉 Transformer、CLIP 和文生图。

早期深度视频研究探索如何用神经网络处理视频，并需要适合任务的数据集和计算资源。

他介绍生成对抗网络的生成器与判别器，以及两者训练可能出现的不稳定问题。

扩散模型从逐步加噪和学习反向生成的思路出发，后来在图像生成中得到广泛应用；不同实现的质量与效率不同。

视觉 Transformer 将图像划分为块并转换为序列表示，再使用 Transformer 处理；这让视觉任务能够借用相关架构和训练经验。

CLIP 通过图文配对学习关联表示，为理解文字与图像之间的关系提供一种方法，也影响了后来的生成系统。

他解释文本条件扩散如何用文字影响生成，并介绍潜空间方法以降低直接在像素空间计算的开销。

DiT 探索把 Transformer 用作扩散模型的核心网络，连接视觉 Transformer 和生成模型的研究路线。

结束论文梳理后，他回忆重新阅读和校对资料的过程，认为持续追问原始问题有助于发现不同论文之间的关系。

他对技术继续发展的空间保持乐观，但也承认具体进展和速度无法保证。理解历史有助于提出更好的问题，而不能消除不确定性。

谈到团队规模，他认为工具可能降低一些协作和开发成本，但企业所需人数仍取决于业务、组织和服务范围。