张祥雨谈多模态研究：视觉推理、强化学习与自主学习

张小珺介绍本期联合主持李广密与嘉宾张祥雨。2025 年的访谈回顾多模态研究经历，并讨论视觉推理、强化学习和自主学习的可能方向。

张祥雨介绍自己的学术与研究经历，以及从计算机视觉出发、逐渐关注视觉与语言结合的过程。

他比较视觉和自然语言研究的发展，谈到任务、数据和监督方式如何影响模型可以学到的表示。

他认为语言中的自监督任务可以利用大规模文本，BERT 和自回归语言模型以不同方式从数据中学习，再服务于不同下游任务。

对计算机视觉来说，他回顾了把人工设计的不变性加入训练的做法，并认为这种方法对可扩展表示有局限。这是他对研究路线的分析。

他解释为何对单靠静态图像出现类似语言模型突破的前景变得谨慎：像素分布、生成图像和人类理解之间并不存在简单的等同关系。

在一个思想实验中，他指出即使模型能很好地刻画图像分布，也不能仅凭这一点保证它按照人类需要理解图像。他将语言与图文数据视为可能的对齐来源。

他开始寻找视觉与语言对齐的方法，短期利用图文交错数据，同时承认网络语料的质量和覆盖范围存在限制。

他讲述将图像理解与生成放在一起训练的尝试。按照他的实验经验，两个分支都能进步，但组合并未自然产生预想中的协同收益。

他描述移除一个分支后另一个分支表现变化不大，由此怀疑架构层面的组合并不等于能力真正融合。这个结论针对所述实验，并非所有多模态系统。

团队尝试让理解与生成模型交替提供训练信号，但他表示，联合后的可控性和相互促进仍不理想，视觉输出也可能违反几何或物理约束。

经过数月探索后，他转向分析一个大模型训练现象：在他观察到的设置中，部分通用能力随规模增加，但数学推理表现并非始终同步提高。

他提出一个线索：更大的模型有时倾向于跳过计算步骤，直接给出答案。这个观察不能推出所有更大模型都会如此，具体效果取决于训练与评估。

他用压缩与加法的思想实验解释自己的假设：更贴近训练数据的输出分布，不一定等于在特定任务上获得最高正确率。

他比较小模型逐步计算与大模型直接作答的可能行为，并借生成模型中的模式坍缩作类比。这里的数字和机制是讲解性假设，而非普适定律。

张祥雨认为强化学习可以把训练更直接地指向任务结果，并讨论推理过程中逐步检查、回退和选择的价值。

他将思维链中的反思、验证和策略选择称为可复用的思考模式，并与游戏强化学习中搜索和奖励分配的挑战比较。

他强调语言模型中的关键决策可能集中在少数步骤；多次采样有时能得到正确结果，但如何稳定选择更好的路径仍是问题。

两人用分支选择的例子讨论为什么单次预测可能不足，以及反思和检查如何帮助模型重新考虑先前步骤。

回到视觉，他认为复杂生成任务需要同时满足许多约束，直接输出最终结果可能难以控制。他提出在视觉空间中引入中间推理步骤。

他介绍在图像上标注、编辑和逐步推理的实验。经过一段时间，团队发现人工构造的模式不一定容易泛化到其他视觉问题。

他区分对新领域的泛化与对思考模式的泛化，认为检查和回退等模式可能在多种任务中有用；他也提到博弈任务上的局限。

他推测预训练语料中已有分散的反思模式，后续训练可能激发并强化它们。这是对机制的解释，不能单凭访谈证实其他团队内部的做法。

讨论多模态数据时，他提到质量、数据比例和文本能力之间可能存在权衡，并认为需要通过实验判断具体模型的效果。

他提出两条研究路线：扩充含过程信息的预训练数据，以及让模型拥有更丰富的视觉操作空间，例如修改、草拟和重新生成。

教学视频可能包含指点、画辅助线和逐步讲解，但他也指出长视频清洗、质量筛选与语言对齐的困难。

被问到多模态突破何时出现时，嘉宾给出乐观的时间判断，同时承认数据和训练中仍可能存在未知障碍。这是 2025 年的预测。

话题转向长上下文与记忆。他借人类不同层次的记忆作类比，讨论把所有历史直接放入单一上下文的成本与限制。

他讨论检索、多模型协作以及不同架构的取舍，认为系统设计应围绕实际任务，而不是只优化单个长上下文测试。

对于多个模型是否可能逐渐形成不同分工，他提出一种可能：训练过程可以使系统中的组件专注于记忆、处理或其他职能。这是研究设想。

他把在线或自主学习视为下一个潜在突破方向，同时指出规则奖励、环境构建和自然语言反馈的规模化都有困难。

他认为让模型从环境和人的反馈中判断如何改进是长期问题；缺少明确评价标准时，训练和验证尤其困难。

主持人归纳多模态推理与自主学习可能成为未来的重要进展。时间表是访谈者的预测，并非已经验证的里程碑。

最后他讨论世界模型、机器人与自动驾驶。他认为受限场景可以先部署部分方法，而更通用的视觉理解和控制仍有大量研究工作。