MIT 研究：测试时训练提升 ARC 谜题成绩

一篇新论文提出，当语言模型遇到难题时，还有另一种投入计算资源的方法。我对测试时训练作为一种可能的扩展手段很感兴趣，尤其是在 OpenAI 的 o1 系列模型让更多人关注推理时增加算力之后。任何特定技术能否带来通用人工智能，仍然是一个开放问题。

我将普通训练与给模型更多时间和算力来处理提示词的方法进行比较。生成思维链、采样和搜索可以提升表现，却不一定改变模型参数。测试时训练不同：它利用当前问题中可获得的信息，基于梯度进行临时更新。

论文在抽象与推理语料库（Abstraction and Reasoning Corpus，简称 ARC）上评估该方法。每道谜题提供几组输入和输出网格示例；求解者必须推断变换规则，并将其应用于新网格。ARC 旨在考察某种特定的灵活泛化能力，但任何单一基准都无法最终定义或证明 AGI。

在屏幕上的例子中，训练示例的输入是三个排成 L 形的彩色方格，输出则用另一种颜色的方格补上缺失的角。任务是将这一模式应用到新网格中的形状。这个例子看起来很简单，但对模型来说可能很难，因为每道谜题要求的规则都可能不同。

我提到，当时领先的比赛成绩约为 42%，并引用报告中的人类成绩：平均约 60%，最好的人接近 98%。论文使用的是公开验证集，而比赛排行榜可能使用不同的数据集和提交规则。这些数字说明了当时的背景，但并非严格的直接比较。

MIT 预印本《[测试时训练对抽象推理的惊人效果](https://arxiv.org/html/2411.07279v1)》报告称，相比某些经过微调的基线，其准确率最多提升了六倍。其 8B 参数语言模型方案在 ARC 公开验证集上达到 53%。将该方法与程序生成结合后，报告的成绩上升至 61.9%；这个更高的数字并非单靠测试时训练得到。

该方法在推理过程中临时更新模型参数。作者使用 LoRA，即低秩适配，在固定原模型权重的同时训练一个针对特定任务的小型适配器。这使适配更有针对性，但训练和多次预测仍然需要算力和时间。

研究人员指出三个重要要素：先在类似任务上进行微调，构造并增强辅助示例，以及针对每个实例分别训练。最终提升取决于这些选择、起始模型和基准测试。因此，一个 80 亿参数模型受益于整个训练和推理流程，而不仅仅是因为模型较小。

我认为其核心挑战是从不同于模型熟悉训练分布的示例中学习。模型可能能处理熟悉模式的小幅变化，却难以应对陌生规则。这项研究测试的是利用谜题所提供的示例进行适配是否有效，并非证明模型无需先验知识就能解决所有新问题。

增加测试时计算量的其他方法包括思维链提示、多数投票、代码执行和搜索。推理时可以将这些技术与模型结合，而不一定重新训练模型。测试时训练则不同：它使用极少量任务专属数据，通过梯度步骤改变适配器参数。

对于每道题目，系统从一个先前经过微调的模型出发，利用该任务提供的示例构建临时数据集，再用这些数据优化适配器。随后，它使用适配后的模型预测答案。遇到下一项任务时，系统恢复原始基础状态，并训练一个新的任务专属适配器。

图示展示了如何在不知道实际测试网格答案的情况下创建额外训练任务。每次轮流留出一组示范输入输出作为合成问题，其余示例提供上下文；被留出示例的已知输出就是训练目标。研究人员还对网格进行翻转及其他保持规则不变的变换，以扩充训练集。

系统还使用了增强推理：它以多种方式变换同一道谜题，生成候选预测，再将结果映射回原始形式。这与梯度更新不同，是另一种投入推理算力并获得候选答案的方法。

投票流程先在每种变换内部选出最常见的预测，然后汇总不同变换的候选答案。多个预测可以提高稳健性，但投票仍可能选出错误答案，而且这一流程会增加计算成本。

结果表格区分了系统的不同组成部分。使用 BARC 微调模型并进行测试时训练的 8B 模型，在公开验证集上达到 53.0%；再结合 BARC 的程序合成器后达到 61.9%。表格还列出该比较中的人类平均成绩为 60.2%、最佳成绩为 97.8%，但在这一基准上百分比相近，并不能证明具备与人类相当的通用智能。

我觉得这项工作令人兴奋，因为它更充分地利用现有示例，而不是只依靠不断收集更多预训练数据。我推测，这类方法和合成数据一起，可能对朝 AGI 扩展很重要。论文展示了特定基准上的提升；它没有证明公开数据已经耗尽，没有证明新的普遍扩展规律，也没有证明这种方法就是传闻中的 OpenAI Q*。