Reflection 70B：自我纠错的说法与 2024 年演示的局限

2024 年 9 月，我关注了 Reflection 70B。Matt Shumer 将它介绍为一个经过微调的 Llama 模型，能够通过“反思”识别并纠正回答中的错误。发布时还伴随着惊人的性能宣称。视频由 Vultr 赞助。

Shumer 称这个 700 亿参数模型使用了反思微调，通过推理和纠错示例进行训练。他声称模型可以与领先的专有模型竞争，并预测更强的 405B 版本即将推出。这些是发布时的说法和预测，并非经过独立验证的结果。

视频展示的基准表将该模型与 Claude、GPT-4o、Gemini 和 Llama 比较，测试包括 MMLU、GPQA、HumanEval 和 GSM8K。表中报告 MMLU 约为 89.9%，GSM8K 为 99.2%；我称后者基本达到了满分。这些数字来自发布展示，不应视为已通过独立验证。

9 月 6 日的视频发布后，独立评估者报告无法复现宣传中的结果。随后的一次 [Hugging Face 模型卡修改](https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B/discussions/154) 删除了基准成绩的说法，[第三方测试讨论](https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B/discussions/42) 则描述了在各自条件下明显较弱的结果。因此，模型超过前沿竞争对手的最初说法并未得到证实。

在线演示访问量很大，所以我当时无法完成全面测试。模型权重依据 Llama 3.1 许可证提供；权重可获取并不意味着许可证是无限制的开源许可。模型卡提到最初上传存在问题，这也增加了测试所用版本的不确定性。

画面中的一个例子要求用镜像文字写出《独立宣言》的第一句。回答在 thinking 标签中给出计划，在 reflection 中讨论镜像文字的可能含义，随后输出结果。它引用的文字以“We hold these truths”开头，但这不是文档的第一句，因此自信的反思并不能证明答案正确。

这个例子表明，模型能在给出最终答案前生成回顾或限定先前步骤的文本。我提醒说，这是一次生成序列，并不能证明存在独立的多智能体系统或外部验证循环。模型可以让后续 token 依赖之前生成的文本，但这不能保证可靠地自我纠错。

Shumer 用计算“strawberry”中字母 r 的数量来说明反思：画面中的回答先说有两个，然后改正为三个。我对如何理解这种纠正提出疑问，并指出先出错再修正会消耗额外 token。一个例子无法证明幻觉在总体上减少。

另一个例子问 9.11 和 9.9 哪个更大。回答列出计划、比较小数部分、检查推理，正确选出了 9.9。我指出，对于这道简单题，更简短的回答就足够了；即使结果正确，额外推理也有成本。

我将这种方法与提示模型逐步解题、再检查结果作比较。微调和提示是不同的干预方式，视频没有提供受控实验证明两者的性能相同。我的理解是，这次发布鼓励模型采用结构化推理格式，并不能证明底层智能实现了飞跃。

一位 Hacker News 评论者提供了系统提示词，要求模型分别输出思考、反思和结果部分。我认为这是引导类似回答风格的另一种方式。仅凭看起来相似的文本，无法证明使用提示词的模型和经过微调的模型行为相同，也无法证明其自检可靠。

Shumer 表示团队检查了基准污染，并宣布提供模型权重、API，以及未来发布 405B 模型的计划。Berman 转述了这些发布时的声明。声称已排除污染并不等于独立验证，而未来版本及其预测性能也没有在视频中得到展示。

一个分享的例子统计了一个无意义单词中九个 r，我手动数过后接受了这个结果。随后，我终于从繁忙的服务中得到一个回答：它正确地说“strawberry”含有三个 r。这只是一次非正式测试，并非我原本计划的全面评估。

我的结论是反思格式很有意思，希望更全面地测试这个模型。视频中对其基准排名的广泛乐观反映了当时的发布宣称；后来出现的可复现性问题大幅限制了这一结论。