Reflection 70B：相互矛盾的结果与尚待解答的问题

在这段 2024 年 9 月 9 日的视频中，我重新审视自己对 Reflection 70B 的报道。此前，人们对其宣称的性能和发布的权重提出了疑问。一些网络批评者指控存在欺诈，但我认为当时掌握的证据尚不足以下定论。我想说明自己的所见，把独立评测结果与指控区分开来，并反思自己的报道。

9 月 5 日，Matt Shumer 宣布推出 Reflection 70B，声称它在某些基准测试中领先其他开放模型，并超过了一些闭源模型。他介绍了“反思调优”，在 Hugging Face 上发布了模型，并感谢 Glaive 的 Sahil 提供帮助。他还谈到可能推出 405B 模型和一份即将发布的报告；这些都是计划，并非本视频证实的结果。

一些人立即质疑公布的基准成绩，包括异常高的 GSM8K 分数，因为该测试已知存在答案标注错误的问题。我最初热情地报道了这次发布。演示服务负载过重，所以一开始我只能运行一个提示词，结果似乎显示了宣传中提到的思考和反思标签。

Shumer 给我发消息说，如果要测试模型，应该使用最新上传的版本，因为早期版本有问题。我转而邀请他参加直播，他和 Sahil 一起加入。我说这是我第一次与 Shumer 交流，我们讨论了发布情况和观众问题，大约半小时。

9 月 6 日晚些时候，我使用 Hyperbolic 托管的演示录制了一次更长的测试，但我的麦克风断开了，录屏没有声音。我展示了文件，并解释原本打算重新录制视频。后来争议出现，让这段失败的录制显得有些尴尬，但正如我所说，这是录制失误。

录屏中，模型输出了思考和反思标签，却没答对一个词数问题。这些标签展示了回答的格式；仅凭它们无法确定底层由哪个模型生成，也无法证明发布时宣称的基准成绩是否正确。

我回顾了自己的非正式测试笔记。由于本地执行错误，我跳过了代码生成示例，无法评估它们。其他简单问题有的通过、有的失败；我没有发现能够明确支持那些非凡基准成绩的表现。这些例子并非受控基准测试。

整个周末，人们对模型的权重、性能和分发提出了疑问。我描述了这些负面信号，但表示在作出明确指控之前，我仍想听听 Shumer 的回应。接着，我审视了截至 9 月 9 日的几项公开说法和独立评测。

Artificial Analysis 报告称未能复现最初的结果，并称第一个发布的模型在其测试中得分低于 Meta 的 Llama 3.1 70B。另一位 Reddit 用户根据权重差异提出，上传的模型基于 Llama 3 而非 3.1。这些是外部人士的发现和说法，并未判定任何人的意图。

Shumer 表示 Hugging Face 上的权重在上传时混淆，并承诺修复。我说自己不明白这怎么会发生，希望得到更完整的解释。发布的权重存在问题与问题产生的原因是两个不同的问题；视频并未证实原因。

随后，一个私有 API 为部分测试者提供了更强的结果。批评者无法检查后台，因此质疑实际驱动它的是哪个模型；一些人根据观察到的输出，指控它包装了另一家供应商的模型。此类输出属于间接证据，不能确证后台模型的身份。

还有人要求 Shumer 披露他对 Glaive 的投资。Shumer 回答说，他此前已经披露过一笔小额投资，估计约为 1,000 美元。我认为模型发布公告或相关赞誉中也应该明确说明这一关系，让读者能够判断背景。

当有人问为什么发布的模型看起来使用了 Llama 3 而非 3.1 时，Shumer 表示他还不知道，团队正在重新训练。他说团队正在调查这些差异，并计划发布数据。我批评其中一个回答不够清楚，但此时讨论的问题仍未解决。

Artificial Analysis 后来总结了测试时间线：首个版本的表现低于 Llama 3.1 70B；一个私有 API 表现令人印象深刻，但低于最初宣称的成绩；另一个公开权重版本的表现再次低于私有端点。评测方表示无法独立验证该私有 API 的确切后台模型，并计划重新测试发布的权重。

接下来，我转向研究者 Jim Fan 关于钻基准测试空子和数据污染的更广泛讨论。使用与基准测试密切相关的材料训练，或针对公开测试进行大量调优，可能抬高测得的分数，却不能证明现实表现同样出色。他的一般性警告本身并不能证明任何特定团队使用了这些方法。

Fan 还讨论了额外的推理时计算，包括反思和集成。Berman 指出，测试时投入更多计算可以改善结果，因此比较系统时如果不考虑计算预算，可能会产生误导。某种技术是否构成作弊，取决于评估规则和相关披露。

为了更有力地证明模型质量，Fan 建议开展独立的人工比较，例如 Chatbot Arena，并使用精心整理的私有测试集进行评估。这些方法也有局限，但可以应对仅依赖公开基准和未经验证的端点带来的部分风险。

我说，尽管我认为现有信号令人担忧，仍希望 Shumer 有机会回应。我也在思考如何改进自己的报道：发布时我很兴奋，转述了提供给我的说法，出于好奇也乐于进行采访。我考虑在及时报道新进展的同时保持更多审慎。

我把这次事件看作一次学习机会，并邀请大家提出反馈。录制时，我审阅的证据尚未解决有关发布权重和私有 API 的关键问题；随着更多信息出现，我预计会再次跟进此事。