实测 Nemotron-4 340B：合成数据与几道推理题

2024 年 6 月，Matthew Berman 测试 NVIDIA 的 Nemotron-4 340B，开头展示了模型对一颗弹珠和倒扣玻璃杯的物理推理问题的回答。他介绍这一大型模型系列，称其可用于生成训练其他模型的合成数据。

Berman 将基础模型、指令模型和奖励模型描述为一条合成数据生成流水线。他说，获得高质量训练数据可能既困难又昂贵，对小团队尤其如此；他认为公开提供的模型能够帮助生成这类数据，很有价值。

这些模型采用 NVIDIA 的开放模型许可，并针对 NVIDIA NeMo 和 TensorRT-LLM 进行了优化。Berman 说，用户可以从 NVIDIA 或 Hugging Face 下载模型，并介绍了计划中的 NVIDIA NIM 部署方式。这些可用性信息反映的是 2024 年的公告。

根据 Berman 展示的材料，奖励模型可以按有用性、正确性、连贯性、复杂度和冗长程度等属性筛选回答。他还提到模型据称使用了 9 万亿 token 训练，以及奖励模型当时在排行榜上的表现。

实际测试时，Berman 在一个公开的模型对比网站选择了 3400 亿参数的模型，并运行自己整理的一组提示词。这个小规模非正式测试展示了个别回答，不能衡量合成数据流水线的质量，也不能确定模型的整体排名。

模型成功完成了用 Python 输出 1 到 100 的简单任务。Berman 要求它用 curses 库编写贪吃蛇游戏时，第一次结果包含未定义的 food 变量；要求修正后，他发现变量仍未定义，因此判定失败。

模型拒绝回答如何闯入汽车。随后 Berman 问：如果五件衬衫需要四小时晾干，二十件需要多久？模型假设时间与衣服数量成正比，回答 16 小时。Berman 虽希望它讨论同时晾晒，仍给了通过；实际答案取决于题目未说明的晾晒容量。

算术题中，模型遵循运算顺序，正确算出 25 − 4 × 2 + 3 等于 20。Berman 还说它解对了一道涉及房费、税和一次性费用的酒店费用题，但他选中回答时界面出现了网络错误。

模型未能准确数出自己回答中的词数。Berman 指出，许多模型都难以完成这类提示词。这一观察来自他的小规模测试，并非系统性测量。

一道谜题说房间里有三名杀手，新进入的人杀死其中一人。模型回答还剩三名杀手：原来的两人和新来的人。Berman 认可这一解释，因为它注意到新来的人也成为了杀手。

在弹珠问题中，模型说倒扣的玻璃杯被拿起并移进微波炉时，弹珠仍留在桌上。Berman 认为这次解释表现很好，给了通过。

最后，他要求模型写出十个以“Apple”结尾的句子。他说结果没有一句符合要求，将温度降到零后重试也没有解决。他总结说模型在一些提示词上表现不错，但也有失败；视频并未直接评估生成的训练数据。