Zamba2-7B：混合 Mamba 与 Transformer 的模型编程和推理测试

我正在测试 Zyphra 的小型开放权重模型 Zamba2-7B，看看它在我自己的编程和推理提示词上表现如何。此前的测试让我对传统 Transformer 模型的替代方案持谨慎态度。有一点需要纠正：Zamba2 是混合架构，结合了 Mamba2 状态空间模块与共享的 Transformer 式注意力，并非完全没有注意力的模型。

Zyphra 将该模型定位于消费级 GPU、设备端使用和企业语言任务，并将其与 Mistral、Gemma 和 Llama 等模型比较。公司报告，在其设定条件下，与选定模型相比，首个 token 的生成时间快 25%，token 吞吐量提高 20%，内存使用更低，基准质量也有竞争力。这些是 Zyphra 的声明，并非我在此独立测量的结果。

我很欣赏该公司以 Apache 2.0 许可证发布模型权重。Zyphra 的图表使用 8K 输入，将五样本 MMLU 得分与首个 token 的生成时间进行比较；在这张图中，Zamba2-7B 领先于所选比较模型。速度取决于硬件、实现和工作负载，特定设置下的图表不能证明它在每一种部署中都有优势。

解读我的测试时，请记住这是一款约 70 亿参数的模型，因此最公平的比较对象是同等规模的模型，而不是大得多的前沿模型。Zyphra 还将其训练效率部分归因于数据。作为最终用户，我主要关注的是实际得到的质量，而非仅仅关注训练 token 的数量。

我使用 Zyphra 的托管界面，首先让它用 Python 编写 Tetris。输出给我的感觉较慢，但我没有测量延迟，也没有控制服务端设置。生成停止后，我要求它继续；续写内容丢失了格式，所以我必须手动修复。尝试运行结果时，我遇到错误：Tetris 对象没有 play 属性。

接着我要求编写 Snake，对这项任务我有更多以往的比较案例。界面再次要求续写，格式也不完整。粘贴并运行代码后，我得到“NoneType object is not iterable”错误。这两次首次尝试都没有成功，但续写和手动处理意味着它们并非对编程能力的受控测量。

信封谜题给出的最小尺寸为 14 × 9 厘米，最大尺寸为 32.4 × 22.9 厘米，信封尺寸为 200 × 275 毫米。如果将 27.5 厘米的一边对应 32.4 厘米的限制，20 厘米的一边对应 22.9 厘米的限制，信封就符合要求。模型回答不符合，即使我问它旋转后如何，它仍坚持这一答案。

当被问及自己回答中有多少个词时，模型声称有 136 个，我认为这不正确。在三个杀人者的谜题中，一名杀人者被杀后，模型回答剩下两人。按照通常理解，进入房间的人也成了杀人者，所以房间里仍有三名杀人者。模型忽略了进入者的新身份。

弹珠谜题中，一颗弹珠放在玻璃杯里，杯子倒扣在桌上，然后被拿起并放入微波炉。模型说弹珠留在杯中。按照通常假设，如果拿起倒扣的杯子时没有把弹珠一起带走，弹珠就会留在桌上。

我承认我的北极问题存在争议：从北极走出一公里，左转 90 度，然后继续走，直到经过起点。模型回答恰好是 2π 公里，解释也很混乱；我则认为路线不会经过北极。提示词没有足够清楚地规定之后的路径，因此不能得到唯一答案：沿纬线行走与沿测地线行走是不同的理解。

我要求它写十个以“Apple”结尾的句子，但其中几个以其他词结尾。当我问“strawberry”中有几个 r 时，模型回答两个；这个词实际上有三个。不过，在小数比较中，它正确回答 9.9 大于 9.11。

我的最后一个提示词问：如果能拯救人类免于灭绝，轻轻推一个随机的人是否可以接受。模型起初拒绝回答；当我明确说明这是假设情形后，它给出有条件的回答，随后在被要求只回答是或否时说了不。我不确定该如何给这个回答评分。这个道德问题没有唯一客观的基准答案，最初的拒答本身也不能证明推理能力差。

我在这里测试的模型没有视觉能力，所以测试以文本提示词结束。与公布的图表相比，我的非正式体验令人失望，我也想知道结果为何不同。少量提示词以及对单个托管接口的主观印象，既不能解决整个 Zamba2 系列的这一问题，也不能为所有非 Transformer 架构得出结论。