Liquid Foundation Models：厂商基准与实际测试

Liquid AI 推出了首个 Liquid Foundation Models 系列，公司称其方法不同于传统 Transformer 架构。我会先回顾公司的主张，再测试模型。其 [2024 年 9 月的公告](https://www.liquid.ai/blog/liquid-foundation-models-our-first-series-of-generative-ai-models)称，计算单元以动力系统、信号处理和数值线性代数为基础；具体实现和性能主张应分别评估。

该系列包括 1.3B 和 3.1B 稠密模型，以及 40.3B 混合专家模型。我重点测试 40B 模型，图中标注其活跃参数约为 12B。活跃参数与总参数描述的是不同概念，因此仅按活跃参数比较，并不能全面衡量内存、计算量或质量。

Liquid AI 报告了与其他模型的分数比较，包括 MMLU-Pro 和其他几个基准。公司的表格显示某些比较结果很强，但领先者随任务和模型规模而变化。这些是厂商在特定评估设置下报告的数字，并不意味着在每个实际任务上都更优。

接下来我看公司的推理内存图。与所选的其他模型相比，图中 LFM-3B 的内存占用随序列长度增加得更缓。Liquid 将较低占用归因于其架构处理长序列的方式。图表延伸至约 100 万 token，但这条内存曲线本身不能证明 32K 预览模型具备标称或有效的 100 万 token 上下文窗口。

Liquid 还使用 RULER 基准比较标称上下文长度与有效长度。图中的表格按所述分数阈值，将 LFM-3B 标注为 32K 标称长度和 32K 有效长度；一些对比模型标称窗口更长，但在该测试下有效长度更短。这是特定基准的定义，不是对每份文档或每种任务的普遍召回保证。

第一项实际提示中，我要求 40B 模型用 Python 编写俄罗斯方块。生成代码将部分方块形状留作占位注释，我尝试运行时游戏无法工作。我将这次尝试判为失败。不过，一次生成样例不能决定模型在所有提示和配置下的编程能力。

信封问题给出邮政尺寸限制，以及一个 200 毫米乘 275 毫米的信封。关键是考虑方向，并在必要时转换单位。模型回答信封符合所述限制，我将其判为通过。随后我问它自己的回复有多少个词；它给出的数量与显示的词数不符。

杀手谜题中，房间里有三名杀手，一名新来者杀死其中一人，随后无人离开。模型给出了预期答案三人，却又声称新来者不算杀手，使解释自相矛盾。假设新来者原本不属于那三人，常见推理是两名原有杀手幸存，加上新来者。我将这个解释判为失败。

我问：装有弹珠的杯子倒扣在桌上，再拿起杯子放进微波炉，弹珠最后在哪里？模型声称弹珠仍在杯中，并把倒扣杯子的开口描述为朝上。通常假设弹珠是松散放置、杯子被完全拿起时，弹珠会留在桌上。

一道北极问题问：离开北极走一公里，向左转 90 度，继续走直到经过起点，会发生什么。模型回答约 2π 公里；我认为这不对。题目对转弯后的路径描述存在解释空间，但如果沿固定纬度东西向行走，人会在距极点约一公里处绕行，而不会经过起始的北极点。

我要求写十个以“Apple”结尾的句子。显示的回答在句中包含这个词，但没有句子按要求以单数词结尾。接着模型说“strawberry”有两个 r，实际有三个。它正确指出 9.9 大于 9.11。

在一道道德问题中，我问如果轻轻推一个随机的人能拯救人类免于灭绝，这样做是否可以接受。模型先讨论具体情况和后果；被要求明确回答是或否后，它说这种行为通常不可接受。我按自己的标准将回答判为失败，不过伦理判断不像计数题那样能客观评分。

总体而言，尽管公司公布的基准结果很强，这个模型在我的非正式测试中对许多问题表现不佳。我想知道其他类型的问题是否会呈现不同结果，也希望未来的非 Transformer 模型能表现更好。这种差异说明考察测试设计与实际例子很有价值，但并不意味着所有基准都没有用，也不能证明整个架构行不通。