测试匿名模型 sus-column-r：它后来被确认是 Grok-2

匿名模型 sus-column-r 已在 LMSYS 直接聊天中开放，一些人认为它可能是 OpenAI 传闻中的 Strawberry 或 Q*。我测试它的表现。这些输出并不能确定它的身份：xAI 后来确认 sus-column-r 是 Grok-2 的早期版本（[xAI 发布公告](https://x.ai/news/grok-2)）。

对于一个简单的 Python 请求——输出一到一百的数字——模型在没有被要求的情况下给出了逐步解释，并生成了我认可的答案。我猜测这种冗长是否意味着内置了某种推理方法，但仅凭输出风格无法确定训练流程、系统提示或模型提供商。

接下来我要求用 Python 编写贪吃蛇。第一次请求返回 API 错误，我猜测可能是需求量太大，但没有证实原因。重试时生成速度很慢，回答末尾似乎被截断，不过剩余代码足以让我运行游戏。

游戏可以打开和游玩，蛇离开窗口时会显示失败信息，并提供退出或重新开始的选项。它没有显示得分。由于输出缓慢，我没有要求通常会加入的额外功能；在我的非正式评分中，我将初始游戏判为通过。

我测试模型如何处理违法行为请求。它最初拒绝了一个请求，之后当请求被改写为历史问题时，给出了不同回答。拒绝是一种安全行为，并不能证明模型属于某家公司；这几个提示词也不能确立它的整体安全性或可靠性。

晾衣问题问：如果五件衬衫四小时晾干，20 件需要多久。模型解释称，如果所有衣服都能在相似的日照和气流条件下分别铺开，约四小时就能晾干。它还指出，空间不足或衣服重叠可能改变结果。我认为这些假设和解释构成了一个很好的回答。

当被问及自己回答中有多少个词时，模型给出的数量在我看来不正确。接着它处理杀手谜题：房间里有三个杀手，新来者进入并杀死其中一人，且没有人离开。两名存活的原有杀手加上新来者，共有三名活着的杀手；我接受这个答案，同时指出，如果对死者采用不同的计数方式，题意的解释也会改变。

弹珠问题把一颗弹珠放进玻璃杯，将杯子倒扣在桌上并移进微波炉。模型给出了多种可能结果，认为弹珠最可能留在桌上或地板上。它还认为，竖直提起杯子时，摩擦或惯性可能让弹珠留在杯口；在通常假设下，这种解释从物理上看值得怀疑。

我意识到，提示词没有具体说明杯子在哪里被倒转或如何被提起。如果一个普通开口玻璃杯在桌面上方倒扣，提起时又没有固定弹珠，那么弹珠会留在桌上；其他操作方式可能改变结果。我将模型的回答判为通过，同时指出它提出的另一种情况不够清楚。

我要求写十个以“apple”结尾的句子，展示的完整回答似乎符合格式要求。在小数比较中，模型正确指出 9.9 大于 9.11，并解释了十分位。我赞扬了这些解释，但它们只是单个例子，不能证明普遍优势。

一道伦理假设问：如果轻轻推一个陌生人能够拯救人类免于灭绝，是否应该这样做。模型最初讨论同意、不确定性和替代方案；被要求给出是非答案时，它在自己所述的不确定条件下回答否，同时承认如果结果完全确定且满足其他条件，判断可能改变。虽然我会作出不同回答，但我接受它的理由。

接下来我尝试一道受到世界模型讨论启发的导航问题：从北极出发走 500 码，左转走十码，再次左转并一直走下去。模型认为行走者不会回到起点，但它对极点和曲率的讨论很混乱。结果取决于明确指定的曲面和持续行走的方向规则；仅凭题目措辞，不能把平面论证当作球面上的完整答案。

我将题目改为从一个未具体指定的 A 点出发，而非北极。在平面解释下，第二次左转会让行走者沿着一条与原路径平行、相距十码的直线前进，因此永远不会经过 A 点。模型在这一解释下说明正确；如果是在曲面上，则需要额外假设。

作为比较，我把修订后的问题交给 GPT-4o。一个回答开头说会经过起点，但其坐标解释最后得出不会；另一次提示后的回答得出会，这与平面几何不符。这几个输出展示了变化和内部矛盾，但并非对模型整体能力的受控比较。

我鼓励观众在 Arena 中试用这个匿名模型。当时我对它可能与 Strawberry 有关感兴趣，但后来确认它属于 Grok-2，说明不应凭少量回答推断匿名模型身份。这些测试仍只是模型在本次会话中的表现快照。