30 秒看懂
Matthew Berman 用魔方模拟器、3D 模型、绳结动画和浏览器游戏测试 Kimi K3.1 Pro。他看到了出色的渲染,也发现空间错误和编造的基准数据。 他还考察了模型公布的规格、评测和 API 定价,并提醒读者,基准成绩强不代表每项实际任务都能达到同样水平。
- 1逼真的魔方模型制作了带打乱、控制和求解功能的 3D 魔方,通过了 Berman 认为经常难倒开放权重模型的测试。
- 2绳结暴露弱点Blender 渲染和动态图都没能清楚展示绳子的交叉关系,无法用于教学。
- 3编造的基准数据生成的对比图使用了占位数字,模型需要多次提示才使用提供的数据。
- 4规格与基准Kimi 将其描述为总参数 2.8 万亿、活跃参数 1040 亿的混合专家模型;Berman 将公开成绩与自己的体验作比较。
- 5价格与任务成本图中 API 价格和每项任务成本显示出竞争力,实际开销取决于任务和 token 用量。
要点建议
- 魔方模拟器表现出色,但保护结模型没有正确呈现绳结。
- 精美的画面仍可能包含错误细节或编造的基准数字。
- 简短提示能暴露模型的默认选择;需要特定结果时,详细提示更有用。
- K3.1 Pro 公布的基准成绩和价格具有竞争力,但实测表现因任务而异。
按章节阅读整理后的全文
测试 3D 魔方
Berman 介绍 K3.1 Pro 并测试交互式魔方。求解器和渲染让他印象深刻。
Kimi K3.1 来了:这是一个三万亿参数级别的开放权重模型。我注册并付费订阅,用桌面应用做了一系列项目。基准成绩看起来很亮眼,但我也想看看它实际能做出什么。
我的第一项测试是 3D 魔方。开放权重模型经常搞不定其中的物理规律:颜色消失、旋转不合逻辑,或者魔方突然变成已复原状态。这次渲染很逼真,我可以用控件转动并打乱魔方。
这个魔方是真正的三维模型,移动时反光也会变化。它还支持键盘控制、计时、撤销、重置和调节转动速度。我注意到界面中有 AI 设计常见的小号眉题文字,我也在 Claude 生成的作品里见过这种风格。
求解器会计算一系列步骤,而不是简单地把打乱动作倒过来,然后在三维空间中逐步播放。这个结果完全通过测试,也是我见过最好的版本之一。Kimi 表示,这个模型特别擅长 3D 动画和渲染。
近期的专有模型在 3D 建模方面也有进步,而据我的体验,另一些竞争者仍然落后。视觉任务很适合测试,因为游戏或模型能快速展示系统能做什么,尽管这只是其能力的一个侧面。
渲染手机
WebGL 手机模型看起来精美,却遗漏重要的外观细节。Berman 要求模型研究并修改设计。
接下来,我要求它在浏览器中用 WebGL 渲染 iPhone Duo。材质和反光不错,但手机本身并不准确:标志很奇怪,本应连成一体的屏幕中间有一条大缝。渲染漂亮,不代表还原准确。
我让模型研究这款设备的外观和尺寸,然后再试一次。第一次渲染用了 28 分 45 秒;虽然它进行了网页搜索,仍然遗漏了重要细节。为了保持测试一致,我使用的是高推理强度的 K3.1 Pro。
保护结测试
Blender 模型和两版动态图暴露出空间推理及教学方面的弱点。竞争模型呈现的交叉关系更清楚。
一项新测试结合了多种技能:在 Blender 中建模一根正在打保护结的绳子。模型需要使用软件、研究绳结,并对交叠的绳段进行空间推理。它还访问了 Blender 官网查找版本,展示了网页使用能力。
结果大致有八字结的形状,但绳子没有正确打结,也没有连接到安全带上,人物模型看起来也很奇怪。我认为这次失败了。绳段之间的关系至关重要,这正是测试困难的地方。
接着,我让它制作一段解释如何打结的动态图。Kimi 的第一个版本是一段 28 秒、1080p 的无声指南,涵盖八字结、穿过安全带、回穿和检查步骤,并提醒观众动画不能代替实际教学。
问题在于,绳子看起来像几条画在一起的线:你看不清哪一段在上、哪一段在下。它看起来有点像绳结,却无法教会我怎么打结。视觉讲解恰恰缺少了最关键的细节。
作为比较,GPT-6.1 Sol 根据同样的提示制作了一段 54 秒的无声动画。绳子的路径和交叉关系清楚得多,我认为自己拿着真绳子可以跟着做。它也提醒观众向有资质的教练学习。
我问 Kimi 如何让动态图更美观,再让它实施自己的建议。修改版增加了立体感、镜头运动,也更容易区分绳段,但交叉关系仍然不清楚。画面更好看了,却没有解决教学的核心问题。
游戏、设计与视频
Kimi 制作浏览器障碍游戏、重新设计网站并组装恶搞视频。Berman 讨论简短提示能揭示什么。
我喜欢的另一项测试是制作浏览器版 Fall Guys 克隆游戏。我保持提示简短,只要求模型搜索参考视频和图片。简短提示能暴露模型的默认假设,让我更清楚地看到它自己的设计选择。
大约 48 分钟后,它做出了 Bean Blitz:一款有 12 名参赛者的 3D 障碍赛,包括电脑对手、移动障碍、检查点、计时器和触屏控制。作为开放权重模型,它做得还不错,但颜色过于偏粉彩、碰撞不准确,画面也有闪烁。
想了解模型的默认选择时,简单提示就足够了。如果我对颜色、动画、关卡设计或技术栈有明确偏好,就应该补充细节。提示的详细程度取决于我希望对结果有多少控制。
我还让它重新设计 Forward Future 的网站。它遵循了品牌颜色和字体,但布局仍然有明显的 AI 生成风格,间距也有问题。我的评价是还可以,而不是已经完成了设计。
一位观众要求制作一段故意混乱的 Theo 版 YouTube Poop 视频。Kimi 称,它用视频生成 API 制作了五段动画恶搞片段,用 Python 和 NumPy 编排剪辑及配乐,并用 FFmpeg 和 FFprobe 完成编辑与验证。它能组装出五分钟的结果,令我印象深刻。
误导性的基准图
模型在 Berman 提供数据前编造了基准数字。他将图表与实际体验作比较。
这个模型有时需要比竞争者更多的提示。我让它画一张模型基准成绩对比图,第一张只用了宽泛类别,没有列出测试名称。我要求列出具体基准后,它给出了看起来不对的数字,并承认那些是编造的占位数据。
我提供了公开的基准数据,让它再试一次。即便如此,我还是得明确要求它重新生成图片;最终图表基本上只是换了颜色的原图。这提醒我们要检查数据来源,不能因为图表精美就直接相信。
公开的基准成绩很强,但我的初步实测让我觉得,这个模型很不错,却还没有达到最顶尖专有模型的水平。我对它与其他系统的相似之处有所猜测,但这些实验无法证明 Kimi 是如何训练的。
规格与评测
Berman 回顾模型架构和公司公布的基准成绩,并将排名与自己的测试区分开来。
Kimi 将 K3.1 Pro 描述为三万亿参数级别的开放权重模型。公布的规格包括 2.8 万亿总参数、1040 亿活跃参数和 100 万 token 上下文窗口。作为混合专家模型,它在处理每个提示时只激活一部分参数。
模型具备多模态能力,可以接收图片;我还没有测试视频,也不确定音频支持情况。Kimi 强调它擅长完整项目编程、游戏开发、参数化 3D 建模和金融工作。它声称能与专有模型匹敌,指的是基准测试,未必能预测每项实际任务的表现。
在公司公布的图表中,K3.1 Pro 的 Terminal-Bench 4.0 得分为 65.7,接近 Opus 5.5 的 66.4;SWE Marathon 得分 51.7,高于后者的 46.3。它在 Terminal-Bench Science 上的表现则弱一些。不同评测得出的模型形象可能很不一样。
图表还显示 Kimi 在 GDPval 上接近领先者,在计算机操作评测 OSWorld 上得分 79.6。我自己对计算机操作能力的体验与这些排名并不完全一致。在性价比曲线上,我们希望看到更高的质量和更低的成本。
价格与最终评价
他比较 API 价格和每项智能任务的成本,同时衡量其经济优势与参差不齐的实测结果。
图中显示,标准版 K3.1 Pro 的价格为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入每百万 token 0.20 美元。高速版的输入和输出价格翻倍,缓存输入价格不变;Kimi 称其速度快两到三倍。
Kimi 的技术文章还展示了金融建模,以及在 FreeCAD 和 Blender 中制作的 3D 作品。这些例子很出色,不过我自己还没有复现出所有同等质量的结果。开放权重也让用户可以下载并自行运行模型。
所展示的 Artificial Analysis 图表给 K3.1 Pro 的智能指数评分为 55,领先于几个其他模型。我还会看每项智能任务的成本:它同时考虑 token 单价和完成任务所需的 token 数量。token 便宜,并不保证完成任务也便宜。
在展示的比较中,Kimi 每项智能任务的成本为 2.11 美元,明显低于部分竞争模型。总体来看,这是一个能力强、价格有竞争力的开放权重模型,既有出色的结果,也有明显失败。可以亲自试试,用对自己重要的任务来评估。
同频道的其他文章
32:20EN → 简体中文
45:08EN → 简体中文
12:14EN → 简体中文
10:36EN → 简体中文
17:37EN → 简体中文
21:29EN → 简体中文