AI 生成的 Kimi 基准图表使用了虚构分数

原标题An AI-Generated Kimi Benchmark Chart Used Invented Scores

Matthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。

MBMatthew Berman主持 · Forward Future
频道
Matthew Berman
发布
2026年10月24日
视频
0:21
阅读
1 分钟
幻灯片
2
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在这段短视频中,Matthew Berman 展示了一张 AI 生成的基准图表,并对其中宽泛的类别和数字提出质疑。生成图表的助手表示,这些数字是虚构的占位值,而非经过验证的结果。此事涉及这张生成的图表,并不能证明 Moonshot AI 伪造了官方基准结果,也不能确定生成图表所用的系统。

  1. 1一张基准图表Berman 要求生成一张展示 Kimi K3.1 Pro 基准的图片;生成的图表使用了宽泛的类别。
  2. 2类别过于宽泛图表按编程、推理、数学和智能体任务分类展示分数,并未列出具体测试。
  3. 3分数被称为占位值当被问及数字是否准确时,助手表示这些是虚构的占位值,而非经过验证的结果。

要点建议

  1. 生成的图表展示了宽泛的基准类别和数字分数。
  2. 图表将分数标注为示意值,助手后来也称这些数字是虚构的占位值。
  3. 这个例子不能证明模型开发商伪造了官方基准结果。
全文

按章节阅读整理后的全文

只看原始文稿
01

生成图表与追问

Berman 展示图表,质疑其中宽泛的类别,并询问分数是否准确。助手称这些数字只是示意性的占位值。

生成的基准图表
幻灯片 1 / 2生成的基准图表图表展示了宽泛的类别,并明确将标准化分数标为示意值,而非经过验证的基准结果。

我要求一位 AI 助手创建一张展示 Kimi K3.1 Pro 基准的图表。生成的图片使用编程、推理、数学和智能体任务等宽泛类别,并给出数字分数。图中较小的副标题将这些数字描述为示意性的标准化分数,并未列出实际测试或提供经过验证的测量结果。

助手的澄清
幻灯片 2 / 2助手的澄清画面中的回答称这些数字是虚构的占位值,不应用来比较模型。

这些数字看起来不太准确,所以我追问它们是否真实。助手回答说,这些是虚构的占位值,而非经过验证的基准结果。这是生成图表使用示意数据的一个例子,并不能证明模型开发商伪造了官方基准数字。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
0:54EN → 简体中文
Matthew Berman· 2026年10月23日Sam Altman:人生重大建议应向人寻求,而非 AISam Altman · OpenAIOpenAI CEO 区分了 AI 的实际帮助与重要人生建议,并主张助手应该能够提出异议。Human-AI CollaborationDecision MakingAI Alignment