Kimi K3:编程基准、成本与开放权重 AI 竞争

原标题Kimi K3: Coding Benchmarks, Cost and the Open-Weight AI Race

Matthew Berman 考察 Kimi K3 的早期基准成绩、单任务成本和一个魔方模拟器,并讨论这些结果的局限。

MBMatthew Berman主持 · Forward Future
频道
Matthew Berman
发布
2026年7月18日
视频
12:12
阅读
6 分钟
幻灯片
7
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

2026 年 7 月,Matthew Berman 评测 Moonshot AI 的大型混合专家模型 Kimi K3。该模型在部分编程和写作评估中取得了不错的早期成绩。他讨论推理成本、速度、开放模型与专有模型的竞争,以及自己制作的小型应用演示。文章将他的地缘政治预测和有关训练数据的指控与已证实的结果区分开。

  1. 1前端基准测试视频展示的 Arena 图表中,Kimi K3 的胜率为 76%,Claude Fable 5 为 63%;这些数字仅限于该项比较。
  2. 2关注单任务成本Berman 比较 DeepSWE 的任务成功率和平均成本,并提醒仅看 token 单价并不充分。
  3. 3证据的局限基准成绩需要通过生产环境测试检验,Anthropic 的指控并不能证明 K3 的训练方式。
  4. 4魔方模拟器Berman 表示,他生成的应用经过较长时间构建后,可以打乱并复原画面中的魔方。

要点建议

  1. Kimi K3 在视频展示的 Arena 前端榜单中领先,这一结果仅适用于该项比较。
  2. 据 Moonshot 介绍,模型总参数量为 2.8 万亿,上下文窗口为 100 万 token。
  3. 每项完成任务的成本不仅取决于 token 单价,还取决于 token 用量和智能体行为。
  4. 视频发布时,画面中的官方页面表示完整权重计划在 2026 年 7 月 27 日前发布。
  5. 一个运行成功的魔方演示具有展示价值,但不能作为广泛的可靠性评估。
全文

按章节阅读整理后的全文

只看原始文稿
01

Kimi K3 与前端编程

Berman 介绍 K3 和一项前端比较,并讨论模型规模及一段宣传演示。

Moonshot AI 的 Kimi K3 在部分测试中与领先的专有模型相比表现出色,因而受到关注。我认为这可能是开放权重 AI 的重要时刻,但这里涉及的不只是一个排行榜,还有部署成本、速度以及美国和中国实验室之间的竞争。我还让模型构建了一个魔方模拟器,最后会试用它。

视频展示的 Arena 前端开发图表中,Kimi K3 的胜率为 76%,领先于 63% 的 Claude Fable 5 和 58% 的 GPT-5.6 Sol。这项特定比较的结果令人印象深刻,但不能证明 K3 是所有前端工作中最好的模型,更不能说明它在所有任务中都最强。

Frontend Code Arena 比较
幻灯片 1 / 7Frontend Code Arena 比较视频中的图表显示,Kimi K3 在该前端比较中的胜率为 76%。
发布时的 Kimi K3 文档
幻灯片 2 / 7发布时的 Kimi K3 文档页面介绍了模型,并列出完整权重的计划发布日期。

Moonshot 将 K3 描述为拥有 2.8 万亿参数和 100 万 token 上下文窗口的模型,面向长程编程、知识工作和推理。这是一个非常大的模型,一般家用电脑很难容纳。其混合专家架构在处理每个 token 时只激活总参数的一部分,而规模本身也不能决定质量。

我以前谈过美国开放模型的经济问题。我把 K3 的规模和报告的能力与 Thinking Machines 的 9750 亿参数开放模型进行比较,同时承认参数量不是一切。开放模型权重,与公开全部训练数据及复现所需的一切材料,是不同的事。

在一段简短的宣传演示中,Moonshot 展示了一个模拟游戏世界,里面有人物、实时反射和变化的昼夜光照。该公司表示,演示视频本身也是由 K3 剪辑的。设计和 3D 素材看起来很出色,但经过挑选的宣传案例并不是对一般性能的独立测量。

02

定价与基准测试的成本

他比较 token 价格和 DeepSWE 任务成本图表。结果取决于具体模型和测试设置。

视频显示的价格是:每百万缓存命中输入 token 0.30 美元,每百万缓存未命中输入 token 3 美元,每百万输出 token 15 美元。我将这些价格与 GPT-5.6 Sol 比较,估计 K3 的单 token 价格大约是对方的一半。这是当时画面上显示的价格,不能保证现在的价格或总成本相同。

Kimi K3 token 定价
幻灯片 3 / 7Kimi K3 token 定价视频分别展示了缓存命中输入、缓存未命中输入和输出的价格。

单 token 价格只是计算的一部分:如果模型完成任务需要消耗更多 token 或执行更多步骤,较便宜的 token 仍可能带来相近的账单。DeepSWE 图表将任务成功率与平均任务成本放在一起比较,理想方向是成功率更高、成本更低。该快照只涵盖特定编程任务和智能体配置。

DeepSWE 成本与成功率
幻灯片 4 / 7DeepSWE 成本与成功率图表比较了特定智能体配置的平均任务成本和完成率。

我展示的图表中,Kimi K3 Max 和 GPT-5.6 Sol 的每项任务成本都在 4.70 美元左右,K3 的完成率稍低。根据价格比较,我推测 K3 完成同样工作大约使用了两倍 token,但图表本身无法证明这个确切比例:输入、输出、缓存和智能体行为都会影响成本。GPT-5.6 Sol Max 在图表上的得分更高,费用也更高。

03

更广泛的模型竞争

Berman 讨论中美竞争、其他基准成绩以及公开证据的局限,并将自己的预测与已证实事实区分开。

美国人工智能顾问 David Sacks 认为 K3 的前端排名和其他成绩令人担忧。我认为这个模型在一些指标上有竞争力,而 Fable 和 GPT-5.6 在其他工作中似乎更具通用性。这些观察针对特定基准,并不能证明各国能力存在一个单一、永久的排名。

我认为,美国零散的监管规则可能拖慢前沿实验室,而中国实验室继续发布强大的模型。我举出延迟或撤回的发布作为论据,但排行榜无法证明每次发布决策背后的原因。我也想明确表示,我很欣赏中国实验室开放这些能力强大的模型。

Next.js 评估结果
幻灯片 5 / 7Next.js 评估结果画面中的帖文报告了基准测试结果,同时提醒基准无法提供完整情况。

Vercel 首席执行官 Guillermo Rauch 表示,K3 在 Next.js 网络工程评估中领先,以更短时间达到了与 Fable 相近的成功率。截图标注最高成功率为 92%,获得辅助后升至 96%;这些数字适用于该评估及其设置。视频引用的另一项早期内部写作基准显示,K3 在特定编辑文风上以 2840 Elo 排名第一,每篇脚本的估计成本为 0.25 美元。

内部写作评估
幻灯片 6 / 7内部写作评估一项公布的早期结果按特定编辑文风对 Kimi K3 进行排名。

我们需要保留一些限定:基准测试可能逐渐饱和,真实生产环境中的使用也很重要。Anthropic 指控 Moonshot 等实验室未经授权大规模提取 Claude 输出,用于模型蒸馏;这是 Anthropic 的指控,并非关于 K3 性能来源或训练数据的已确立结论。开放权重和技术说明本身也不会披露全部训练输入,更不意味着模型可以完全复现。

我认为,对于很多企业工作,用户不一定需要绝对最前沿的模型。不过,强大的开放权重替代品可以给专有模型提供商带来压力,并增强竞争。2026 年 7 月 18 日的视频画面中,Kimi 页面表示完整模型权重计划在 7 月 27 日前发布,因此讨论可用性时需要注明这一时间背景。

我也提醒大家,不要以为公开排行榜揭示了竞争的全貌。封闭实验室可能在发布前测试更新的模型;我估计 Anthropic 可能领先八到十个月,也猜测尚未发布的 Fable 或 GPT 模型正在测试中,这些都是看法,并非经过核实的内部信息。

04

开放模型与魔方测试

他思考可能的经济收益和硬件依赖。他生成的魔方模拟器完成构建,看起来能够打乱并复原魔方。

我欢迎开放发布,因为研究人员、开发者和企业可以在共享的进展上继续构建,而竞争压力也能改善产品。我预计成本下降会促进更多使用,为应用、推理服务商和芯片制造商创造机会。这是关于可能影响的经济判断,并非这一次模型发布已经证明的结果。

我看到的风险是:如果美国企业基于中国模型构建业务,而这些模型后来针对中国芯片优化,就可能产生依赖。这是我在其他视频中讨论过的情景,并不是这次模型发布已经证实的事实。与此同时,我自己的魔方实验已经耗时超过 30 分钟,这与我听到的一项批评相符:K3 可能比较慢,也消耗较多 token。

魔方模拟器
幻灯片 7 / 7魔方模拟器生成的应用展示了正在打乱的魔方。

魔方模拟器终于完成了。魔方带有反光,打乱功能看起来正常,按下复原按钮后,它回到了完成状态。这是一个令人鼓舞的交互式应用构建案例,但一次目视检查不能证明它在所有魔方状态下的可靠性,也不能证明一般编程能力。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1