30 秒看懂
Matthew Berman 根据厂商公布的基准测试、演示和历史 API 价格,评析 Alibaba 的 Qwen3.8-Max。他欢迎闭源模型之外的选择,同时探讨如果前沿实验室利用 AI 加快研究,开放权重模型能否继续形成竞争。他对竞争对手模型规模的估计及地缘政治情景均属于推测。
- 1基准测试需要背景Berman 认为公布的分数有竞争力,但提醒说,模型在基准测试中表现出色,并不代表它在所有任务中都能达到同样水平。
- 2研究复现Alibaba 报告称,该模型复现了一篇论文,并在四轮中测试了 18 个改进想法。Berman 认为这可能是自动化研究的前奏,但它并未证明开放式的递归自我改进。
- 3每项任务的成本视频比较了历史词元价格,并强调词元用量和任务成功情况会影响总成本。所展示的成本图表当时尚未纳入 Qwen3.8-Max。
- 4选择与依赖Berman 重视自行托管和竞争,但担心未来模型与硬件的协同设计可能带来新的依赖。这是一种假设风险,而非已被证明的必然结果。
要点建议
- 公布的基准测试分数针对特定任务,未必反映总体表现。
- Alibaba 描述了一项研究复现实验和一个范围受限的芯片设计优化任务;这些演示不能证明模型具备不受限制的自主发现或芯片制造能力。
- 更低的词元价格不一定意味着完成每项任务的成本更低。
- Berman 认为,自行托管开放权重模型可以增加选择,减少对单一供应商的依赖。
- 他对模型与芯片协同设计及地缘政治依赖的担忧是可能的情景,而非已经发生的结果。
- 有关模型规模的传闻和递归自我改进的预测,并不能确定未来的竞争优势。
按章节阅读整理后的全文
Qwen3.8-Max 与基准测试结果
Berman 介绍模型并关注其宣传中的愿景。他评析公布的基准测试,同时提醒观众注意其局限。
Alibaba 发布了 Qwen3.8-Max,我对其宣传视频中的乐观愿景印象深刻:人们钓鱼、打网球或攀岩时,AI 在处理研究和电子表格。我喜欢这种技术为人们腾出更多时间的简单画面。这是一种愿景,并不能证明这些任务已经可以在无人监督的情况下可靠完成。
我将 Qwen3.8-Max 描述为一个约有 2.4 万亿参数的开放模型,并把它与中国另一款大型模型 Moonshot 的 Kimi K3 比较。模型规模对我稍后讨论算力与竞争很重要。能否下载以及许可条件应针对具体版本核实;开放权重与完全开源的系统不一定是一回事。
在看基准测试之前,先说明一点:分数可以针对测试进行优化,不一定代表一般能力。画面显示,Qwen 的 SWE-Pro 成绩为 67.7,领先的比较对象为 80。报告中的 TerminalBench 分数为 86.6,而 Fable 为 84.6;我认为它在这些测试中具有竞争力,但这不能保证它在每项任务中都表现如此。

研究复现与硬件设计
Alibaba 展示了论文复现和迭代优化的例子,随后介绍一项范围受限的芯片设计任务。Berman 讨论这些演示对研究可能意味着什么。
Alibaba 重点介绍了一项研究复现实验。任务是阅读论文、实现其方法、运行代码并复现结果,起点只有论文和 GPU,而不是现成的流水线。我认为复现是自动化研究的重要组成部分,因为它需要将想法与可执行的实验联系起来。

公司报告说,模型随后在四轮中测试了 18 个改进想法。我将其称为迭代式自我改进循环,并想知道更广泛的版本最终能否帮助发现研究思路。这项实验改进的是人类选择的特定研究任务;它本身并不能证明模型具备开放式递归自我改进能力。
另一个例子涉及自主芯片设计。厂商描述了在配备仿真、综合和物理设计工具的沙箱中,优化一个密码学硬件加速器的过程。我觉得 AI 辅助芯片设计的潜力很有意思,尤其考虑到先进芯片面临的限制,但这项范围受限的演示并不能证明模型可以自主生产先进芯片。

Qwen 的帖子包含一张大型基准测试表。我使用 Codex 重新整理了结果的视觉呈现,让多模态推理、视觉代理与编程、办公任务、空间理解和视觉感知更容易比较。不同模型在不同测试中领先;这些是表中报告的结果,并非全面领先的独立证据。
词元定价与每项任务成本
赞助内容之后,Berman 比较历史 API 价格,解释为什么每项任务的用量会改变经济性。一张第三方图表说明了这一差别。

视频发布时,OpenRouter 列出的 Qwen3.8-Max 价格为每百万输入词元 2 美元、每百万输出词元 6 美元。我把它与报价更高的 GPT-5.6 Sol 和 Fable 比较。这些是所列服务的历史价格,不能保证现在的费率相同。
每个词元的价格只是计算的一半。如果一个模型完成同一任务需要多用几倍的词元,表面上的价格优势就可能缩小;质量以及是否成功完成任务也很重要。单价较低,并不自动意味着获得所需结果的成本更低。

Artificial Analysis 有一张比较每项基准任务成本的图表。当时新 Qwen 模型尚未纳入该图评估,因此我引用画面中的对比:Qwen3.7 Max 每项任务 1.28 美元,GPT-5.6 Sol 为 1.23 美元。这些数字描述的是该基准及其设置,并不适用于所有实际工作负载。
开放权重与地缘政治权衡
Berman 讨论模型规模、算力和自行托管的选择。他重视开放替代方案,同时推测未来可能出现的依赖与竞争格局。
再回到模型规模和算力。我讨论的中国大型模型参数达到万亿级,而我听到传闻称,一些美国闭源模型可能更大。竞争对手的数字以及未来 OpenAI 模型的规模都没有经过证实,单凭参数量也无法可靠衡量能力或训练成本。
短期来看,我欢迎强大的开放权重替代方案。根据模型实际的许可条件和可用权重,组织可能可以自行托管并调整模型,获得更大的灵活性,减少对单一供应商的依赖。爱好者也可以进行实验,不过如此规模的模型可能需要大量硬件资源。
与此同时,我担心长期而言可能对中国 AI 产生依赖。在美国基础设施上运行可用权重,可以让推理在本地进行;但我猜测,未来模型和芯片可能高度协同设计,使某一硬件生态更便宜或更有吸引力。这是一种可能的情景,并非已经确立的要求,也不能证明自行托管解决了所有数据和供应链问题。
我的想法存在一种矛盾。开放权重模型能够给闭源实验室带来竞争压力,并有可能压低价格。但我也想知道,拥有强大模型和更多算力的公司是否可以利用 AI 辅助研究更快进步,将开放替代方案甩在后面。两种结果都不确定。
我提到一项据报道的 OpenAI 效率改进和降价,作为 AI 可能帮助优化 AI 系统的例子。即使某一项工程改进是真实的,也不能据此确定无限自我改进循环已经形成,更不能断定竞争结果。我仍相信开放替代方案很重要,而更广泛的问题还有待观察。
同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文
0:53EN → 简体中文