Sam Altman 谈 AI 模型规模：Matthew Berman 解读 OpenAI 的 2023 年方向

摘要

30 秒看懂

Matthew Berman 解读 Sam Altman 在 2023 年对依赖不断扩大模型规模这一做法的局限所发表的看法，以及 Greg Brockman 关于 GPT-4 安全性的评论。他讨论了数据质量、人类反馈、架构和算力限制等可能的路径与权衡。部分说法带有历史背景或推测性质。OpenAI 的技术报告没有披露 GPT-4 的参数量，因此无法依据该报告验证 Berman 与 GPT-3.5 的比较；OpenAI 后来于 2025 年推出了 GPT-5。

1超越规模Altman 的发言表明，增加参数量不会是改进模型的唯一途径。这并未证明扩大规模已经不再有帮助。
2缺少公开数字的参数比较Berman 声称 GPT-4 的参数比 GPT-3.5 只略有增加，但 OpenAI 的技术报告没有公布 GPT-4 的规模。
3其他研究方向新架构和基于人类反馈的调优被当作可能的方向提出，而非 OpenAI 已公布的路线图。
4测试 GPT-4Brockman 说，公司花了六个多月测试 GPT-4 并提高其安全性。
5报告强大的训练活动Brockman 主张向政府报告强大模型的训练活动，并评估可能存在的危险能力。

要点建议

Altman 在 2023 年提出，模型改进将越来越多地来自单纯扩大规模之外的方法。
OpenAI 的 GPT-4 报告没有披露模型规模，因此不能据此确定 GPT-3.5 和 GPT-4 的规模差异。
新架构、数据和基于人类反馈的调优是讨论中的可能途径，并非已确认的路线图。
Brockman 描述了 GPT-4 的安全测试，并主张向政府报告强大模型的训练活动。
这段讨论反映的是 2023 年的情况；OpenAI 于 2025 年推出了 GPT-5。

主题Scaling Laws OpenAI 模型与训练 AI Safety Post-training

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

Altman 如何谈巨型模型

Berman 讨论了 2023 年的一种观点：未来的改进可能需要依靠参数规模扩张之外的方法。他对模型规模的比较无法通过 OpenAI 公开的 GPT-4 报告验证。

2023 年 4 月，我想讨论 Sam Altman 对不断扩大 AI 模型规模的竞赛所发表的看法。这位 OpenAI 首席执行官在麻省理工学院的一场活动上表示，进步将越来越需要依靠其他方法，而不是单纯做大模型。这是对研究方向的看法，并没有证明扩大规模已经失效。

Transformer 推动了新一波大语言模型的发展。我的理解是，单纯增加参数可能带来收益递减，下一次重大的性能提升也许需要新思路、更好的数据或不同的技术。这些都是可能性，并非 OpenAI 在活动上公布的详细路线图。

我比较了 GPT-3.5 和 GPT-4，称后者只增加了少量参数，就取得更好的表现。但这个数字比较尚无定论：OpenAI 的 [GPT-4 技术报告](https://arxiv.org/abs/2303.08774) 明确没有披露模型规模和架构细节，无法通过报告验证规模增加了多少。

规模扩张的替代途径与限制

Berman 回顾有关规模扩张、算力限制和新架构、人类反馈调优等研究思路的报道。

接下来我看了一篇 [《Wired》文章](https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/)，它引述 Altman 关于巨型模型时代结束，以及通过其他方式改进模型的说法。文章还提到 Anthropic、AI21、Cohere 和 Character.AI 等竞争对手正在大力投入自己的系统。

文章将 Altman 的发言解读为，GPT-4 可能标志着研究方向从依赖越来越大的模型和数据集转变。它没有指出具体的替代研究策略。文章还提到收益递减以及建设数据中心的物理限制，但这些都不能证明进一步扩大规模是不可能的。

Cohere 联合创始人 Nick Frosst 也提出了类似区分：Transformer 的进步不必只靠增加参数。文章指出，新架构和进一步基于人类反馈调优是有前景的方向。我认为，即使不假定模型规模一定会增加多少，这些方法也可能让系统更有用。

GPT-4 安全与未来计划

他回顾 Greg Brockman 关于安全测试和报告强大模型训练活动的声明，然后提出自己对 GPT-4 的预期。

我把这段讨论与 OpenAI 联合创始人 Greg Brockman 的一篇帖子联系起来。当时 OpenAI 表示尚未训练 GPT-5，Brockman 的帖子强调的是 GPT-4 和安全工作，而没有说明后继模型何时推出。有关计划改变特定架构的说法是我的解读，并非经过确认的公告。

幻灯片 1 / 1Greg Brockman 关于 GPT-4 安全与监管的帖子画面展示了他在 2023 年 4 月发布的帖子，介绍 GPT-4 测试、报告强大模型训练活动及危险能力测试。

Brockman 写道，OpenAI 在先前对齐研究的基础上，花了六个多月测试 GPT-4 并提高其安全性。他说，公司预计会加强预防措施，甚至可能比一些用户希望的更加主动。我把这看作一个信号：OpenAI 打算继续投入刚刚发布的模型。

Brockman 帖子的另一部分呼吁向政府报告强大模型的训练活动，同时对能力和影响作出越来越精细的预测，并采取危险能力测试等措施。我欢迎创新，但也认为考虑潜在危害与防护措施很重要。

我当时预计，OpenAI 会致力于部署和改进 GPT-4、安全性、数据以及基于人类反馈的调优，同时探索新技术。我也希望 ChatGPT 提高消息使用限额。这是 2023 年的预测，不是对公司计划的永久性描述：OpenAI 后来[于 2025 年 8 月推出了 GPT-5](https://openai.com/gpt-5/)。