30 秒看懂
在 GPT-4 于 2023 年 3 月发布之前,Matthew Berman 讨论了其规模、可能支持的模态、Microsoft 投资和 Bing 相关传闻。他还播放了 Sam Altman 提醒外界不要过度期待的采访片段。后续官方资料确认 GPT-4 除文本外还接受图像输入,Microsoft 表示新版 Bing 使用了 GPT-4;这些公告没有确立模型的确切参数量或视频所称的投资条款。
- 1参数量传闻被否认Altman 驳斥了一项广泛传播的规模传闻;GPT-4 技术报告没有披露其实际参数量。
- 2纯文本预测Berman 预测它只处理文本,但 OpenAI 后来宣布它接受图像和文本输入并输出文本。
- 3Microsoft 的投资视频提到具体财务条款;Microsoft 在 2023 年 1 月的公开公告中描述了多年、数十亿美元的投资,但没有确认这些条款。
- 4关于 Bing 的猜测Berman 认为 Bing 可能基于 GPT-3.5。Microsoft 后来表示新版 Bing 使用了 GPT-4。
- 5管理预期Altman 表示 GPT-4 的传闻抬高了预期,并提醒 OpenAI 当时并没有 AGI。
要点建议
- 视频发布于 2023 年 2 月 28 日,早于 GPT-4 在 3 月 14 日发布。
- Sam Altman 否认了广泛传播的参数量传闻;OpenAI 的技术报告没有披露 GPT-4 的参数量。
- 与 Berman 的纯文本预测不同,GPT-4 除文本外还接受图像输入,不过图像输入最初属于研究预览。
- Microsoft 后来确认新版 Bing 使用了 GPT-4;视频中关于 GPT-3.5 的说法属于猜测。
- Microsoft 在 2023 年宣布了多年、数十亿美元的合作,但没有确认视频所称的具体 49% 股权。
- 视频对成本、训练时长和经济性的预测应视为历史说法,而非已确立的技术测量。
按章节阅读整理后的全文
参数规模与效率
Berman 回顾模型规模传闻及 Altman 的回应,并推测训练和运行模型的经济性。
2023 年 2 月下旬,我收集有关即将发布的 GPT-4 的信息。当时,关于它的规模、能力和发布日期的说法广泛流传。这是发布前的历史快照:后来的官方公告回答了部分问题,也推翻了几个预测。
GPT-3 被描述为有 1,750 亿个参数,而一项传闻称 GPT-4 将有 100 万亿个参数。在一段采访中,Sam Altman 驳斥了一张暗示模型规模大幅增长的病毒式传播图表。我推测 OpenAI 可能更重视效率,并使用规模相近或稍大的模型,但这只是猜测:[GPT-4 技术报告](https://cdn.openai.com/papers/gpt-4.pdf)没有披露其参数量。
我讨论训练和运行大模型的成本,并认为如果聊天机器人要在经济上与搜索竞争,效率将很重要。我还声称 GPT-3 训练了一年、只训练过一次,并以 Megatron-NLG 作为比较。视频提供的证据没有确立这些具体训练和性能说法;单靠参数量无法决定能力、成本或训练时长。
模态与 Microsoft 合作
他预测模型只处理文本,并讨论 Microsoft 的投资及计算基础设施。后续官方公告澄清了模型的图像输入能力,但未确认所称股权比例。
我预测 GPT-4 将继续只处理文本,并表示它不会包含视频生成。后来的 [OpenAI 发布公告](https://openai.com/index/gpt-4-research/)推翻了纯文本预测:GPT-4 接受图像和文本输入并输出文本,图像输入最初属于研究预览。接受图像不同于生成图像或视频;发布说明并没有将 GPT-4 定义为文生视频模型。
我讨论 Microsoft 与 OpenAI 的合作,声称前者投资 100 亿美元获得 49% 股权,并推测其中大部分是 Azure 额度。这些具体条款不应视为已确认:[Microsoft 在 2023 年 1 月的公告](https://blogs.microsoft.com/blog/2023/01/23/microsoftandopenaiextendpartnership/)描述了多年、数十亿美元的投资和扩大合作,但没有确认所称股权或额度构成。我还提到 Microsoft 早前与 OpenAI 的超级计算机合作。
编程与发布时间
Berman 讨论潜在编程应用以及关于 Bing 和 GPT-4 发布时间的猜测。Microsoft 后来确认新版 Bing 使用了 GPT-4。
我预计代码生成会成为重要应用,并以 GitHub Copilot 作为已有的 AI 辅助编程例子。这是对投资可能如何影响工具的预测,并不能证明讨论的每项功能都属于当时尚未发布的 GPT-4。
我推测 Bing Chat 可能是定制版 GPT-3.5 系统,并表示 GPT-4 发布日期未知。视频发布后,[Microsoft 表示](https://blogs.microsoft.com/wp-content/uploads/prod/sites/5/2023/04/RAI-for-the-new-Bing-April-2023.pdf)新版 Bing 使用了 GPT-4,OpenAI 也于 2023 年 3 月 14 日宣布 GPT-4。因此,视频对 Bing 的判断是一个错误的发布前推断。
在采访片段中,Altman 表示 OpenAI 会在有信心安全、负责任地发布模型时推出它,并警告传闻正在造成过高预期。他说 OpenAI 当时没有真正的 AGI。我将这些话理解为试图降低预期,并在结尾表示期待报道此次发布。
同频道的其他文章
14:45EN → 简体中文
34:21EN → 简体中文
0:26EN → 简体中文
0:36EN → 简体中文
0:21EN → 简体中文
25:50EN → 简体中文