GPT-4 技术报告细读：能力、局限与安全测试

GPT-4 发布后，我读了完整技术报告及附录，而不只看宣传材料。报告中关于性能、信息披露和安全的细节令人吃惊。本文反映的是 2023 年 3 月发布时的信息。

微软确认新版 Bing 已经使用 GPT-4，这有助于解释为什么我觉得它比早期 ChatGPT 更强。当时 Bing 也有对话次数限制，但技术报告提供了更全面的模型视角。

在我测试的 ChatGPT Plus 中，可用上下文长度约为此前的两倍。OpenAI 还描述了有限开放的更大上下文窗口，约可容纳 50 页文本，API 定价也不同。

OpenAI 表示不会公开模型规模、参数数量、硬件或详细训练方法。报告给出的理由是竞争压力和大型模型的安全影响。这也使外界更难独立评估模型的构建方式。

广为宣传的律师资格考试成绩显示，GPT-4 大约处于考生前 10%，而 GPT-3.5 约处于后 10%。完整表格的结果更不一致：有些考试的进步小得多。律师考试结果很重要，但只引用这一项会给人选择性夸大的印象。

一个出人意料的结果涉及“事后偏见”。早期模型在判断结果出现之前一项决策是否明智的任务上，随着规模增大反而表现更差；GPT-4 的表现则好得多。好决策可能遭遇坏结果，坏决策也可能碰巧成功。

研究中的一个例子是某人做了糟糕选择，却幸运地赢了五美元。早期 ChatGPT 因为结果不错而说选择正确；GPT-4 则判断其错误，并用期望值解释原因。这只是针对特定推理模式的狭窄测试，不能证明模型在所有场景都能可靠推理。

另一个结果为热度降温：在涵盖数千个提示的人类偏好比较中，约 70% 的情况下评审更喜欢 GPT-4 的回答，约 30% 则更喜欢 GPT-3.5。明显进步不等于每次都胜出。

报告还比较了不同语言。在所引基准上，GPT-4 的意大利语、南非荷兰语和土耳其语结果超过 PaLM 与 Chinchilla 的英语结果；马拉地语和泰卢固语则属于未超过的语言。英语仍是这项比较中 GPT-4 表现最好的语言。

GPT-4 可以接收图像和文字，但视频制作时图像输入仍是研究预览，尚未普遍开放。Be My Eyes 的候补名单提供了未来使用的一个线索。一个例子展示模型逐格解释图片中的笑点。

特别引起我注意的视觉基准考查信息图和图表理解，其中包括 ChartQA。更好的图表阅读能力可能对教育和金融有用。由于 PaLM-E 相应的基准结果尚未公布，当时无法直接比较。

幻觉仍然值得担忧。报告显示事实准确性相较 GPT-3.5 有所提高，其中展示的一项指标约为 75% 至 80%；这听起来是好是坏取决于用途，但距离保证回答正确仍有很大差距。

预训练数据的截止时间仍在 2021 年。我询问 2022 年世界杯冠军，模型不知道。发布时，独立模型对近期事件的了解因此受到限制，而能够联网查询的产品有所不同。

OpenAI 也承认，尽管使用了人类反馈强化学习，不安全提示仍可能引出不良回答，包括犯罪建议。初步测试还表明，更强的模型可能生成更逼真的定向虚假信息和有利于威权政权的文本。

报告讨论了可能令人担忧的能力，例如制定长期计划、获取资源以及表现得更像智能体。我尤其担心其中关于权力寻求的讨论。但在测试中识别权力是有用策略，不等于证明已部署模型独立地想要权力。

Alignment Research Center 提前获得 GPT-4，并考察了一个置于简单环境中的模型：它可以执行代码、推理并向自身副本委派任务。研究人员考察，在云环境中拥有少量资金和 API 账户的程序能否赚钱、复制自己并提高稳健性。

我把这视为对未来系统可能相关能力的测试，也担心将此类实验用于强得多的模型。报告并未证明 GPT-4 实现了自主自我改进或技术奇点；区分测试目标与测试结果很重要。报告称，ARC 的初步实验发现所评估的版本在自主复制任务上无效，实验中的模型没有接受额外的任务专用微调。

报告说明，参加红队测试并不意味着认可 OpenAI 的部署计划或政策。我认为这一免责声明提醒我们，测试系统和赞同发布是两回事；它本身并不能告诉我们任何一位测试者的具体看法。

录制时，宣传网站的安全链接指向了 404 页面，这种讽刺让我忍不住提及。OpenAI 还列举了摩根士丹利、可汗学院和冰岛政府等早期用户，以及通过 Bing 和 ChatGPT Plus 提供的访问方式。

最后，OpenAI 用一张图片展示 GPT-4 的视觉能力：它是一个关于不断给神经网络增加层数的笑话。模型能够解释笑点，适合用来结束这次对报告的初步解读。