2023 年关于渐进式 AI 发布与安全的讨论

摘要

30 秒看懂

2023 年 4 月，AI Explained 讨论 Greg Brockman 关于后续训练检查点、安全测试和 AI 风险的表述。讲述者补充当时的例子与预测，并将其放在历史背景下呈现，而不是当作当前发布计划。

全文

对照原始文稿

讲述者解释训练检查点，并讨论当时对数据的假设。

2023 年 4 月，讲述者分析 OpenAI 总裁兼联合创始人 Greg Brockman 关于 GPT-4 之后模型发布的表述。Brockman 讨论了渐进式改进可能带来的安全机会，以及当下和长期风险。

讲述者推测后续模型可能通过中间版本推出，并以 GPT-4.2 等名称举例。这些名称和具体发布节奏是他当时的预测，不是 Brockman 表述中的承诺。

训练检查点是在训练某一时刻保存的模型参数快照。后续检查点反映进一步训练后的参数，不一定改变模型参数数量。Brockman 提出，部署连续检查点可能是使改进更渐进的一种方式。

讲述者讨论训练数据是否会短缺。在当时的一段访谈中，OpenAI 时任首席科学家 Ilya Sutskever 表示仍有可用数据，同时指出最终需要其他训练方式。对未来数据供给和质量的估计存在不确定性。

讲述者讨论专有数据和用户互动可能成为训练材料的来源。他对各来源相对重要性的判断属于推测。客户数据使用政策和退出机制因产品而异，也可能变化，因此不能将 2023 年的描述视为当前操作说明。

Sébastien Bubeck 展示了模型在训练过程中逐渐改进独角兽绘图的例子。这说明一个任务上的变化，不是对全部能力的完整衡量，也不保证每个检查点都会改善所有行为。

预测失误的例子和研究者调查引出不同类型的潜在危害。

Brockman 警告，不应对 AI 进展作过于自信的预测。讲述者举例称，一位经济学家对考试结果感到意外，预测者也低估了竞赛数学测试的进展。这些例子说明预测会失误，并不能给未来系统确定时间表。

Brockman 的表述涉及从滥用和偏见到潜在生存危害的各种风险。讲述者引用了一项 AI 研究者调查，并指出未回应者会影响结果的代表性。调查反映的是受访者的信念，不是测得的人类灭绝概率。

讲述者分析报告中的安全指标、治理问题和历史预测，最后讨论可靠性。

OpenAI 报告称，GPT-4 在其安全指标上优于 GPT-3.5。画面中的技术报告图表比较了经人类反馈训练后，模型在选定敏感和禁止类提示上的不正确行为。这些指标在自身定义范围内有用，但不能证明系统在所有情况下都安全。

讲述者提到利用语言模型和工具开展科学工作的研究，包括可能的有益及有害用途。他介绍论文作者对防护措施的呼吁，并追问能力增长是否也可能增加滥用后果。这是一个问题，而非已确定的答案。

Brockman 写道，人们将有机会共同塑造未来。讲述者追问，在决策集中于少数公司的情况下，如何实现广泛参与。

讲述者引用当时关于硬件限制的评论，并指出训练后安全测试可能需要时间。他曾预测一个假设中的中间版本会在 2024 年中左右推出；这是历史预测，不是当前产品信息。

在一段访谈中，Sutskever 将可靠性列为可能妨碍现实影响的因素：如果用户必须反复核查答案，经济价值就会下降。他补充说，自己并不预测这一定会发生。